Begley ha iniziato la sua carriera come attore radiofonico e di Broadway, mentre nella sua adolescenza. Apparve nel musical di successo Che salì a Broadway nel 1917 e a Londra l’anno successivo. In seguito ha recitato in ruoli come Sgt. O’Hara nel programma radiofonico The Fat Man. Il suo lavoro radiofonico includeva Stroke of Fate e un periodo come Charlie Chan, tra gli altri ruoli. Ha anche recitato nel programma radiofonico 1950 Richard Diamond, Detective privato, interpretando il tenente Walter Levinson, capo della omicidi al 5 ° distretto di Manhattan. Fu eletto membro degli Agnelli nel 1943., Alla fine del 1940, ha iniziato ad apparire regolarmente in ruoli cinematografici di supporto.
Begley (a destra) con Monte Markham nel 1969
Nella stagione televisiva 1952-1953, Begley ha recitato con Eddie Albert nella sitcom della CBS Leave It to Larry. Begley, anche se solo cinque anni più di Albert, ha interpretato il suocero e datore di lavoro del personaggio di Albert, Larry Tucker, un venditore di scarpe, che con la sua giovane famiglia vive con Begley., Nel 1954 Begley ha recitato nello show televisivo della NBC Robert Montgomery Presents in “Big Boy”, un episodio sponsorizzato da Lucky Strike, come Joe Grant, un ingegnere per la Union Pacific Railroad che vive a Cheyenne, Wyoming, che ha lavorato sulle famose locomotive a vapore Union Pacific Big Boy. Lo spettacolo parla di come il personaggio di Begley affronta il passaggio dalle locomotive a vapore alle locomotive diesel negli anni ‘ 50.
Ha vinto l’Oscar come miglior attore non protagonista per il suo ruolo in Sweet Bird of Youth (1962). Alcuni dei suoi altri film degni di nota includono Deadline-U. S. A., (1952), 12 Angry Men (1957) come giurato n.10, L’inaffondabile Molly Brown (1964) e Wild in the Streets (1968). Un ruolo notevole che Begley interpretò sia in televisione (due volte nel 1955) che nel film teatrale (1956) è William (Bill) Briggs, uno dei tre personaggi principali nei Modelli di Rod Serling.
Nel 1956, apparve nella produzione di Broadway di Inherit the Wind, nel ruolo di Matthew Harrison Brady. Per questa performance, ha vinto il Tony Award come miglior attore protagonista in una commedia. Nel 1968 apparve con Clint Eastwood nel classico western Hang ‘ Em High.,
Il suo altro lavoro televisivo includeva apparizioni su Justice, Empire, The Virginian, Bonanza, The Fugitive, The Dick Van Dyke Show, Target: The Corruptors, The Invaders, The Wild Wild West, Wagon Train e Going My Way, con Gene Kelly. Tra i suoi molti crediti di Broadway c’erano Tutti i miei figli e la nostra città.