Begley comenzó su carrera como actor de Broadway y radio en su adolescencia. Apareció en el exitoso musical Going Up on Broadway en 1917 y en Londres al año siguiente. Más tarde actuó como Sargento O’Hara en el programa de radio The Fat Man. Su trabajo en la radio incluyó Stroke of Fate y un período como Charlie Chan, entre otros papeles. También protagonizó el programa de radio de la década de 1950 Richard Diamond, Detective privado, interpretando al Teniente Walter Levinson, jefe de homicidios en el 5th Precinct, Manhattan. Fue elegido miembro de los Lambs en 1943., A finales de la década de 1940, comenzó a aparecer regularmente en papeles secundarios de cine.
Begley (derecha) con Monte Markham en 1969
en la temporada de televisión de 1952-1953, Begley co-protagonizó con Eddie Albert en la sitcom de CBS Leave it to Larry. Begley, aunque solo cinco años mayor que Albert, interpretó al suegro y empleador del personaje de Albert, Larry Tucker, un vendedor de zapatos, que con su joven familia vive con Begley., En 1954 Begley protagonizó el programa de televisión de la NBC Robert Montgomery Presents en «Big Boy», un episodio patrocinado por Lucky Strike, como Joe Grant, un ingeniero de La Union Pacific Railroad que vive en Cheyenne, Wyoming, que trabajó en las famosas locomotoras de vapor Union Pacific Big Boy. El programa trata sobre cómo el personaje de Begley hace frente a la transición de las locomotoras de vapor a las locomotoras diesel en la década de 1950.
ganó el Premio de la Academia al Mejor Actor de reparto por su papel en Sweet Bird of Youth (1962). Algunas de sus otras películas notables incluyen Deadline-U. S. A., (1952), 12 Angry Men (1957) como jurado #10, la insumergible Molly Brown (1964), y Wild in the Streets (1968). Un papel notable que Begley desempeñó tanto en televisión (dos veces en 1955) como en la película teatral (1956) es William (Bill) Briggs, uno de los tres personajes principales en los patrones de Rod Serling.
en 1956, apareció en la producción de Broadway de Inherit the Wind, en el papel de Matthew Harrison Brady. Por esta actuación, ganó el Premio Tony al mejor Actor destacado en una obra. En 1968 apareció con Clint Eastwood en el clásico western Hang ‘Em High.,
Su otro trabajo televisivo incluyó apariciones en Justice, Empire, The Virginian, Bonanza, The Fugitive, The Dick Van Dyke Show, Target: the Corruptors, The Invaders, The Wild Wild West, Wagon Train y Going My Way, con Gene Kelly. Entre sus muchos créditos de Broadway estaban All My Sons and Our Town.