Begley begann seine Karriere als Broadway-und Radioschauspieler im Teenageralter. Er trat 1917 in dem Hit-Musical Going Up on Broadway und im nächsten Jahr in London auf. Er spielte später in Rollen als Sgt. O ‚ Hara in der Radiosendung The Fat Man. Seine Radioarbeit umfasste Stroke of Fate und eine Zeit als Charlie Chan, unter anderen Rollen. Er spielte auch in der 1950er Jahre Radioprogramm Richard Diamond, Privatdetektiv, spielen Lieutenant Walter Levinson, Leiter der Mordkommission am 5. Bezirk, Manhattan. Er wurde 1943 zum Mitglied der Lambs gewählt., In den späten 1940er Jahren trat er regelmäßig in Nebenrollen auf.
Begley (rechts) mit Monte Markham 1969
In der Fernsehsaison 1952-1953 spielte Begley zusammen mit Eddie Albert in der CBS-Sitcom Leave It to Larry. Begley, obwohl nur fünf Jahre älter als Albert, spielte den Schwiegervater und Arbeitgeber von Alberts Charakter Larry Tucker, einem Schuhverkäufer, der mit seiner jungen Familie bei Begley lebt., 1954 spielte Begley in der NBC-Fernsehsendung Robert Montgomery Presents in „Big Boy“, einer von Lucky Strike gesponserten Episode, als Joe Grant, Ingenieur für die Union Pacific Railroad in Cheyenne, Wyoming, der an den berühmten Union Pacific Big Boy Dampflokomotiven arbeitete. In der Show geht es darum, wie Begleys Charakter mit dem Übergang von Dampflokomotiven zu Diesellokomotiven in den 1950er Jahren fertig wird.
Er gewann den Oscar als bester Nebendarsteller für seine Rolle in Sweet Bird of Youth (1962). Einige seiner anderen bemerkenswerten Filme sind Deadline-U. S. A., (1952), 12 Angry Men (1957) als juror #10, The Unsinkable Molly Brown (1964), und Wild in den Straßen (1968). Eine bemerkenswerte Rolle, die Begley sowohl im Fernsehen (zweimal 1955) als auch im Theaterfilm (1956) spielte, ist William (Bill) Briggs, eine der drei Hauptfiguren in Rod Serlings Filmen.
1956 trat er in der Broadway-Produktion von Inherit the Wind in der Rolle von Matthew Harrison Brady auf. Für diese Leistung gewann er den Tony Award als bester Hauptdarsteller in einem Stück. 1968 trat er mit Clint Eastwood im klassischen Western Hang ‚Em High auf.,
Seine anderen TV-Arbeit enthalten Erscheinungen, die auf Gerechtigkeit, Empire, Virginian, Bonanza, Der Flüchtling, Der Dick Van Dyke Show, Target: The Corruptors, Der Eroberer, Der wilde Wilde Westen, Wagon Train und gehe Meinen Weg, mit Gene Kelly. Unter seinen vielen Broadway-Credits waren alle meine Söhne und unsere Stadt.