Na svět přišel na jedné ze štací divadelní společnosti svého děda Václava Červíčka - Budínského v Novém Etynku, dnešní Nové Včelnici. Pocházel ze staré herecké rodiny, jejíž kořeny sahají až k Josefu Kajetánu Tylovi. Umělecké jméno Hrušínský přijal v roce 1919 jeho otec, původním jménem Rudolf Böhm.

Na ochotnických prknech hrál už od dětství. Po přestěhování do Prahy studoval gymnázium a neúspěšně se hlásil na konzervatoř. Proto už v patnácti letech zahájil profesionální hereckou dráhu. Začínal v divadle Uránie a v Pražském dětském divadle Míly Mellanové. Po studiu v herecké škole E. F. Buriana působil v jeho Déčku a v divadle Akropolis. Ještě za německé okupace získal angažmá v Městských divadlech pražských.

Na konci války se také oženil, v roce 1946 se mu narodil syn Rudolf a v roce 1955 druhý syn Jan. Oba synové pokračují v rodinné herecké tradici a herecké zkušenosti mají i jeho vnuci Kristýna Hrušínská a Rudolf Hrušínský nejmladší.

V Městských divadlech pražských působil, s výjimkou krátkého působení v Divadle na Vinohradech, až do roku 1960. Tehdy přijal nabídku režiséra Otomara Krejči a stal se členem Národního divadla. Na této scéně vytvořil v následujících téměř třiceti letech své stěžejní divadelní role (například Jaga v Othellovi či barona Krüga v Bílé nemoci). Kromě herectví se věnoval i režisérské práci.

Široká veřejnost zná Hrušínského zejména z jeho filmových rolí. Populární jsou jeho postavy rozporuplných mladíků v předválečných filmech Cesta do hlubin študákovy duše, Předtucha či Mlhy na Blatech. Po válce si zahrál například Vocilku ve filmové adaptaci Strakonického dudáka a také dodnes nepřekonatelného "dobrého vojáka" Josefa Švejka. Ve zlaté éře českého filmu v šedesátých letech zazářil ve Spalovači mrtvol Juraje Herze či Rozmarném létě Jiřího Menzela. Výrazné role vytvořil v dalších letech mimo jiné ve filmech Dým bramborové natě, Tři veteráni či Vesničko má středisková.

V době politického uvolnění v druhé polovině šedesátých let byl Hrušínský za svou tvorbu oceněn titulem zasloužilý umělec. Poté však v roce 1968 podepsal manifest Dva tisíce slov a svůj podpis po srpnové okupaci Československa odmítl odvolat. Musel se vzdát pedagogické činnosti na Divadelní fakultě Akademie múzických umění, spolupráci s ním přerušila televize, rozhlas i film. Také divadelní role v tomto období přicházely sporadicky.

Ani nucená odmlka však nevymazala Rudolfa Hrušínského z přízně diváků a poté, co po sedmi letech zákaz pominul, vrátil se herec zpět na plátna kin i televizní obrazovky. Jeho umění a osobní kredit nemohl pominout ani tehdejší komunistický režim, který Hrušínského v roce 1988 prohlásil národním umělcem.

V listopadu 1989 se Hrušínský v rozhlasovém rozhovoru, který vyslechlo i stotisícové shromáždění na Václavském náměstí, postavil na stranu nenásilí. Poté vstoupil přímo do politického života, když přijal nabídku Občanského fóra na kandidaturu do Federálního shromáždění v prvních svobodných volbách. V červnu 1990 získal 160.000 preferenčních hlasů a svůj mandát vykonával až do konce volebního období v roce 1992, přestože byl z poměrů v tehdejších zákonodárných orgánech spíše roztrpčen.

Rudolf Hrušínský zemřel po těžké nemoci 13. dubna 1994 v Praze ve věku nedožitých sedmdesáti čtyř let.