Urodził się w Arnhem (Holandia). W Konserwatorium im. Sweelincka w Amsterdamie uczęszczał równocześnie na zajęcia z fortepianu, klawesynu i organów; otrzymywał dwukrotnie Prix d’Excellence w kategorii fortepianu i organów. Następnie skoncentrował się na fortepianie; jego specjalnością stał się akompaniament. Rudolf Jansen odbył liczne światowe tournée z tak znakomitymi artystami jak: Elly Ameling, Irina Archipowa, Olaf Bär, Hans-Peter Blochwitz, Brigitte Fassbaender, Robert Holl, Tom Krause, Jean-Pierre Rampal, Edith Wiens, Andreas Schmidt i jego nauczyciel Dietrich Ficher-Dieskau.
Wraz z Dietrichem Ficher-Dieskau i Netherlands Chamber Choir Liszt dokonał ostatnio licznych nagrań płytowych (niemiecka nagroda Schallplattenpreis 1992). Dla Deutsche Grammophon nagrał wraz z Andreasem Schmidtem trzy wielkie cykle pieśni Schuberta. W tym samym roku ukończył też siedmiopłytowy album płytowy pieśni zebranych Edwarda Griega. Nagrywał też dla CBS, EMI, Philips, Erato, Etcetera, BMG. Rudolf Jansen jest profesorem akompaniamentu pieśniowego w Konserwatorium im. Sweelincka. Prowadził kursy mistrzowskie w USA, Kanadzie, Japonii, Niemczech, Austrii, Włoszech, Finlandii i w ojczystej Holandii.