Naukę gry na wiolonczeli rozpoczął u Hermana Dirra w Monachium, kontynuował u Ulricha Vossa z Saarbrücken. Studiował u Clausa Kanngiessera, później u Dawida Geringasa w Lubece oraz w Juilliard School of Music w Nowym Jorku u Zary Nelsovej i u Heinricha Schiffa w Bazylei.
Drogę do światowej kariery otwarło mu zdobycie I nagrody i złotego medalu na IX Międzynarodowym Konkursie im. Piotra Czajkowskiego w Moskwie (po raz pierwszy przyznane niemieckiemu muzykowi). Koncertował z Mitteldeutscher Rundfunk Leipzig, Helsinki Philharmonic Orchestra, Gulbenkian Orchestra Lissabon, Bamberger Symphoniker, Cincinnati Symphony Orchestra, Filharmonią Czeską, Berliner Sinfonieorchester, St. Louis Symphony Orchestra, National Symphony Washington i Pittsburgh Symphony Orchestra, z radiowymi orkiestrami symfonicznymi Saarbrücken, Monachium, Berlina i Stuttgartu.
Ważne miejsce w jego muzycznej działalności zajmuje muzyka kameralna. Gustav Rivinius regularnie grywa z tak znanymi kolegami jak: Lars Vogt, Christian Tetzlaff, Antje Weithaas i Sharon Kam.
Jego działalność solową uzupełniają ponadto występy na renomowanych festiwalach, jest regularnym gościem Heimbach Festivals Larsa Vogta.
W wydawnictwie Harmonia Mundi ukazała się jego płyta CD z sonatami Brahmsa, Boccheriniego i Zimmermanna. Gustav Rivinius nagrał także wszystkie sonaty wiolonczelowe Beethovena dla WDR w Kolonii. Wykonuje także muzykę współczesną: zagrał z Musikkollegium Winterthur pod dyrekcją kompozytora w premierowym wykonaniu Koncertu wiolonczelowego „Bardo” Hansa Zendera.
W roku 1997 Gustav Rivinius założył wraz z Ani Kavafian (skrzypce) i Barbarą Westphal (altówka) Trio Da Salò.
Gustav Rivinius jest profesorem wiolonczeli w Wyższej Szkole Muzycznej w Saarbrücken.