Konstantin Scherbakov studiował w Moskiewskim Konserwatorium w klasie fortepianu Lwa Naumowa. Po wygraniu Konkursu Rachmaninowa (1983) koncertował w byłym ZSSR. Zwycięstwo w kolejnych prestiżowych konkursach (Montreal, Bolzano, Rzym, Zurych) otworzyło mu drogę do międzynarodowej kariery. W roku 1990 na Festiwalu w Asolo wykonał wszystkie utwory fortepianowe Rachmaninowa, co spotkało się z uznaniem Światosława Richtera. Kształtuje swój repertuar z naciskiem na utwory rzadko wykonywane, często uważane za niewykonalne. Zrealizował serię unikalnych nagrań – wśród nich zebrane utwory Leopolda Godowskiego, Respighiego i Szostakowicza, wszystkie koncerty Respighiego, Medtnera i Scriabina. Dzieła te wykonuje często na koncertach.
Występował w 35 krajach Europy, Dalekiego i Bliskiego wschodu, w USA, Nowej Zelandii i Południowej Afryce. Gości na wielu ważnych festiwalach, m.in. w Salzburgu, Frankfurcie, Bregenzy, Bodensee, Lucernie, Bad Kissingen, Festiwalu Wielkanocnym w Krakowie, w Lugano, Evian, Colmar czy na Piano Festival Lucerne. Ma w repertuarze ponad 50 koncertów, występował z ponad 60 orkiestrami. W roku 2002 jako solista i dyrygent rozpoczął współpracę z mediolańską orkiestrą I Pomeriggi Musicali oraz Orchestra da Camera di Padova.
Ma w dorobku 32 płyty. Jego nagrania były wielokrotnie nagradzane, m.in. Preis der Deutschen Schallplattenkritik czy Cannes Classical Award.
Obecnie jest profesorem na uniwersytecie w Zurychu, mieszka w Szwajcarii.