Predtým tú bola lekáreň, magistrát, prvá moskovská univerzita a v roku 1872 dal Alexander II. postaviť finančne veľmi náročnú budovu múzea, ktoré malo zobrazovať históriu ruského národa. Pre návštevníkov sa však dvere múzea otvorili až o 11 rokov neskôr.
Na vnútornej výzdobe sa podieľali najvýznamnejší ruskí umelci. Medzi nich patril napríklad A. P. Popov, V. M. Vasnecov a později I. E. Repin či V. A. Serov. Históriu a kultúru tohto národa môžete objavovať až v 39 sieňach. Jednotlivé miestnosti sú zasvätené prvým obyvateľom, tatransko-mongolskému juhu, Ivanovi Hroznému, osvietenému absolutizmu Kataríny II. Veľkej, víťazstva nad Napoleonom, zrušenie nevoľníctva alebo dobývania Sibíru.
Mnoho exponátov bolo získaných v 20. rokoch znárodnením majetku. V tej dobe malo múzeum slúžiť ako náučno-výskumný ústav. Po roku 1928 začalo byť využívané prevažne na propagandu. V rokoch 1936-37 pri príležitosti otvorenia výstavy na počesť dvadsiateho výročia bolo mnoho interiérov zničených.
V súčasnosti tu nájdete okolo 22 000 predmetov na dvoch poschodiach. Aby ste si obzreli všetky exponáty, musíte urobiť 4000 krokov. Pričom nachodíte asi 3 km. Historické múzeum vlastní celkovo 4,5 milióna exponátov.