Virma avati juunikuus 1988. aastal, kuid maja ajalugu ulatub tagasi juba 18. sajandisse. Meistritest omanikud vahetusid mitmel korral ning 1890. aastail kuulus kinnistu vasesepp Herman Jakob Steinbecki pärijatele. Nende ajal ehitatigi praegune paekivi-puithoone, mille äärest jooksis oja. See voolab tee all tänase päevani.
Kuni 1938. aasta sügiseni tegutses selles majas linnarahva saun, mille avamine märgiti ära isegi ajalehes Postimees. Kogu Eesti aja vältel tegutsesid hoone esimesel korrusel kauplused, näiteks Friedrich Metzi riidekauplus, Kooliõpilaste Seltsi raamatukauplus ning ka Rotermanni Tehaste ladu. Teistelt korruselt võis leida nii kortereid kui ka hambaarsti laboratooriumi. Veel on teada, et vähemalt 1925. aastal oli osa ruume kohaliku baptisti koguduse kasutuses.
Pärast II maailmasõda tegutsesid majas peamiselt kauplused ja mitmesugused töökojad. Paekivist ja tellistest seinad ning puithooned on säilitatud oma esialgsel kujul tänapäevani. Praeguseks on Virma kõige kauem tegutsenud söögikoht Rakveres tähistades 2017. aastal oma 29-ndat sünnipäeva.