Her lå før reformationen en stor bispegård, som med flere fløje udfyldte det meste afområdet mellem Hotel Royal, domkirken og Mejlgade.

Gadens østlige del kaldtes helt op til år 1800 »Bag Bispegård«, men iøvrigt er gadenavnet meget gammelt og stammer sandsynligvis fra, at der her mellem bebyggelsen og befæstningen har været anlagt rosenhaver. Midt i 1500-tallet omtales nogle boder her som »Rosengaard«.