Ulica je kao saobraćajnica postojala već u 15. stoljeću.

Jedan dio današnje ulice činio je Put kuluk-česma (Kuluk-cesma džadesi) po kuluk česmi koja se tu nalazila, a drugi dio je bila Sabljarska čaršija, kasnije nazvana Kulukčije (sabljari). U drugoj polovini 19. stoljeća ulica se zvala Galata džadesi ili Galata, zatim Tašlihanska, po Gazi Husrev-begovom kamenom hanu Tašlihanu. Tokom austrougarske vladavine zvala se Franje Josipa ulica, nakon toga Kralja Petra, te Ulica br. 1 u period 1941. – 1945. Godine 1946. dobila je ime Jugoslovenske narodne armije JNA, a od 1993. godine nosi naziv Zelenih beretki u spomen na vojnu formaciju formiranu 1991. godine u Sarajevu s ciljem odbrane Bosne i Hercegovine.