Dům je pojmenován podle kamenného zvonu zasazeného do nároží. Zvon může být připomínkou vstupu Jana Lucemburského do Prahy roku 1310, kdy se po marném obléhání města okupovaného Jindřichem Korutanským povedlo zevnitř i zvenčí ztéci bránu na umluvené znamení – zvonění zvonu špitálního kostela Panny Marie před Týnem, jak popisuje Zbraslavská kronika.
Dnešní dům je zbytkem větší residence z doby před polovinou 14. století a pravděpodobně sloužil jako dočasné obydlí Elišky Přemyslovny a Jana Lucemburského po jejich přistěhování do Prahy.
První doložená zmínka o domu pochází z roku 1363, kdy patřil měšťanovi Henslinu Pesoldovi z Chebu. V následujících letech dům střídal vlastníky, a to jak bohaté měšťany, tak drobné šlechtice. Po dlouhou dobu však zůstával pýchou náměstí, což dosvědčuje také fakt, že inspiroval členění východní fasády nového křídla radnice (konec 14. století).
Mezi lety 1484 až 1513 se cena domu dvakrát navýšila, což napovídá, že v těchto letech došlo k výrazným přestavbám.
Dům byl přestavován v 15.–19. století. Během těchto let se prakticky vytratila gotická podoba paláce.
Významným milníkem pro objekt byl rok 1685, kdy dům prošel zásadní rekonstrukcí. Byly obity veškeré gotické prvky, plasticky vystupující z fasády, a použity do zazdívek, palác získal novou střechu a byl snížen.
V letech 1975–1987 proběhla rozsáhlá regotizace. Při této rekonstrukci byla odkryta a obnovena gotická fasáda místo dosavadní barokní.