In 1702 gaf bisschop Reginald Cools de leden van de broederschap van Loreto de toelating tot het beheer van het gasthuis. Enkele Antwerpse burgers hadden voorheen de broederschap van Onze-Lieve-Vrouw van Loretten opgericht. Het beheer werd toevertrouwd aan twee conciërges: één van de Armenkamer en één van de Loretanen. De broederschap telde 70 leden die de pelgrimstocht naar Loreto in Italië hadden volbracht, een gebedsoord waar de H.Maagd werd aanbeden. Haar huis was op 10 mei 1291 op wonderbaarlijke wijze door engelen van Nazareth naar Trsat in Kroatië overgebracht en drie jaar later naar de buurt van Recanati in een bos met laurieren en kerselaars dat de oorsprong betekende van de naam Loreto.
De leden van de broederschap van Loreto kenden vanuit hun ervaring de behoeften van pelgrims en waren de aangewezen beheerders van het gasthuis. Zij namen contact op met de aalmoezeniers over het gebruik van de lokalen en kregen van de stad de toelating. De gebouwen bleven evenwel eigendom van de Armenkamer. Er werd zelfs een theater ingericht voor de opvoering van passiespelen. Door hun schenkingen werkten ze de financiële tekorten weg.
De bezoekers van het gasthuis genoten van deze welstand waarbij het eten kwalitatief beter werd met soep, een half pond vlees, een kwart pond brood en een glas goed bier. Op Vastenavond kregen de tafelgenoten kaas, melk en vis. Bij de afreis kreeg de
pelgrim proviand, geld en een certificaat van goed gedrag en zeden om zo onderdak te verkrijgen in andere gasthuizen. De broederschap van Loreto telde op haar hoogtepunt bijna 700 leden. Met hun bijdragen werden de kapel en de lokalen heringericht.
In 1718 namen de Loretanen de traditie van de Pelgrimstafel weer op. Onder hun beheer werd de tafel gedekt op Witte Donderdag en Goede Vrijdag.
In 1762 herstelde zij de gevel gelegen aan de Stoofstraat en kreeg de Beyaertzaal een monumentale schouw. In 1772 gaf de stad de toestemming om zelf de huisbewaarder aan te stellen, een recht dat tot dan toe enkel toebehoorde aan de Armenkamer.
Op 8 april 1786 werd de broederschap van Loreto door keizer Jozef Il afgeschaft maar weigerde hun welzijnswerk te staken
Op 29 maart 1790 herstelde de Brabantse Omwenteling de Loretanen in hun rechten en een jaar later herstelde de broederschap de gevel gelegen aan het Sint-Jansvliet met een budget van 4000 gulden dat volledig werd voorgeschoten door de Armenkamer. Jaarlijks werd door de broederschap de lening afgelost. De deur aan de Sint-Jansvliet kreeg een bovenraam met de afbeelding van het mirakel van het huis van Loreto. Sindsdien werd het gasthuis het "Huis van Loreto" genoemd.