Het gasthuis bestaat uit een complex van gebouwen met toegangen gelegen aan de Hoogstraat, de Stoofstraat en het Sint-Jansvliet en sedert eeuwen talloze bestemmingen heeft gekend. Het centrum is het passantenhuis Sint-Julianus waar sedert 1305 arme reizigers en pelgrims enkele dagen onderdak kregen.
De hoofdingang aan de Hoogstraat 72 is een brede korfboogpoort met een omlijsting in zandsteen, een spitse geveltop en een console waarop tot het einde van de l 8de eeuw een houten beeld van Sint-Rochus stond. Sedert 1988 staat er een melancholisch denkende Panter vervaardigd door Elke Van Steenbergen.
De woning met huisnummer 70, het voormalige huis Sint-Jacob, dateert van 1620. Het is een breedhuis met twee bouwlagen en opgetrokken in bak- en zandsteen.
Onderaan is er een laag zandsteen met de kelderingang. De toegang is eveneens een rondboogdeur met een barok omlijsting. Opvallend zijn de ramen uitgevoerd in kalksteen kruismonelen. De gevel wordt onderbroken door twee druiplijsten waarbij de trapgevel de middentravee bekroont.
De bouwmaterialen van de kapel zijn hetzelfde: bak- en zandsteen. Aan de westzijde staat een hoge puntgevel met een rondboogpoort en een groot spitsboogvenster. De tweede ingang geeft uit op het binnenplein gelegen aan de Hoogstraat.
De panden met huisnummer 74 en 76 vormen een architecturale eenheid en werden gebouwd omstreeks 1750. De gevels in baksteen met geprofileerde daklijst van witte steen hebben eenvoudige rechthoekige ramen met een omlijsting in arduin. Het pand 76 heeft een merkwaardige arduinen deuromlijsting in rococostijl en een getralied bovenlicht.
De binnenplaats, gelegen aan de Stoofstraat, wordt afgesloten door een barok gebouw in rode baksteen met deur- en vensteromlijstingen in arduin. Op de benedenverdieping zijn er boogvensters en een deur met een schelpvormige sluitsteen. In de eerste travee van de oostgevel bevindt zich een ovale oculus. Deze vleugel eindigt met een open galerij die gesteund is op drie arduinen zuilen met een schelpvormige sluitsteen. Boven deze galerij is er eveneens een schelpornament.Aan de overzijde van de galerij staat de achtergevel van het pand dat gelegen is aan het Sint-Jansvliet. Deze gebouwen hebben een zeer eenvoudige architectuur uit baksteen en raamomlijstingen in arduin.
Tenslotte kan niet voldoende benadrukt worden welke historische voorbeeldfunctie, het toenmalige COO en het huidige OCMW neemt met het initiatief om historische monumenten een duurzame herbestemming te geven.
Zo nam de jonge en thans internationaal vermaarde galerie "De Zwarte Panter" in 1970 zijn intrek in het Sint-Julianusgasthuis en werd Antwerpen hiermee naast de diamant op de wereldkaart geplaatst omdat slechts een handvol galeries de crisisperiode van de jaren 70 overleefden. Na vijfenveertig jaar en 500 tentoonstellingen is De Zwarte Panter de oudste actieve galerie voor hedendaagse kunst in Vlaanderen en de tweede oudste in België. Het is een monument van een galerie in een monumentaal gebouw.
De grote bezieler,Adriaan Raemdonck (0Pepingen, 16 oktober 1945), heeft de galerie in 1968 opgestart als een cultureel biotoop waar vooral jonge beeldende kunstenaars, muzikanten, schrijvers en kunstliefhebbers elkaar ontmoeten met onverwachte kruisbestuivingen tot gevolg. Zijn rol in de herwaardering van het oude stadscentrum kan niet voldoende benadrukt worden en hij is dan ook gelauwerd met talloze prijzen w.o. Laureaat van de tweejaarlijkse Cultuurprijs van de Provincie Antwerpen 201 1 en deed schenkingen vooral uit het oeuvre van Jan Cox aan het Prentenkabinet en het Museum voor Hedendaagse Kunst Antwerpen. Tenslotte is hij de voorzitter van de Federation of European Art Galleries sedert 2007 en van de Belgische Moderne en Hedendaagse Kunstgaleries sedert 1997.
