Il museo è ospitato nei locali di palazzo Malfitano, dimora nobiliare del XV secolo. Annessi al palazzo nobiliare erano la chiesa e l’ospedale di San Rocco, fondato nel 1544 da Mazziotta Lauricella dei Signori di Giacchetto, la cui famiglia ne aveva lo «ius patronato». Istituito per il ricovero degli infermi poveri della città, era famoso sia per l’edificio sia per la ricchezza del giardino e soprattutto per i molti medici e chirurghi. Retto da quattro rettori laici, che a loro volta eleggevano il cappellano, il quale provvedeva alla cura della chiesa e all’assistenza spirituale degli infermi, era sede di un’arciconfraternita di artigiani e gentiluomini, che aveva lo scopo di seppellire i defunti poveri: una delle sette opere di misericordia. Vi era altresì una congregazione di artigiani e sacerdoti sotto il titolo di Maria SS. degli Agonizzanti che aveva l’obbligo di esporre il SS. Sacramento per 40 ore in occasione di condanne capitali. La congregazione era aggregata a quella degli Agonizzanti e del Santo Bambino della città di Roma con bolla che esisteva nella chiesa di San Rocco. Proprio la porzione di edificio che ospitava in passato l’ospedale di San Rocco, custodisce oggi la collezione grafica del museo.
Il palazzo, tipico esempio di architettura cosiddetta catalana, poiché all’epoca in cui è stato costruito la Sicilia era sotto la dominazione spagnola, fu donato alla città nel XVIII secolo da Donna Antonia Notarbartolo, marchesa di Malfitano e discendente dei Giacchetto. Quando i Minori Conventuali, nell’ingrandire l’attuale chiesa di San Francesco, tolsero al palazzo la visuale del mare e della vallata, Donna Antonia decise di donare alla collettività l’edificio a patto che venisse affidato a delle religiose che si occupassero di educare le fanciulle d’ogni ceto nella fede ed in ogni genere di lavoro femminile. L’impegno fu assunto nel 1749 dalle suore del Collegio di Maria, ordine istituito dal Cardinale Corradini a Sezze.