La biblioteca è ospitata in un palazzo di pregio, che ha avuto una lunga storia e tanti nomi quanti sono stati i suoi proprietari attraverso i secoli. L’edificio fu segnato da una lunga e complessa vicenda che vide tra i suoi protagonisti architetti come Francesco Maria Ricchino, Francesco Croce, Benedetto Alfieri e Arrigo Arrighetti.