La Biblioteca se encuentra en el centro histórico y urbano de Teruel, en la plaza Pérez Prado, entre la Torre de San Martín y el Seminario Conciliar.
La torre de San Martín fue construida entre los años 1315 y 1316 y a mediados del siglo XVI fue reformada por Quinto Pierres Vedel. La torre de San Martín es representativa del mudéjar turolense del siglo XIV con sus arquerías ciegas entrelazadas, ajimeces, decoración a base de cerámica de color verde, etc.
El edificio actual del Seminario Conciliar data de mediados del siglo XVIII cuando fue levantado como colegio Jesuíta. A lo largo de los años ha servido como fortaleza y refugio y en la Guerra Civil Española quedó totalmente destruido para luego ser rehabilitado. En la actualidad alberga una residencia sacerdotal, un hostal que toma el nombre de Hospedería El Seminario y la Casa de la Iglesia.