El Archivo Histórico Provincial de Albacete comenzó a funcionar en el año 1938 por una Orden del jefe de la Sección de Archivos del Consejo Central, en la que se recoge que debía estar integrado por “protocolos notariales, archivos judiciales, eclesiásticos, particulares y, a ser posible, los municipales”. En el mismo año de 1938 la Junta Delegada de Incautación, Protección y Conservación del Tesoro Artístico de Albacete, rescató diversa documentación municipal que pasó a formar parte de los fondos del Archivo. En 1939, el Patronato Provincial para el Fomento de Archivos, Bibliotecas y Museos Arqueológicos, ordenó a todos los ayuntamientos remitir al Histórico Provincial toda la documentación anterior a 1850 con el fin de frenar la sistemática destrucción y pérdida del patrimonio documental. Los fondos, compuestos por protocolos y documentación histórica, se recogieron en un local del Instituto de Segunda Enseñanza. En 1939, ante el peligro que corrían, fueron trasladados a la Audiencia Territorial, que contaba con su propio archivo judicial. En 1944, debido a las obras de remodelación de la Audiencia, se reubicaron los fondos; por un lado, los judiciales pasaron a la Diputación y alguna sala más pendiente de proporcionar, y los históricos, incluidos los protocolos, regresaron al Instituto de Segunda Enseñanza, en concreto a un local contiguo a la biblioteca pública . En 1957 y ante la deficiente instalación del archivo, que ocupaba la parte alta de la estantería de la biblioteca pública, se decidió su traslado a la Casa de la Cultura. 

A pesar de su probada existencia, la creación oficial se produjo el 3 de abril de 1962 mediante Orden Ministerial. Al año siguiente fue instalado en el segundo piso del edificio de la Casa de la Cultura, hoy parte de la Diputación Provincial, desde donde pasó al sótano de dicho edificio en 1967. En 1982 se trasladó al piso sexto de la Delegación Provincial de Educación y Cultura en la Avenida de la Estación para pasar en 1991 a su definitiva ubicación en la calle Padre Romano.

El edificio actual integra dos inmuebles, uno de notable valor arquitectónico, construido en 1924 por el arquitecto Miguel Ortiz e Iribas con destino a vivienda de Filomena Flores. Su fachada presenta elementos barrocos y modernistas. El inmueble fue declarado Bien de Interés Cultural el 10 de noviembre de 1997. A este edificio se le anexionó un solar colindante que cedió el Ayuntamiento al Ministerio de Cultura, destinándose exclusivamente a depósitos documentales.

Su rehabilitación fue acometida en 1987 según proyecto del arquitecto Miguel Renta Huertas. Se trata de un edificio con una superficie total construida de 3.270 m², destinando a depósitos 1.813 m²,  con una capacidad aproximada de 11.000 m/l de estantería móvil. Se distribuye en sala de exposiciones, salas de trabajo, sala de investigadores, despachos, dependencias sirvientes, muelle de descarga, así como 8 depósitos.