Esta biblioteca fue el tercer centro de lectura proyectado en la Ciudad de Buenos Aires. Fue inaugurada en 1928, con el nombre de quien dirigió la Biblioteca Nacional entre los años 1858 y 1871, el poeta y político José Mármol.
Su primera sede se situó en la intersección de las calles Luis Viale y Añasco, pero ante la gran asistencia de lectores, el 17 de octubre de 1979 su sede se trasladó a la calle Juramento 2937, lugar donde actualmente se encuentra.
Hoy forma parte de la Red de Bibliotecas de la Ciudad de Buenos Aires y cuenta con un acervo de 13.412 volúmenes. Por su cercanía a diversas escuelas primarias y secundarias, recibe muchos estudiantes que consultan su material de estudio y libros de investigación.
En el primer piso hay dos salas de lectura donde se pueden consultar los diarios y revistas que llegan todos los días a la biblioteca. La pared vidriada que se extiende desde planta baja hasta el primer piso, otorga gran luminosidad a dichas salas.