L'Ancienne Bibliothèque occupe l'emplacement initialement destiné à accueillir l'Académie. Le bâtiment baroque construit par Georg Friedrich Boumann entre 1775 et 1780 a été conçu pour abriter les ouvrages de Frédéric Le Grand.

L'architecte s'est inspiré d'un des plans que dessinna - 50 ans plus tôt - Joseph Emmanuel Fischer von Erlach pour l'une des façades de la Hofburg de Vienne.

La forme renflée de l'Ancienne Bibliothèque lui vaut le surnom de "Commode" par les Berlinois. Il convient cependant de remarquer le dynamisme que dégage la façade, rythmée par ses trois avant-corps, ainsi que l'alternance de colonnes et de pilastres corinthiens au premier étage.

A partir de 1910, l'Ancienne Bibliothèque sert d'annexe à l'Université de Humboldt, où Lénine consulta des ouvrages en 1895.

Au lendemain de la seconde guerre mondiale, l'édifice sérieusement touché par les derniers combats n' a été reconstruit qu'en 1969. La rénovation est fidèle pour l'extérieur, tandis que l'intérieur est de facture moderne.