Par la majesté de ses édifices et sa symétrie, le Gendarmenmarkt est considéré comme le plus bel exemple d'architecture néo-classique à Berlin. La place fut aménagée sur l'ancien coeur du faubourg de Friedrichstadt, fondé par le roi Frédric-Guillaume I en 1688.
Sous le règne de Frédéric Ier, les deux églises jumelles furent construites pour les protestants français venus en nombre à Berlin après l'abrogation de l'Edit de Nantes, et la communauté réformée allemande.

En 1736, la caserne du régiment des Gens d'Armes donna le nom actuel de la place. Avec le concours de l'architecte Gontard, le roi Frédéric II entreprit en 1774 l'embellissement de la place en faisant détruire les écuries, pour y édifier le théâtre de la Comédie Française, remplacé ultérieurement par le Théâtre allemand de Langhans. A la même époque, le Französischer Dom et le Deutscher Dom furent alors coiffées de leurs majestueuses coupoles. On prétend que la Piazza del Popolo de Rome inspira Gontard dans la transformation du Gendarmenmarkt.
Au XIXe siècle, le Gendarmenmarkt prit son allure définitive sous l'impulsion de l'architecte Karl Friedrich Schinkel, qui érigea le Schauspielhaus entre les deux églises jumelles. Ce dernier succède au théâtre allemand qui fut la proie des flammes en 1817.
Le Gendarmenmarkt fut sévèrement touché lors des bombardements alliés de 1943. Les travaux de reconstruction commencèrent qu'au début des années 1980, à l'approche du 750e anniversaire de Berlin.

En 1950, le régime est-allemand débaptisa la place pour l'appeler "Platz der Akademie" à l'occasion du 250e anniversaire de l'Académie des Sciences, rescucitée en 1946 par la RDA et fondée en 1700 par le philosophe Leibniz. Depuis la réunification, la Platz der Akademie reprit son nom d'origine, le Gendarmenmarkt, tandis que l'Académie des Sciences de RDA fut dissoute, et remplacée par l'Académie des Arts de Berlin-Brandebourg.

Le Französischer Dom construit entre 1701 et 1705 par les architectes Abraham Quesnay et Alois Cayart sert aujourd'hui encore de paroisse à la communauté réformée française de Berlin. L'église n'ouvrit ses portes qu'en 1983, après de longs travaux de rénovation. Le Französischer Dom accueille le Musée des Huguenots, qui propose une exposition permanente consacrée à la Réforme, la Contre-Réforme, la révocation de l'Edit de Nantes et l'émigration de 20 000 huguenots français à Berlin.

Au centre du Gendarmenmarkt, le Schauspielhaus édifié par Karl Friedrich Schinkel entre 1818 et 1821 sur les cendres de l'ancien Théâtre national de Langhans. Seules les six colonnes ioniques du portique Est de l'actuel Schauspielhaus témoignent encore du bâtiment disparu.
Le Schauspielhaus est l'une des oeuvres les plus abouties du maître prussien, qui ne se contenta pas de dessiner les plans extérieurs de l'édifice, mais en conçut l'intégralité de la décoration intérieure. Celle-ci disparut malheureusement lors de la seconde guerre mondiale, et ne put être sauvée lors des travaux de restauration. Le Schauspielhaus était initialement un théâtre et devint au terme de sa reconstruction une salle de concert, d'où son nouveau nom de Konzerthaus.
Devant le portique Est se dresse le monument en marbre de Reinhold Begas en l'honneur de Schiller. La sculpture réalisée en 1869s'inspire d'un buste du poète exécuté en 1794 par Johann Heinrich Dannecker.

Fermant la place au Sud, le Deutscher Dom est le dernier édifice du Gendarmenmarkt à avoir été restauré. La reconstitution de l'édifice ne fut achevée qu'en 1995. L'église conçue en 1708 par Giovanni Simonetti sur des plans de Martin Grünberg fut remaniée en 1785 en vue de l'édification de sa coupole.
Le Deutscher Dom abrite à présent l'exposition permanente "Fragen an die Deutsche Geschichte", dédiée à l'histoire allemande, qui se trouvait avant au Reichstag.