1821 legte der Architekt, Baumeister und Freund Zelters Karl Friedrich Schinkel einen Entwurf für das Gebäude der Sing-Akademie auf dem ihr vom König geschenkten Grundstück hinter der Neuen Wache vor. Schinkel entschied sich für ein zweigeschossiges Gebäude. Der Fußboden des Konzertsaales ist wenige Stufen über ebener Erde und ohne Unterkellerung angeordnet. Auf dem Gebäudefirst wird eine Lyra mit Fischvoluten und Schwanbekrönung und im Giebeldreieck Griechisches emblematisiert.

Der Saal ist im Entwurf zweigeschossig gestaltet. Eine Sockelausbildung umfasst das Saalgrundgeschoss, in dessen Eingangsschmalseite sich die Türen vom Eingangsraum hereinführend befinden, an der Szeneseite das „Amphitheater des Chores" ansteigend. Die Innenarchitektur des Obergeschosses bietet auf der Sockelausbildung eine Inszenierung von saalrundum angeordneten freistehenden dorischen Säulen. Es ergeben sich hinter den Säulen je Seite eine schmale Seitenempore für je nur eine Sitzreihe. Die rückwärtige Empore über dem Eingangsraum ist mit fünf ansteigenden Sitzreihen besetzt hinter einer zwischengestalteten Galerie als Säulen-Doppelstaffelung. Demgegenüber, hinter dem Podium der Sänger, befindet sich in variabler Raumzuordnung der Kleine Saal, also hinter den vier freistehenden dorischen Säulen. Die sich ergebenden fünf Öffnungen zum „Saal für den Winter und für kleinere Übungen" erhalten also aus der Idee der Raumvariabilität: „Thüren, welche man nach unten verschwinden lassen kann, wodurch diese beiden Säle vereinigt sind", wie Schinkel auf der Zeichnung vermerkt. Ein Saal also, einem höchst konzentrierten und streng disziplinierten Architekturwollen verpflichtet, der Vorrangiges dem Dienst am Musikleben schuldet.

Der Braunschweigische Architekt Carl Theodor Ottmer beließ unter Verwendung des Schinkelentwurfs das Raumangebot einschließlich Kleinem (Winter-) Saal und fügte als eigentliches Gewinnangebot das gesamte Entrée-Erdgeschoss neu ein, so dass der Saal in das Obergeschoss gelegt ist. Der Entwurf brachte die gewünschte eigene Konzerthausstruktur, wobei die Anordnung nur einer Seitenempore dem Saal das Moment einer oft als störend empfundenen Dynamik anstatt architektonische Eindeutigkeit brachte.

Die Bautätigkeiten begannen im Mai 1825 neben dem Festungsgraben. Der hohe Grundwasserstand behinderte die Grabarbeiten, so dass ein ganzes Kellergeschoss tief in die Erde gegraben und der Keller gebaut werden musste, wie Zelter gegenüber Goethe klagte. Beim Richtfest mit dem Rohbau am 25. November 1826 waren die Schinkelschen Gesamtkosten bereits aufgebraucht. Am 8. April 1827, nach zweijähriger Bauzeit, erfolgte die feierliche Einweihung des Hauses, welches fortan der Institution als Heimstätte und Vortragsort diente.

Architekturbezogen interessant ist die für die 1848 abgehaltenen Sitzungen der Preußischen Nationalversammlung gewählte Querbestuhlung gegen die an der Längsseite (Westseite) des Saales befindlichen Fenster. Vom Vortragenden aus betrachtet befindet sich die Bestuhlung in klassischer Symmetrieanordnung. Im Rücken der Querreihen mit Blick zu den Seitenfenstern liegt die Seitenempore. Die Säulenstellung des Kleinen Saales sowie die der Eingangsempore befinden sich im Rücken der Längsbestuhlung. Diese gewählte Sitzanordnung lässt den Redner und die offene Debatte viel stärker im Zentrum des Geschehens stehen, als wenn die übliche „frontale Konzertbestuhlung“ belassen worden wäre.

1865 erfolgte eine innere Umorganisation der Erschließungsräume des Saales nach Plänen des Architekten Martin Gropius, um weitere Zuhörerplätze unter der rückwärtigen Empore zu gewinnen sowie später der Einbau einer Orgel.

1875 wird ein zusätzlicher Treppenhausanbau an der Südwestecke errichtet - in der Architektur mehr Beeinträchtigung, in der Nutzung des Konzerthauses eine flexible Maßnahme.

1888 wird ein zweiter Treppenhausanbau an der Nordwestecke errichtet, die Auflassung des Kleinen Saales - benannt Cäciliensaal - und der Umbau zur endgültigen Podiumsvergrößerung vorgenommen. Das Haus hatte gezeigt, welchen Karriereanstieg der Sing-Akademie es mittragen konnte.

Direktor Zelter und die Sing-Akademie hatten vielerlei Probleme mit Finanzen und schwierigem Baugrund zu bewältigen. Schinkels Entwurf war zuvor aus Kostengründen verworfen worden. Bereits 1812 hatte Schinkel einen Saalentwurf für die Sing-Akademie bei der Akademie der Künste vorgestellt, der Seitens der Akademie wegen eigenen Platzmangels etwas rüde abgelehnt wurde.

Der älteste und größte Konzertsaal Berlins war von Anfang an wegen seiner hervorragenden Akustik viel gerühmt. Hier konzertierten die größten Künstler ihrer Zeit, wie Niccolò Paganini, Franz Liszt, Clara und Robert Schumann, Anton Grigorjewitsch Rubinstein oder Johannes Brahms.

Von 1926 bis 1943 entstanden hier eine ganze Reihe von Schallplatteneinspielungen: ab Herbst 1926 machte die Electrola zahlreiche Aufnahmen, so mit der Staatskapelle Berlin unter Dirigenten wie Leo Blech, Erich Kleiber und Otto Klemperer, aber auch der weltbekannte Ufa-Filmsong „Ich bin von Kopf bis Fuß auf Liebe eingestellt“ der großen Marlene Dietrich wurde in der Sing-Akademie aufgenommen. 1932 schloss die Telefunken-Platte einen Exklusivvertrag mit der Sing-Akademie und hatte nunmehr das alleinige Recht für Schallplattenaufnahmen in ihrem Saal; die technischen Aufnahmeeinrichtungen wurden im Keller des Gebäudes untergebracht. Jedes Jahr wurden mehrere hundert Einspielungen gemacht, so mit den Berliner Philharmonikern unter Wilhelm Furtwängler oder Willem Mengelberg, mit Künstlern wie Peter Igelhoff oder Peter Kreuder.