Geschiedenis van de Kavallerie-Kazerne
Op het vroegere bolwerk Muiden is in 1864-1865 een nieuwe cavaleriekazerne gebouwd. Het in sober classicisme opgetrokken gebouw, 85 bij 56 meter, bestaat uit vier vleugels rondom een open binnenplaats. De begane grond was oorspronkelijk bestemd voor de stalling van ongeveer 200 paarden; op de eerste verdieping en zolder waren manschappen (Huzaren) gelegerd, er waren kantoren en op de zolder werd hooi en stro voor de paarden opgeslagen. De overdekte rijloods of manege werd in 1874 naast de kazerne opgetrokken en kreeg een ijzeren kapconstructie.

1918, de eerste en enige revolutie in Nederland die niet doorging
Alumnus Mieke van der Voort heeft in 2005 aandacht gevestigd op de rol van de Kavallerie-Kazerne bij de opstand waartoe Troelstra opriep in 1918. Een gedenksteen onder de poort geeft aandacht aan de slachtoffers van de schietpartij tijdens ‘de revolutie die niet doorging’.

Tweede Wereldoorlog
In 1940 was het gebouw in gebruik bij de Bereden Onderafdeling van het Korps Politietroepen. Volgens een verzetsgroep werd de kazerne later door de Duitse bezetter gebruikt voor de legering van circa 200 manschappen. Op 26 augustus 1944 waren er nog circa 100 Wachmänner en enkele eenheden Landwacht Nederland gestationeerd.
Na de Tweede Wereldoorlog kwamen kazerne en manege grotendeels leeg te staan; paarden werden vervangen door pantservoertuigen.

Medicijnopslag
Vanaf 1955 zijn de ruimten gebruikt voor medicijnenopslag van het naastgelegen Rijks Magazijn van Geneesmiddelen.  In die periode vonden ook keuringen voor de militaire dienstplicht in de voormalige Kavallerie-Kazerne plaats. In 1988 verhuisden de Centrale Militaire Apotheek en het Centraal Depot Geneeskundige Dienst naar Heerenveen, om plaats te maken voor de verbouwing ten behoeve van de Rijksakademie.