Midden jaren tachtig werd besloten tot andere huisvesting van de Rijksakademie en werd door de Rijksgebouwendienst de voormalige Kavalerie-kazerne aan de Sarphatistraat verworven.
Architect Koen van Velsen werd aangetrokken voor de ver- en nieuwbouw van de kazerne. De architectuur en infrastructuur van de in 1992 betrokken huisvesting weerspiegelt de opzet van de akademie. Het oude rechthoekige gebouw is een territorium van rust en concentratie. In de voormalige stallen is het merendeel van de technische werkplaatsen ondergebracht. Op de hoger gelegen verdiepingen en in de naastgelegen manege bevinden zich zestig individuele ateliers. Op het binnenplein zijn in twee nieuwbouwtorens onder meer de collecties, bibliotheek, kunstenaarsdocumentatie en projectruimten gehuisvest. De verschillende delen van het gebouw worden verbonden door glazen loopbruggen. Een daarvan loopt door naar een klein restaurant met uitzicht op het water van de Singelgracht.