Utifrån sett ligger museet i Lafayette Building på Westmoreland Street, en byggnad från slutet av 1800-talet som ritades av J.J. O'Callaghan. Fasaden sticker ut med sin Portlandsten, gotiska valv, terrakottadetaljer och ett utsmyckat utskjutande fönster. Titta noga så kan du till och med se en kunglig vapensköld som är kopplad till dess ursprungliga användning under fotografiboomen under drottning Victorias tid. Den historiska exteriören bevarades noggrant under en senare ombyggnad, där man lade till moderna glaselement runt den.
Inuti förändras upplevelsen helt. Museet sträcker sig över tre våningar, byggda runt ett högt centralt atrium från en tidigare kontorsombyggnad. Istället för öppna salar rör du dig genom en sekvens av rum med olika teman som är förbundna med trappor och korridorer. Varje utrymme är utformat som en egen miljö, med kontrollerad belysning, ljud och layouter som styr hur du rör dig och vad du lägger märke till. Strukturen stöder ett kontinuerligt flöde, där en miljö leder direkt in i nästa utan att bryta stämningen.