Set udefra ligger museet inde i Lafayette Building på Westmoreland Street, en bygning fra slutningen af det 19. århundrede, der er designet af J.J. O'Callaghan. Facaden skiller sig ud med sin finish i Portland-sten, gotiske buer, terrakottadetaljer og et udsmykket fremspringende vindue. Se godt efter, og du vil endda få øje på et kongeligt våbenskjold, der er knyttet til dets oprindelige brug under fotografiboomet i dronning Victorias tid. Det historiske ydre blev omhyggeligt bevaret under en senere ombygning, som tilføjede moderne glaselementer omkring det.
Indenfor ændrer oplevelsen sig fuldstændigt. Museet breder sig over tre etager, bygget op omkring et højt centralt atrium fra en tidligere kontorombygning. I stedet for åbne haller bevæger du dig gennem en række tematiserede værelser, der er forbundet med trapper og korridorer. Hvert rum er designet som sin egen ramme med kontrolleret belysning, lyd og layout, der styrer, hvordan du bevæger dig, og hvad du lægger mærke til. Strukturen understøtter et kontinuerligt flow, hvor det ene miljø fører direkte ind i det næste uden at bryde stemningen.