Pasak senųjų istorinių šaltinių, šio pastato vietoje stovėjęs Lietuvos Didžiosios Kunigaikštystės didikams Chodkevičiams priklausęs dvaras. XVI–XVII amžiuje jį valdė jau kita giminė – Sanguškos. XVIII amžiuje dvaras ėjo iš rankų į rankas.
Mūriniai pastatai čia iškilo XVIII amžiaus antroje pusėje. Iš paskutinio dvaro valdytojo Jono Chodasevičiaus carinės Rusijos valdžia XIX amžiaus pradžioje šį pastatą ir visą dvarvietę nusavino. Netrukus okupacinė valdžia Gedimino kalną ir visą aplinkinę teritoriją pavertė karine tvirtove, o šį pastatą pritaikė karinėms reikmėms.
Pradžioje čia veikė kareivinės, o vėliau įrengtas politinių kalinių kalėjimas. Per 1863–1864 metų sukilimą čia savo dienas nelaisvėje leido daugiau nei 1000 žmonių. Čia kalėjo ir 8 sukilėliai iš 21 nuteistųjų mirties bausme. Po Lukiškių aikštėje įvykdytų egzekucijų, slepiant nuo visuomenės, jų kūnai buvo užkasti ant Gedimino kalno.
Pastato paskirtis nesikeitė iki pat 2019 metų rudens – čia veikė areštinė. Keitėsi tik jos šeimininkai: iki Pirmojo pasaulinio karo – carinės Rusijos kariškiai, vėliau lenkų ir nacistinės Vokietijos policininkai, sovietų milicininkai ir galiausiai laisvę atgavusios Lietuvos tvarkdariai. Kai tik paskutiniai sulaikytieji paliko pastatą, jis buvo perduotas Lietuvos nacionaliniam muziejui. Dabar šią autentišką vietą muziejus pritaiko parodoms.
