Музей находится в историческом центре города на Соборной площади, в бывшем доме купцов Алянчиковых – памятнике архитектуры XIX столетия. Исторический центр Касимова – "музей под открытым небом". С древних времен Соборная площадь являлась административным, деловым и торговым центром, сердцем русской части города, именно здесь сосредоточена большая часть купеческих усадебных комплексов. Архитектурное оформление площади было разработано местным архитектором-самоучкой И.С. Гагиным в начале XIX века и сохранилось до наших дней без существенных изменений.
На Соборной площади находятся:
-
Комплекс Торговых рядов (3 корпуса) (1830-е)
-
Церковь Успения Пресвятой Богородицы с колокольней (1775)
-
Церковь Благовещения (1740)
-
Собор Вознесения Господня (1864)
-
Дом Скорнякова (Львова), XVIII в.
-
Дом Наставина (1813)
-
Дом Гинц (Азовцевой), купеческий дом с мезонином (1824-1826)
-
Духовное училище (1836)
-
Женская гимназия (XIX в.)
-
Здание выездной сессии, казначейства и мирового суда (XIX в.)
-
Здание Городской управы (1853)
Недалеко от музея, на улице Советской: