Keistimewaan Museum Monumen Pangeran Diponegoro bukan pada koleksinya, melainkan justru pada temboknya. Museum ini dibangun dua tahap pada 1969 dan 1971 di atas tanah bangunan tempat tinggal Kanjeng Ratu Ageng, yang merawat Pangeran Diponegoro sejak kecil. Namun, pada masa peperangan antara Pangeran Diponegoro dan Belanda pada 1825, bangunan di atas tanah itu dibumihanguskan oleh tentara Belanda.

Rumah itu dulu dikelilingi tembok, tapi dijebol ole