Het omwalde Woutershof aan de Dekenstraat dankt zijn naam aan de familie Wouters die het op het einde van de 18de eeuw als zwart goed kocht van de Franse bezetter. Het huis werd in 1742 en de twee bijhorende tiendenschuren in 1744 in opdracht van de Norbertijnenabdij van Averbode opgetrokken als pastorie voor de parochie van Zolder. De abdij van Averbode had tot 1815 het begevingsrecht van de kerk van Zolder en duidde tot dan één van haar leden aan als pastoor. In 1973 verhuisde de pastoor van Zolder naar een nieuwe woonst. Een jaar later, in 1974, stelde het gemeentebestuur het gebouw ter beschikking van de vzw Heemkundige Kring Zolder, die het inrichtte als heemkundig museum.
