Den största fastigheten med lägenheter för brukets anställda har alltid kallats för Slottet. Antagligen därför att det var det största huset i byn, beläget på höjden i nära anslutning till bruket som låg nedanför. Så här brukar chefen för företagen lägga sin bostad i bruksorterna, men här i Svartå var det arbetarfamiljerna som bodde så.

Huset uppfördes i mitten av 1800-talet och som mest bodde här elva hyresgäster i ett rum och kök eller i enkelrum. I slutet av 1970-talet stod huset tomt och fick förfalla, nästan alla fönster var utslagna och hela huset var i mycket dåligt skick.

År 1981 erbjöd Hasselfors Bruks AB den nybildade hembygdsföreningen att bli ägare till Slottet för en symbolisk summa. Man antog erbjudandet och påbörjade renoveringen av huset.
En nästan omänsklig uppgift för föreningens medlemmar tyckte många Svartåbor.

Bland medlemmarna fanns dock många pensionerade hantverkare som tillsammans klarade uppgiften att med vilja och envishet återställa huset i användbart skick. Efter fyra år av hårt arbete hade man fått en hembygdsgård som fungerade och kunde invigas av dåvarande Landshövdingen Elvy Olsson. Svartå Hembygdsförening förvaltar och bedriver en livlig verksamhet i huset med olika aktiviteter.