Historia osadnictwa we Włoszczowie sięga wielu wieków wstecz. Wiemy, że na przełomie XIV i XV stulecia powstał tu gródek - obecne wzgórze św. Jana.
W XVI stuleciu Włoszczowa przeszła w ręce rodziny Szafrańców herbu Starykoń z Pieskowej Skały. Stanisław Szafraniec wzniósł w niej dwór warowny - reprezentacyjna siedziba znalazła się na terenie noszącym dziś nazwę Podzamcze.
Obecnie niezwykle trudno znaleźć tu ślady po rodzie Szafrańców. Z historycznych opisów można wnioskować, że już pod koniec XIX wieku z zamku został widoczny do dziś zarys fosy.
Na miejscu dworu Szafrańców stanął pałac Niemojewskich, jednak i z tego założenia pozostało dziś niewiele - dwie oficyny po obu stronach ulicy Podzamcze. W tym miejscu droga się kończy,a w głębi widać drzewa dawnego założenia parkowego.
Obecnie obiekt znajduje się w rękach prywatnych i nie jest udostępniony do celów turystycznych.