Ceglana budowla posadowiona na otoczonej zielenią wyspie prezentuje się niezwykle malowniczo. Stanowi ciekawy przykład typowej, nawiązującej do średniowiecznych tradycji obronnych rezydencji zamożnej polskiej szlachty.
Dwór zbudowany jest na planie prostokąta. W tej nieco przysadzistej bryle wyróżniają się przede wszystkim 2 cylindryczne, nakryte stożkowatymi dachami basteje oraz arkady pierwszej kondygnacji.
Niektóre źródła podają, że dwór obronny wzniósł tu już w XVI stuleciu Andrzej Dunin Modliszewski. Dwór miał w 1630 roku odkupić Jan Lipski, który później piastował funkcje arcybiskupa gnieźnieńskiego, prymasa Polski i Litwy. Dwór nie stanowił głównego miejsca zamieszkania tej postaci, pełniąc funkcję letniej rezydencji.
Budowla często zmieniała właścicieli, którzy dokonywali kolejnych zmian. W XIX stuleciu zamek opustoszał i zaczął podupadać.
W czasie II wojny światowej w Modliszewicach w pobliskim (niezachowanym do dziś) dworku rezydował hitlerowski zarządca Fitting. Znany ze swego okrucieństwa, został zlikwidowany przez partyzantów AK.
W latach 80. XX stulecia dwór został częściowo odbudowany i zabezpieczony przed zniszczeniem.