Pałac został wybudowany pod koniec XIX w. przez księcia Aleksandra Druckiego-Lubeckiego w stylu klasycystycznym.
„Boże! Ci wszyscy, którzy tu bywają, czego nam życzą, niechaj sami mają” - ten oto napis zdobi wejście do bałtowskiego pałacu.
Budowany w latach 1894-1999 składał się z 36 pokoi, biblioteki, sali balowej oraz kancelarii księcia Aleksandra Druckiego-Lubeckiego. W 1926 roku w pałacu wybuchł pożar, w wyniku którego spłonął dach, drugie piętro i część pierwszego. Pałac został też mocno zniszczony w czasie II Wojny Światowej przez Niemców, którzy wywieźli stąd również wiele cennych przedmiotów. W 1944 roku rodzina Druckich-Lubeckich wyjechała z Bałtowa.
Do dalszej degradacji Pałacu przyczynili się Rosjanie, którzy spalili w 1945 r. pałacowy księgozbiór a wyposażenie zostało rozkradzione. W1951 rok w pałacu utworzono Technikum Rolnicze, które funkcjonowało tu przez 25 lat. Zdewastowany pałac, wraz z kilkunastohektarowym parkiem, odzyskały w 2014 roku spadkobierczynie księcia.
Na pobliski cmentarzu w kaplicy wymurowanej jeszcze w roku 1914, spoczywają Maria i Aleksander ks. Druccy-Lubeccy.