W latach 70. XVII w. w Wysocku z inicjatywy Marii Kazimiery d’Arquien de la Grange Zamoyskiej, później Sobieskiej, wzniesiono piętrowy, drewniany, alkierzowy dwór. Projektantem tego otoczonego fortyfikacjami w postaci fos i wałów dworu był Tylman z Gameren. Budowę murowanego pałacu według projektów Giovanniego Spazzio rozpoczęto w 1719 r. z inicjatywy Elżbiety z Lubomirskich Sieniawskiej. Od 1724 r. kontynuowano ją według nowych planów S.A. Mayera. Po śmierci Elżbiety w 1729 r. budowę pałacu kontynuowała jej córka Zofia, żona najpierw S. Denhoffa, a następnie po jego śmierci w 1731 r. księcia Augusta Czartoryskiego. W wyniku tego małżeństwa Wysocko przeszło w ręce Czartoryskich. Ostatecznie budowę murowanego pałacu ukończono w 1734 r. Kolejnym właścicielem został Adam Czartoryski i jego żona Izabela. Następnie ich córka, Maria Wirtemberska sprzedała majątek wysocki Zamoyskim. W 1875 r. pałac przebudowano, dodając piętro. W czasie I wojny światowej Rosjanie obrabowali pałac, a następnie spalili. Po zakończeniu odbudowy w 1939 roku został on ponownie spalony w czasie II wojny światowej.

W latach 1939–1941 pałac był siedzibą 2 komendantury 92 Oddziału Pogranicznego NKWD.

Obiekt odbudowano w latach 1959–1961, wówczas jego wnętrza dostosowano do potrzeb domu pomocy społecznej. Taką funkcję pełni obecnie.

W skład zespołu pałacowego wchodzą obiekty wybudowane w XIX w. Znajdująca się w parku piwnica powstała na początku XIX w., kuźnia w latach 30. XIX w., obelisk w parku w 1833 r., natomiast oficyna, kapliczka oraz stajnie w 2. poł. XIX w. Osiemnastowieczny ogród z geometrycznymi, rozmieszczonymi na dwóch płaskich tarasach w dolinie Sanu kwaterami, przekształcono w ogród krajobrazowy typowy dla XIX w., z licznymi okazami drzew obcego pochodzenia.