Die Familie von der Borch ist dokumentiert seit 1483 in Holzhausen ansässig. Sie hatte den Besitz als Lehen vom Landesherrn, dem Fürstbischof Simon III. zur Lippe, Landesherr des Fürstbistums Paderborn, erhalten. Die Gutsanlage in ihrer heutigen Form ist allerdings wesentlich später erbaut. Die ältesten Gebäude stammen aus der zweiten Hälfte des 16. Jahrhunderts, mit mächtigen Bruchsteinwänden und schweren Dächern aus Sollingsandstein. Nur das Schloss datiert später. Die Geschichte will, dass ein Ahne die alte Burg Anfang des 19. Jahrhunderts anzündete, nachdem durchziehende napoleonische Truppen darin gehaust hatten. Das neue Schloss wurde auf altem Gewölbe erbaut, immer noch umgeben vom ringsum verlaufenden Wassergraben, der Gräfte. Es ist aber kleiner und heller, klassizistisch im Stil mit Anleihen beim französischen Empire. Gebaut hat es der Kasseler Architekt Hisner.

Die Hofanlage mit dem alten Torhaus, dem Taubenturm und den ehemaligen Stallgebäuden ist vollständig erhalten, eine Seltenheit in Ostwestfalen, und so steht der ganze Hof als Ensemble unter Denkmalschutz. Was für den Historiker und Besucher eine Freude, ist für den Landwirt und Nutzer der Gebäude durchaus eine Herausforderung. Denn für die moderne Landwirtschaft sind die alten Scheunen nur begrenzt nutzbar. Aber mit viel Kreativität und Einsatz aller Beteiligten ist in den vergangenen Jahren doch an neuen Nutzungskonzepten gearbeitet worden und so teilen sich Maschinen, Menschen und Kultur inzwischen einige der alten Gebäude. Nur dem Vieh wurden die alten Gebäude nicht mehr gerecht und so sind die Rinder inzwischen in einen neuen Stall, außerhalb des Hofes, umgezogen.