Der Architekt George Page wurde 1903 von Mary Chynoweth, der Witwe von Anson Hayes und Ehefrau des Anwalts Thomas Chynoweth aus San Jose, beauftragt, ein Haus zu bauen, das das hölzerne englische Barockhaus der Familie Hayes ersetzen sollte, das 1899 niedergebrannt war. Das Haus sollte den Chynoweths und den wachsenden Familien von Marys beiden Söhnen (Everis A. Hayes und Jay Orly Hayes) einen dreifachen Wohnsitz bieten. Das Design des Hauses berücksichtigte die neuesten Brandschutzmaßnahmen der damaligen Zeit.
Anfänglich war das Anwesen autark, mit einem eigenen Kraftwerk, einem Postamt, einem Bahnhof, einer Kutschenstation, Unterkünften für 40 Rancharbeiter und einer Kapelle. Die Familie baute Obst und Gemüse an und züchtete ihr eigenes Vieh. Everis A. Hayes und Jay Hayes halfen später bei der Entwicklung der Obstindustrie im Santa Clara Valley und wurden die Herausgeber des San Jose Mercury. Drei US-Präsidenten besuchten das Herrenhaus während ihrer Prominenz.
Die Familie verkaufte das Anwesen in den 1950er Jahren, woraufhin das Gebäude einige Zeit leer stand und dann baufällig wurde. In den 1990er Jahren wurde das Anwesen von der Stadt San Jose erworben, renoviert und zu seinem heutigen Zustand ausgebaut. Das Gebäude verfügt nun über 3.100 m2 Tagungsfläche und 214 Gästezimmer und ist von einem 8,1 ha großen Park umgeben.