L’architecte George Page a été chargé en 1903 par Mary Chynoweth, veuve d’Anson Hayes et épouse de l’avocat de San Jose Thomas Chynoweth, de construire une maison pour remplacer le manoir baroque anglais en bois de la famille Hayes, qui avait brûlé en 1899. Destinée à fournir une triple résidence aux Chynoweth et aux familles grandissantes des deux fils de Mary (Everis A. Hayes et Jay Orly Hayes), la conception de la maison intégrait les derniers dispositifs de sécurité incendie de l’époque.
Au début, la propriété était autosuffisante, avec sa propre centrale électrique, un bureau de poste, une gare ferroviaire, un arrêt de calèche, des logements pour 40 ouvriers du ranch et une chapelle. La famille cultivait des fruits et légumes et élevait son propre bétail. Everis A. Hayes et Jay Hayes ont ensuite contribué à développer l’industrie fruitière de la vallée de Santa Clara et sont devenus les éditeurs du San Jose Mercury. Trois présidents américains ont visité le manoir pendant leur proéminence.
La famille a vendu la propriété pendant les années 1950, après quoi le bâtiment est resté vacant pendant un certain temps puis est devenu délabré. Achetée par la ville de San Jose au cours des années 1990, la propriété a été rénovée et agrandie jusqu’à son état actuel. Le bâtiment contient maintenant 33 000 pieds carrés (3 100 m2) d’espace de réunion et 214 chambres d’hôtes et est entouré d’un parc de 20 acres (8,1 ha).