Arquitecto George Page foi encomendado em 1903 por Mary Chynoweth, viúva de Anson Hayes e esposa do advogado de San Jose Thomas Chynoweth, para construir uma casa para substituir a mansão barroca inglesa de madeira da família Hayes, que tinha ardido em 1899. Destinada a fornecer uma residência tripla para os Chynoweths e famílias em crescimento dos dois filhos de Maria (Everis A. Hayes e Jay Orly Hayes), o projecto da casa incorporou as últimas características de segurança contra incêndios do dia.
Early on, a propriedade era auto-suficiente, com a sua própria central eléctrica, uma estação de correios, estação ferroviária, paragem de carruagem, alojamentos para 40 mãos de rancho, e uma capela. A família cultivava frutas e legumes e criava o seu próprio gado. Everis A. Hayes e Jay Hayes continuaram a ajudar a desenvolver a indústria frutícola do Vale de Santa Clara e tornaram-se os editores do San Jose Mercury. Três presidentes dos EUA visitaram a mansão durante a sua proeminência.
A família vendeu a propriedade durante os anos 50, após o que o edifício ficou vago durante algum tempo, tendo depois ficado dilapidado. Comprada pela Cidade de São José durante os anos 90, a propriedade foi renovada e expandida até ao seu estado actual. O edifício contém agora 33.000 pés quadrados (3.100 m2) de espaço para reuniões e 214 quartos de hóspedes e está rodeado por um parque de 20 acres (8,1 ha).