La Casa Casuarina fue construida en 1930 por Alden Freeman. El padre de Alden Freeman, Joel Freeman, era el tesorero de la Standard Oil Trust (también conocida como la compañía de Rockefeller) y dejó a Alden una fabulosa riqueza cuando falleció, lo que le dio al joven y rico Alden la oportunidad de retirarse a la edad de 27 años de ser arquitecto y viajar por todo el mundo. Alden también era descendiente del Mayflower por parte de su madre y se sentía muy vinculado a la historia. Freeman, siempre viajero y muy inteligente, amaba el espíritu aventurero de Cristóbal Colón y en uno de sus muchos viajes por el mundo, fue a visitar el Alcázar de Colón en Santo Domingo (República Dominicana) que fue construido por Diego Colón (hijo de Cristóbal Colón) y es conocido por ser la residencia más antigua del hemisferio occidental.Alden se sintió tan inspirado por la casa que decidió construir su propia casa en Miami Beach como homenaje al Alcázar de Colón y compró dos ladrillos de la casa. Uno de ellos se encuentra a la derecha de la entrada principal y otro en su antigua casa de la ciudad de Santa Bárbara, California (llamada la finca «Montarioso», que más tarde fue donada a la ciudad y luego restaurada y estudiada por la Sociedad Pearl Chase de Santa Bárbara). Alden soñaba con vivir en una sociedad bohemia con todos sus amigos de zonas locales como Coconut Grove y Coral Gables. Además, en sus numerosos viajes al extranjero conocía a gente fascinante y siempre los invitaba a pasar el rato en su hermosa casa aquí en Miami Beach.
La Hubbell & Hubbell Company fue la contratista responsable de la construcción de la Casa Casuarina. Si mira hacia abajo, verá que el suelo es de coral de lima original, que formaba parte de la casa original diseñada por el célebre diseñador de interiores de los años 20 Addison Mizner, que prácticamente creó West Palm Beach.
La propiedad tenía un total de 24 apartamentos. Freeman vivía en el apartamento del último piso, en la esquina sureste. Los 23 apartamentos restantes del edificio estaban disponibles para su alquiler y para alojar a muchos de los amigos de Freeman que visitaban Miami Beach.
Alden Freeman murió en Casa Casuarina el 29 de diciembre de 1937 tras una prolongada enfermedad. La casa fue entonces vendida a Jacque Amsterdam por 100 mil dólares, quien continuó administrando la casa como un complejo de apartamentos que denominó «Amsterdam Palace». En abril de 1939, Amsterdam realizó una pequeña reforma de la casa en la que instaló un hueco para el ascensor (donde se encuentra la actual campana), sustituyó el estanque de nenúfares del patio por suelo de terrazo y trasladó la estatua arrodillada de Afrodita a la terraza delantera. Las habitaciones se alquilaban por 600 dólares al mes durante la temporada de invierno y por 30 dólares al mes en verano.
En los años siguientes, el Palacio de Ámsterdam pasó por las manos de varios propietarios y cientos de inquilinos. Durante un breve periodo de tiempo en la década de 1980, la casa se llamó Apartamentos Cristóbal Colón. Después de un tiempo, el edificio se fue deteriorando, pero milagrosamente, la mayoría de los accesorios y obras de arte originales sobrevivieron.
En 1992, mientras estaba de vacaciones con su familia en Miami Beach, Versace dio un paseo por Ocean Drive y se sintió inmediatamente atraído por la casa por la estatua de «Afrodita arrodillada» y se enamoró de la singular arquitectura española de la propiedad. Obsesionado con la mitología griega y romana, Versace compró la casa original construida por Freeman por 2,95 millones de dólares y el terreno de al lado, un antiguo hotel art decó llamado Hotel Revere. Aunque este barrio fue incluido en el Registro Nacional de Lugares Históricos en 1979 y a pesar de la fuerte oposición de la Liga de Preservación del Diseño de Miami, Versace compró el Hotel Revere de al lado por 3,7 millones de dólares para demolerlo y poner el Jardín, la Piscina y el Ala Sur.
Versace invirtió otros 32 millones de dólares en renovaciones en las que añadió el ala sur, la piscina y el jardín y convirtió los 24 apartamentos en 10 grandes suites en la casa original y otras 2 nuevas suites en el ala sur. También eliminó el hueco del ascensor en el patio, sustituyó la fuente y reconstruyó el observatorio, incluyendo una nueva cúpula de cobre. Versace había planeado comprar el terreno contiguo al norte, que entonces estaba vacío, para poner un segundo jardín, pero cuando su muerte intervino, pasó a formar parte del Hotel Victor.
Las renovaciones tardaron casi 3 años en completarse y el 15 de julio de 1997, sólo 5 años después de comprar la casa, Versace fue asesinado en los escalones delanteros de la casa en su habitual paseo matutino a casa desde el News Cafe.
Además de Gianni Versace, la casa también fue utilizada por sus muchos amigos cercanos y miembros de la familia. El dormitorio de su hermano Santo se llama ahora la habitación Venus, el de su hermana Donatella es la suite Signature.
Algunos contenidos de cuando Versace vivía aquí se subastaron en Nueva York en abril de 2001 por una cifra que se informó de 28 millones de dólares. Lo que aún queda aquí de la época de Versace son las paredes, los suelos, los techos y las ventanas ricamente decorados, así como la piscina, el jardín y toda el ala sur.
La casa estuvo vacía durante unos 3 años y en septiembre de 2000, Donatella finalmente vendió la propiedad a Peter Loftin, un magnate de las telecomunicaciones de Raleigh, Carolina del Norte, por 19 millones de dólares. Loftin utilizó esta casa como residencia privada, así como hotel, club de socios y lugar de celebración de eventos privados desde 2001 hasta finales de 2009.
En diciembre de 2009, el empresario de eventos y restaurador Barton G. Weiss alquiló la propiedad y se hizo cargo de la Mansión, imprimiendo su propio estilo de firma en la histórica casa y reabriendo como The Villa by Barton G. En septiembre de 2013 el negocio de Florida vinculado a Jordache Enterprises compró la Mansión en una subasta con una oferta ganadora de 41,5 millones de dólares.
La leyenda sostiene que Casa Casuarina fue el nombre original que se le dio a la casa cuando se construyó en 1930 como homenaje al único árbol que quedaba en el terreno tras el huracán de 1926 que azotó el sur de Florida. Freeman se vio obligado a talar el árbol para hacer sitio a la construcción de su nueva casa. Casuarina esquisetifolia es el nombre botánico del árbol tropical conocido popularmente como «pino australiano».
.