Casa Casuarina została zbudowana w 1930 roku przez Aldena Freemana. Ojciec Aldena Freemana, Joel Freeman był skarbnikiem Standard Oil Trust (znanym również jako Rockefeller’s Company) i pozostawił Aldenowi bajeczne bogactwo, kiedy odszedł. To dało młodemu i bogatemu Aldenowi możliwość przejścia na emeryturę w wieku 27 lat z bycia architektem i podróżowania po całym świecie. Alden był również potomkiem Mayflower od strony matki i czuł bardzo silną więź z historią. Freeman, zawsze dobrze podróżujący i bardzo inteligentny, kochał ducha przygód Krzysztofa Kolumba i podczas jednej ze swoich licznych podróży dookoła świata, odwiedził Alcazar De Colon w Santo Domingo (Republika Dominikany), który został zbudowany przez Diego Kolumba (syna Krzysztofa Kolumba) i jest znany jako najstarsza rezydencja na zachodniej półkuli.Alden był tak zainspirowany tym domem, że postanowił zbudować swój własny dom w Miami Beach jako hołd dla Alcazar De Colon i odkupił 2 cegły z tego domu. Jedna z nich znajduje się po prawej stronie głównego wejścia, a druga w jego dawnym domu w Santa Barbara w Kalifornii (nazwanym „Montarioso”, który później został podarowany miastu, a następnie odrestaurowany i zbadany przez Pearl Chase Society of Santa Barbara). Alden marzył o życiu w bohemie wraz ze wszystkimi swoimi przyjaciółmi z lokalnych dzielnic, takich jak Coconut Grove i Coral Gables. Ponadto, podczas swoich licznych podróży zagranicznych spotykał fascynujących ludzi i zawsze zapraszał ich do swojego pięknego domu w Miami Beach.
The Hubbell & Hubbell Company była wykonawcą odpowiedzialnym za budowę Casa Casuarina. Jeśli spojrzysz w dół, zobaczysz, że ziemia jest oryginalna key lime coral, która była częścią oryginalnego domu zaprojektowanego przez słynnego projektanta wnętrz z lat 20-tych Addisona Miznera, który praktycznie stworzył West Palm Beach.
Właściwość miała w sumie 24 apartamenty. Freeman mieszkał w apartamencie na najwyższym piętrze, na południowo-wschodnim rogu. Pozostałe 23 apartamenty w budynku były dostępne do wynajęcia i do zamieszkania dla wielu przyjaciół Freemana, którzy odwiedzili Miami Beach.
Alden Freeman zmarł w Casa Casuarina 29 grudnia 1937 roku po długiej chorobie. Dom został sprzedany Jacque’owi Amsterdamowi za 100 tysięcy dolarów, który kontynuował prowadzenie domu jako kompleksu apartamentów, który nazwał „Amsterdam Palace”. W kwietniu 1939 r. Amsterdam przeprowadził niewielką renowację domu, w ramach której zainstalował szyb windy (gdzie obecnie znajduje się dzwon), zastąpił staw z liliami na dziedzińcu posadzką z lastryko i przeniósł klęczącą statuę Afrodyty na frontowy taras. Pokoje były wynajmowane za $600/miesiąc w sezonie zimowym i $30/miesiąc w lecie.
W następnych latach, Amsterdam Palace przeszedł przez ręce kilku właścicieli i setki najemców. Przez krótki czas w latach 80-tych dom nosił nazwę Christopher Columbus Apartments. Po pewnym czasie budynek stopniowo popadał w ruinę, ale cudem przetrwała większość oryginalnych elementów wyposażenia i dzieł sztuki.
W 1992 roku, podczas wakacji z rodziną w Miami Beach, Versace wybrał się na spacer wzdłuż Ocean Drive i od razu zwrócił uwagę na dom z posągiem „Klęczącej Afrodyty” i zakochał się w wyjątkowej hiszpańskiej architekturze posiadłości. Mając obsesję na punkcie greckiej i rzymskiej mitologii, Versace kupił oryginalny dom zbudowany przez Freemana za 2,95 miliona dolarów oraz działkę obok, stary hotel w stylu art deco, zwany Hotel Revere. Pomimo, że okolica ta została wpisana do Krajowego Rejestru Miejsc Historycznych w 1979 roku i pomimo silnego sprzeciwu ze strony Miami Design Preservation League, Versace kupił sąsiedni Hotel Revere za 3,7 miliona dolarów, aby go zburzyć i umieścić w nim ogród, basen i południowe skrzydło.
Versace zainwestował dodatkowe 32 miliony dolarów w renowacje, w których dodał południowe skrzydło, basen i ogród oraz przekształcił 24 apartamenty w 10 dużych apartamentów w oryginalnym domu i dodatkowe 2 nowe apartamenty w południowym skrzydle. Usunął również szyb windy na dziedzińcu, zastąpił fontannę i zrekonstruował obserwatorium, w tym nową miedzianą kopułę. Versace planował zakup pustej wówczas działki obok od strony północnej w celu założenia drugiego ogrodu, ale po jego śmierci stała się ona częścią hotelu Victor.
Remont trwał prawie 3 lata, a 15 lipca 1997 roku, zaledwie 5 lat po zakupie domu, Versace został zabity na schodach domu podczas swojego zwyczajowego porannego spaceru z News Cafe.
Oprócz Gianniego Versace, dom był również używany przez wielu jego bliskich przyjaciół i członków rodziny. Sypialnia jego brata Santo jest teraz nazywana pokojem Venus, sypialnia jego siostry Donatelli jest apartamentem Signature.
Część zawartości, kiedy Versace mieszkał tutaj, została sprzedana na aukcji w Nowym Jorku w kwietniu 2001 roku za 28 milionów dolarów. To, co jeszcze pozostało z czasów Versace to bogato zdobione ściany, podłogi, sufity i okna, a także basen, ogród i całe południowe skrzydło.
Dom stał pusty przez około 3 lata, a we wrześniu 2000 roku Donatella w końcu sprzedała go Peterowi Loftinowi, magnatowi telekomunikacyjnemu z Raleigh, N.C. za 19 milionów dolarów. Loftin używał tego domu jako prywatnej rezydencji, jak również hotel, klub członkowski i prywatne imprezy venue od 2001 do końca 2009.
W grudniu 2009 roku, Events impresario i restaurator Barton G. Weiss dzierżawione nieruchomości i przejął Mansion, odciskając swój własny styl podpisu na piętrowym domu i ponownie otwarty jako The Villa przez Barton G. We wrześniu 2013 roku florydzki biznes związany z Jordache Enterprises kupił rezydencję na aukcji z wygraną ofertą 41,5 miliona dolarów.
Legenda utrzymuje, że Casa Casuarina była oryginalną nazwą nadaną domowi, kiedy został zbudowany w 1930 roku w hołdzie dla jedynego pozostałego drzewa w partii po huraganie z 1926 roku, który uderzył w Południową Florydę. Freeman został zmuszony do ścięcia drzewa, aby zrobić miejsce na budowę nowego domu. Casuarina esquisetifolia to botaniczna nazwa tropikalnego drzewa popularnie znanego jako „australijska sosna”.