Godset Erstavik är känt sedan 1300-talet. Bland tidigare ägare märks namnen Björnram, Fargalt, Kyhle, Bielkenstierna, Leijonhufvud och Törnflycht. Herman Petersen, direktör och delägare i Ostindiska kompaniet m.m. fick 1763 kungens tillstånd att köpa lantbruksegendomen Erstavik. Den är ännu i familjens ägo som fideikommiss. Att få kungens tillstånd till köpet var var nödvändigt eftersom det var frågan om frälsejord, d.v.s. egendom som bara fick innehas av adelsmän.
Herman Petersen avled redan 1765 vid blott 51 års ålder. Han hade då knappast hunnit uppleva fullbordandet av sitt slottsbygge. Hans barn adlades år 1770 för faderns förtjänster och antog då namnet af Petersens.
Ett glansfullt tillfälle i Erstaviks historia var i juli 1774 när den unga Oldenburgska prinsessan, senare drottningen Hedvig Elisabeth Charlotta, kom till Sverige för att gifta sig med hertig Karl, senare Karl den XIII. Efter seglatsen med örlogsfartyg frÃ¥n Tyskland landsteg hon vid Erstavik med stÃ¥tligt mottagande av det svenska hovet. En musikkÃ¥r spelade pÃ¥ gÃ¥rdsplanen och Bellman föredrog själv sin för tillfället komponerade dikt â€Ã–ver ankomsten till Erstavik†medan konungen Gustaf den III inkognito stod vid grinden för att nyfiket iaktta sin blivande svägerska. Prinsessan och hennes uppvaktning bodde i slottet pÃ¥ Erstavik för att vila upp sig under nÃ¥gra dagar före det högtidliga mottagandet i Stockholm.