När Herman Petersen inköpte Erstavik 1765 uppdrog han åt arkitekten, hovintendenten Jean Erik Rehn att projektera den nuvarande slottsliknande herrgårdsanläggningen. Den befintliga karolinska mangårdsbyggnaden med sina flyglar revs, utom den södra som är det nuvarande kapellet och en annan flygel belägen mitt emot kapellet. Denna flygel flyttades på 1850-talet till Drevinge där den ännu finns kvar som gårdens huvudbyggnad.
Rehn var en av sin tids förnämsta arkitekter och även konstnärlig formgivare av textilier, keramik m.m. Han var verksam vid inredningen av Stockholms och Drottningholms slott och har ritat herrgårdarna Gimo och Forsmark i Uppland som byggdes vid ungefär samma tid för släktingar till Herman Petersen.
Byggnaderna vid Erstavik och interiörerna i huvudbyggnaden representerar till stilen övergången från rokoko till gustaviansk. Rehn hade år 1756 återkommit från en resa till Italien och Frankrike tillsammans med målaren Johan Pasch. Där hade de fått många intryck av de senaste trenderna inom arkitekturen starkt påverkade av det genom utgrävningarna av Pompeji nyväckta intresset för antikens formspråk. Johan Pasch dekorerade den stora salongen på Erstavik med en målning med motiv av en antik ruin.
Den södra flygeln till herrgården på Erstavik inreddes 1723 till kapell. Erstavik utgjorde då och fram till 1887 en egen kapellförsamling. I samband med uppförandet av den nya herrgårdsanläggningen uppdrog Herman Petersen åt Rehn att bygga om kapellet till dess nuvarande utseende.
En del av inventarierna i kapellet bl.a. lyktorna och tavlor kommer från Nacka gamla kapell vid Nacka gamla kyrkogård. De inköptes till Erstavik år --- av dåvarande fideikommissarien kammarherren August af Petersens när Nacka gamla kapell revs i samband med att man byggde den nuvarande Nacka kyrka.
Predikstolen är placerad mitt över altaret vilket är vanligt i kyrkor tillhörande franska reformerta församlingar t.ex. den i Stockholm. Där var Herman Petersen en av medlemmarna och hans svärfar Jean Bedoire, en av församlingens ledare.
Gudstjänst hålles i kapellet på Erstavik ca 4 gånger årligen bl.a. vid jul och påsk.