Historien om Skjoldenæsholm kan spores tilbage til 1348. Den gang stod der en anselig borg under Valdemar Atterdag ved Valsølille sø. Under Frederik II i 1567 blev borgen revet ned og byggematerialerne genbrugt til opførelsen af blandt andet Frederiksborg Slot i Hillerød.
Den nuværende Hovedbygning er opført i flere etaper. Den oprindelige hovedgård er bygget af rentemester Müller i 1662. "Grevindefløjen", som kendes på bindingsværket og fundamentet af kampesten, er tilbage fra denne tid. I 1794 købte Anna Marie Bruun de Neergaard godset af Anna Joachimina Ahlefeldt og siden har Skjoldenæsholm været i familien Bruun de Neergaards eje. Familien flyttede i 1971 fra hovedbygningen for at omdanne stedet til hotel og konferencecenter. Slottet fremstår i dag som en velbevaret herregård, hvor svundne tiders stemning og nutidig komfort forenes i højeste kvalitet.
Gobelinerne i "gobelinstuen" forestiller tørdokken i Københavns havn og havnen i Glückstadt.