Slottet kan dateres til 1579, da det hed Ulfeldtsholm og tilhørte slægten Ulfeldt. Ellen Marsvin købte det i 1616, og hun omdøbte det til Ellensborg. Hun udvidede snart med to fløje og et kapel, der er kendt for sine fornemme billedskærerarbejder. Ellen Marsvin var mor til Kirsten Munk, der var gift med Christian 4., til hun faldt i unåde pga. utroskab og selv forlod kongen. Efter fru Kirstens død i 1658 tilfaldt slottet deres datter Leonora Christina. Hun og hendes mand var da i færd med at gennemføre et svensk felttog i Danmark. Ægteparret Ulfeldt fik lov at opholde sig på Ellensborg (efter at have siddet fængslet uden dom på Hammershus) – og da de forlod landet, blev deres sidste besiddelse, Ellensborg, konfiskeret.
Slottet stod nu tomt nogle år, men i 1672 blev det givet til kommandanten på Kronborg, Eiler baron Holck, der oprettede baroniet Holckenhavn. Siden har det tilhørt familien Holck, efter hvilken det har fået sit navn. Den nuværende ejer er Christina Holck, der anvender slottet til konferencer og andre private arrangementer.
Holckenhavn omfatter et bebygget areal på ca. 6.000 m² og har 128 værelser. Riddersalen har plads til 200 gæster. Kapellet har plads til 100 personer.
Til godset hører ca. 825 hektar jord, heraf omkring 400 hektar landbrugsjord. Parken er indrettet i engelsk stil.
Stort set hele slottet anvendes til konferencer, middage og lignende i såvel selve slottet som staldbygninger og parken. 18. september 2006 udbrød der brand i slottets tårn, som en overgang truede med at styrte sammen. Branden blev dog hurtigt slukket, og tårnet holdt til strabadserne. En undersøgelse slog fast, at det var fejl i elinstallationerne, der var skyld i branden.
