A falut először 1334-ben említi a pápai tizedjegyzék, de régészeti leletek árulkodnak arról, hogy már a rómaiak is települést alapítottak itt. A római limes, vagyis a birodalom határa, egyik jelzőtornyának, a Hagymás váraként emlegetett építménynek a maradványa megtalálható a közelben. Egy kör alaprajzú kora középkori vár is van a Rika-erdőben, amit a hagyomány Attila várának nevez. A falu eredetileg a Trencsen-hegyen helyezkedett el, a tatárjárás után költözött a mai helyére. Az alszegi templomot a 13. században építhették, majd átépítették gótikus stílusban két évszázaddal később, végül pedig a 19. században lebontották. Köveit az új, 1813–1820 között épített unitárius templom építéséhez használták fel. Fennmaradt viszont egy székely-magyar rovásírásos felirattal díszített faragvány, ami keresztelőmedencéhez tartozhatott, esetleg egy keresztnek a talapzata lehetett. A felirat olvasata: „Íme a te Fiad”. Az új református templomot Makovecz Imre tervezte.

A család első ismert tagja Balázs, aki az 1396-os nikápolyi csatában Luxemburgi Zsigmond király seregében harcolt. A 17. században két ágra szakadt a család: a vargyasi és az olaszteleki ágra. A vargyasi ágból származó Daniel (II.) István emlékíró 1737-ben szerzett bárói rangot. A század közepe táján elérte karrierje csúcsát is, ő lett Udvarhelyszék főkirálybírája. A következő versike maradt fenn befolyásáról: „Isten az égben, Mária Terézia Bécsben, Daniel István a székben mindenható.” Daniel (II.) Gábor a 19. században futott be szép politikai karriert és Erdély kulturális fellendítéséért is aktívan tett. A Magyar Történeti Társaság és az Erdélyi Múzeum-Egyesület alapító tagja, a Lipót-rend lovagja. Ő írta meg a vargyasi Danielek történetének első összefoglalóját.

A kastély számos korszak nyomát magán viseli, így felfedezhetünk reneszánsz, barokk, klasszicista és neoreneszánsz elemeket is. A magját valószínűleg Daniel (I.) Ferenc és felesége nemesi udvarháza jelenthette. Minden bizonnyal ezt bővíthette kastéllyá unokájuk, (II.) Ferenc udvarhelyszéki főkirálybíró. Az 1640–1650 között zajló építkezésre a kastély falába másodlagosan elhelyezett címeres, feliratos kövek utalnak. A 18. század elején a labancok többször is feldúlták a birtokot, ezért újjá kellett építeni. A tört tetős központi épület déli oldalán késő reneszánsz loggiát alakítottak ki – levéltári kutatások alapján ez már 1687-ben állhatott és 1723-ban csupán átalakításra szorult. A 18. század végén Daniel (II.) Elek megrendelésére hajtottak végre nagyobb munkálatokat a kastélyon. 1797 körül négy földszinti és négy emeleti szobát építtetett, illetve manzárdtetővel fedte az épületet. Unokájához, Daniel (II.) Gáborhoz köthető az északi oldal klasszicizáló, sarokbástyás épületrésze. A délnyugati kerekbástya 1920–1922 között készült el, Gábor unokájának, Daniel (VI.) Ferencnek a megbízásából. 1937-ben felújították a kastélyt és megépítették az északi oldalon a neoreneszánsz tornácot.

Államosítást követő időszak

Br. Daniel Ferenctől 1949-ben államosították a kastélyt, amibe az állami mezőgazdasági vállalat költözött be. A nagytermet és a parkettázott szobákat juhistállóként használták, így több mint egy méter vastagságú trágya rakódott le az évek során. Az 1980-as évek első felében az akkori néptanácselnök, Deák Vilma elérte, hogy restaurálják az épületet. Ezt követően a néptánccsoport használta a kastélyt. Daniel Ferenc gyermekei visszaigényelték és 2005-ben vissza is kapták a birtokot. 2005 júliusában Esztergom Város Önkormányzata vásárolta meg tőlük.