A kastély legrégebbi részét 1735-ben építtette Amadé Antal, a keleti mellékszárnyat és a kaput pedig Tádé, 1764-ben. A központi épület alapja egy 18. századi kastély lehetett. 1800-ban a kastély a Bajzáth József veszprémi püspök tulajdonába került, aki 1820-ban jelentős építkezésekbe fogott. A főszárny két végét bővítette oldalirányban, klasszicista stílusban. 1840 körül a park felőli homlokzat nyílásai új kőkeretet, kaptak, melyek terveit valószínűleg Langmasy Mihály építőmester készítette.

1870-ben Bajzáth József unokaöccsének lányának házassága révén került a Pappenheim grófok birtokába a kastély, jelentős átépítése gróf Pappenheim Siegfried nevéhez kötődik a 1904 és 1909 között. Elbontották a nyugati mellékszárnyakat, és helyükre egy emeletes, gazdag kőszobrászati díszítésű neobarokk épületet építettek, díszes ablak- és erkélyrácsokkal, az emeleti ablakok fölött kőfejekkel, a középrizalit fölött alakos szoborkompozícióval. Az átépítés Gabriel Seidl müncheni építészprofesszor tervei szerint valósult meg.

Az épület nyugati végéhez délről emeletes folyosó kapcsolódik. Ez egy kör alakú épületbe vezet, melyet társalgóként használtak. Az új épület nyugati végéhez észak felől helyiségeket kapcsoltak, a barokk kaputorony vonalában egy átjáróval. Ehhez merőlegesen kapcsolódik az istállószárny. Az istálló 1906-1909 között készült el. A keleti mellékszárnyban konyha, mosókonyha, vasalószobák voltak.

A Pappenheim család a II. világháború végéig birtokolta a kastélyt, utána kórház, menekültszállás, Beszkart üdülő, az '50-es években munkásszálló lett. Az 1960-as években a helyi tanácshoz került, itt kapott helyet a hivatal, a helyi rendőrőrs, a gyógyszertár és a posta. Később művelődési ház, könyvtár, mozi és általános iskola, valamint szolgálati és bérlakások működtek benne. A felújítás 1985-ben kezdődött, restaurálták a falfestményeket is. A neobarokk épületrészben működik mai napig is az általános iskola. 1994-ben itt forgatták a Megint tanú című film egyik jelenetét.