A Budenz-ház nevét egykori lakójáról, a német származású Budenz Józsefről, a magyar összehasonlító nyelvészet megteremtőjéről, kiváló finnugor kutatóról kapta. Az épület jellegzetes copfstílusú homlokzatát 1781-ben nyerte. Alapjai középkoriak, amit a felújítás során előkerült XIII. századi kút is bizonyít.

Ebben az épületben tekinthető meg Ybl Ervin (1890-1965) művészettörténésznek a Szent István Király Múzeumra hagyományozott gyűjteménye. A hagyaték részben a székesfehérvári Ybl-család XVIII-XIX. századi bútorait, családi képeit, használati és dísztárgyait mutatja be, részben Ybl Ervin képző- és iparművészeti magángyűjteményét. A képzőművészeti anyagban a XX. század első évtizedei csaknem minden jelentős mesterének művét megtaláljuk: Székely Bertalan, Csók István, Vaszary János, Ferenczy Noémi, Szőnyi István képeit, valamint Vedres Márk, Fémes Beck Vilmos, Medgyessy Ferenc, Pátzay Pál, Ferenczy Béni, Borsos Miklós és mások szobrait, érmeit. Az iparművészeti anyagból kitűnik a földszinten látható skót szecessziós dolgozószoba-berendezés.