Az fürdő által használt gyógyhatású forrásokat már a rómaiak is ismerték. Anonymus leírása szerint Attila hunjainak, illetve Árpádnak is volt itt táborhelye, s a 15. század első felében fürdőházak álltak a mai fürdő helyén, amely Mátyás király uralkodása idején kedvelt fürdőhely lett. Buda-Felhévíz lakosai jelentős részének adott munkát a városfaltól északra található fürdő a 16. században.

A ma is álló épület legkorábbi része törökkori, Szokoli Musztafa emeltette 1571-72-ben: feltehetőleg ez volt Veli bég fürdője, amint erre Luigi Ferdinando Marsigli térképe utal.

Johann Bernhard Fischer von Erlach (1656-1723) osztrák építész rézmetszeten sokszorosított felmérési rajza pontos képét adja az épületnek, amelynek elrendezése eltér a többi törökkori fürdőétől. Szabályos görögkereszt alaprajzú, középpontjában nyolcszögű, ötlépcsős medencével, amelyet a budai fürdők legnagyobb kupolája fed. A centrális térből négy irányban téglalap alaprajzú, megemelt padlószintű helyiségekbe nyílnak a boltívek. A kupolát sztalaktit-fejezetes falpillérek tartják, tetején kerek nyílás szolgálja a tér megvilágítását. A medencetérből nyíló különleges boltozatú helyiségek a fürdés előtti előkészítés (dörzsölés, izzasztás) helyszínei.

A 17. század végén Ecker János budai fürdős bérbe vette, és 1702-ben meg is vásárolta. Új helyiségeket építtetett a meglévő mellé, és 1727-28-ban kápolnát is emeltetett itt. 1806-ban Marczibányi István udvari tanácsos vette meg, majd nem sokkal később az irgalmas rendnek adományozta. Az adományozás feltétele volt, hogy a rend a fürdő működtetéséből származó jövedelméből kórházat tartson fenn, ahol a szegény betegeket ingyenesen gyógyítják.

Az épületet időközben többször bővítették, 1841-44 között Hild József átalakítása révén nyerte el mai alakját. Ezt a klasszicista stílusú, félkör alakú árkádos udvart láthatjuk a 19. századi ábrázolásokon, amint a látogatók csoportjai sétálnak és beszélgetnek a korabeli társas élet egyik kedvelt helyszínén, ahol bálok, estélyek, mulatságok sorát rendezték. 1860-ban férfi és női uszodával bővült, s később is történtek kisebb átalakítások. A II. világháború után az uszoda és a gyógyászati részek elkülönülten működtek.

Gyógyvize 17-65 Celsius fok hőmérsékletű, forrása napi 15 millió liter vízhozamú, meszes kénhidrogénes vize mozgásszervi betegségek gyógyítására alkalmas.

Vahot Imre 1864-ben megjelent „Budapesti kalauz” című útikönyvében már a kötet címének részletezésében is a Császár fürdőt tartja külön említésre érdemesnek: „Budapesti kalauz vagyis: a magyar főváros mindenféle érdekesebb látnivalói, köz- és magánintézetei, egyletei, kereskedelmi, gyári, iparos, gazdászati, művészeti jelességei, legkedveltebb mulatóhelyei, - a híresb építészek, szobrászok, festészek, photographok, könyv- és kőnyomdászok, a szállodák, vendéglők, kávéházak, bor- és sörcsarnokok, a szállítási, közlekedési eszközök holléte, mindennemű kereskedelmi s iparos üzlet kezelőinek név- és czímtára; különös utasítással az újjáalakított budai Császárfürdő különféle fokú hévízeinek, gyógyforrásainak, s legkivált a hazánkban egyetlen természeti ásványos gőzfürdőjének eszélyes és sikeres használatára s a Császárfürdő kényelmeinek, bájos környékeinek, s az iker-fővárossali szoros összeköttetéséből származó előnyök élvezetére. A leghitelesebb források és saját több évi tapasztalatai nyomán írta és kiadta Vahot Imre. Pest, 1864. Nyomatott Vodianer F-nél.”

Vahot emlékirataiból megtudhatjuk, miért éppen a Császárfürdő kapott ilyen kiváltságos szerepet könyvében: „...leírtam a budai Császárfürdőt s Budapest nevezetesebb látnivalóit, s ebből is sok példányt eladtam, s emellett a derék irgalmas szerzet és lelkes rendfőnöke, Vass Elezeár, s utóbb a haszonbérlők viszonzásul fürdői lakással tiszteltek meg.”