A visegrádi királyi palota előzménye az a királyi ház volt, amelyet székhelyének 1323-as Visegrádra helyezése után Károly Róbert építtetett Visegrád városában, feltehetően a mai palota területén. 1330-ban ebben a házban támadt rá Zách Felicián a királyi családra, de merényletét az ifjú hercegek nevelői meghiúsították. A király azonban ezután a jelek szerint inkább a várban álló palotáját részesítette előnyben.

Károly halála (1342) után fia I. Lajos kezdett hozzá apja városi házának kibővítéséhez: egy királyi kápolnát kezdett építeni mellé, de a munka a nápolyi háborúk miatt félbeszakadt, és a királyi udvar is egy időre Budára költözött. Csak az udvar visszaköltözése után, az 1350-es évek második felében folytatódtak a visegrádi palota építkezései. I. Lajos palotája egy nagy területen, meglehetősen szabálytalanul szétszórt épületekből álló együttes volt. A király csak élete végén fogott hozzá egy új, szabályosabb elrendezésű palota építéséhez, ennek munkálatait azonban csak utódai: Mária királynő és Luxemburgi Zsigmond fejezték be a XIV. század végén, illetve a XV. század első éveiben.

Az új palota egy 123 x 123 méteres alapterületű, meglehetősen szabályosan elrendezett építmény volt. Utcai homlokzatának közepén állt a kaputornya amelynek egyik oldalához a konyha, másik oldalához a raktárakat és nagytermeket magábafoglaló épületek csatlakoztak. A palota első udvara egy nagy fogadóudvar volt. A belsőudvaros királyi lakóépülethez a király és a királyné virágoskertjei, csatlakoztak. A palotáról északra egy nagy gyümölcsöskert, délre pedig egy ferences kolostor épült. A palotát vízvezeték látta el tiszta forrásvízzel, ez üzemeltette az udvarokat és kerteket díszítő pompás csorgókutakat, a palota hideg-meleg folyóvízzel és izzasztókamrával ellátott fürdőjét, valamint a királyi lakóépület vízöblítéses árnyékszékeit.

A kor minden luxusával felszerelt lakosztályokat színpompás cserépkályhákkal fűtötték. Zsigmond király 1405-1408 között udvarát Budára költöztette és ott egy újabb palota építésébe kezdett. Ez azonban nem jelentette azt, hogy elhanyagolta visegrádi palotáját. Az utódai viszont a XV. század közepén már egyre kevésbé használták, így az 1470-es évekre már eléggé elhanyagolt állapotba kerülhetett. Mátyás király Aragóniai Beatrixxel kötött házassága után kezdett hozzá a palota felújításához. A palotát későgótikus stílusban építették át, de díszítésében már megjelent a reneszánsz stílus is. A palota berendezésének fehérmárvány faragványai alighanem a firenzei Verrocchio műhelyből kerültek ide, vörösmárvány keretelésüket pedig a szintén firenzei Gregorio di Niccoló faragta Visegrádon.

Mátyás utóda II. Ulászló a szomszédos ferences kolostor felújításával folytatta a Visegrádi rezidencia helyreállítását. A török időkben az elhagyott palota romhalmazzá vált, majd a XVIII. században a még látható romokat is elhordták. Feltárása 1934-ben kezdődött meg és napjainkban is tart.