Będąc w Ryzmie, warto się wybrać do pobliskiego Castel Gandolfo - malowniczej miejscowości leżącej na kraterze wygasłego wulkanu Lacjum, będącej już od starożytności ulubionym miejscem wypoczynku bogatych Rzymian. Później miejsce to upodobała sobie szlachta Państwa Kościelnego i duchowni, w tym papieże szukający spokoju i wytchnienia o letniej porze roku. 

Pałac papieski wybudowano tu z polecenia papieża Urbana VIII, według projektu Carla Moderny (budowę rozpoczęto w roku 1628). Wcześniej, w miejscu tym stał antyczny zamek feudalny będący własnością Gandolfich. Obecna forma pałacu została uzyskana w roku 1660 za panowania papieża Aleksandra VII.