I giardini progettati dal Vignola e realizzati entro il 1583, attuano compiutamente la trasformazione della rocca in villa e si connotano come giardini segreti cinti da un alto muraglione. Dalla camera dei Giudizi si accede a quello chiamato “dell’Inverno” e dalla camera dei Lanifici a quello chiamato “dell’Estate”, mediante due ponti che in origine erano mobili. I due giardini sono collegati tra loro soltanto in un angolo, ove si trova la fontana del Pastore. Alla fine del viale centrale, nel giardino dell’Estate, vi è la grotta delle Neiadi. Nel giardino dell’Inverno vi è una grande grotta detta “dei Satiri”; stalattiti e stalagmiti, creano uno scenario grottesco in mezzo al quale spuntano dei satiri, silvani ed altre divinità marine di calcare (viene anche chiamata Infernaccio). Di particolare interesse sono le quattro statue in peperino delle Hore con funzione di meridiane, poste al termine dei ponti di collegamento col palazzo.