Costruito dagli Anguillara alla fine del secolo XIV (intorno al 1370), fu ristrutturato dai Riario, quando ebbero in vicariato Caprarola (1471). Subì notevoli modifiche intorno al 1570, quando per l’apertura della via Diritta venne tagliato demolendole una parte. L’antico castello si innalzava sulla roccia ed era dotato di torrioni angolari, di cui ne restano inglobati nella costruzione due quadrati e uno circolare, si compone di sette piani di cui tre al di sotto della via Diritta. Le finestre dei piani nobili riportano tutte sugli architravi l’iscrizione Alessandro Riario, Cardinale e Auditore Apostolico. Nel 1771 il palazzo fu danneggiato dalla caduta del campanile della Chiesa di San Michele Arcangelo. Sulla facciata è visibile una lapide in cui è ricordato che nel 1878 qui esisteva un mulino oleario a vapore chiamato “Il Progresso”.