Das mittelalterliche Aussehen des Palazzo Riario aus ist darauf zurückzuführen, dass die Familie Anguillara ihren Sitz 1370 als eine Burgfestung erbauen ließ. 1504 kam diese in den Besitz der Familie Riario, die das Gebäude in einen herrschaftlichen Palast umgestaltete. Gegen Mitte des 16. Jahrhunderts wurden im Rahmen der Baumaßnahmen an der Via Diritta weitere Veränderungen vorgenommen. Im Laufe des 19. und 20 . Jahrhunderts wurden Privatwohnungen eingerichtet. Die antike Burg erhob sich auf dem Felsen und war mit kantigen Wehrtürmen ausgestattet, von denen noch zwei eckige und ein runder, eingefügt in die Bausubstanz, erhalten sind. Das Gebäude besteht aus sieben Stockwerken, von denen drei unterhalb des Straßenniveaus der Via Diritta liegen. Alle Fenster der Belle Etage weisen auf ihren Tragebalken die Inschrift „Alessandro Riario, Cardinale e Autore Apostolico“ auf. Im Jahre 1771 wurde der Palast durch den Einsturz des Glockenturms der Kirche des Heiligen Erzengel Michael beschädigt. An der Fassade ist eine Steintafel angebracht, die daran erinnert, dass an dieser Stelle im Jahre 1878 eine mit Dampf betriebene Ölmühle stand, die den Namen „Il Progresso“ trug.