Conti di Tuscolo come castello sovrastante il borgo medievale, lo storico Palazzo Ruspoli di Nemi dopo la loro decaduta divenne, nel corso dei secoli, proprietà dei Monaci delle Tre Fontane, degli Annibaldi, dei Colonna, dei Cenci, dei Frangipane, dei Braschi, dei Rospigliosi, degli Orsini ed infine passò nelle mani dei Ruspoli.
