Il paese è posto su un colle dei monti della Tolfa (da cui prende il nome), in una zona vulcanica ricca di miniere di ferro. Le origini del borgo sono antichissime: vengono infatti fatte risalire agli Etruschi, che qui si stanziarono. Nei secoli successivi divenne feudo dei Frangipane, i quali costruirono la Rocca, nel punto più alto del paese.