Au pied des Monts du Matin, Vaunaveys s'est installé sur un petit promontoire à deux pas du vieux bourg médiéval de la Rochette. L'élément le plus remarquable des vestiges des remparts restaurés est la porte du Midi.
En 1217, les deux villages furent dévastés par les croisés de Simon de Montfort en guerre contre le comte de Poitiers, soupçonné de sympathie avec les Albigeois. Les 3 portes d'entrée, dont l'emplacement exact est perdu, furent murées en 1683. L'ancienne église menacée d'effondrement a été détruite en 1964, à l'exception de son clocher. Au nord du village, au-delà des remparts, la chapelle Saint-Roch fut édifiée au 17e siècle, certainement lors de l'épidémie de peste. Les 2 villages de Vaunaveys et de la Rochette ont fusionné en 1972.