Depuis le fief d'origine de "Podium sancti martini", le village a "glissé" peu à peu le long de la pente au fil des siècles pour s'établir au carrefour des routes de Manas et de Montélimar. A découvrir : les ruines du château.
Des 50 maisons qu'abritait le bourg castral encore au 17e siècle, la mémoire collective a gardé le souvenir des portes d’accès et l'on devine encore l'enceinte à la base de certaines maisons. Il faut monter jusqu'aux ruines du château, pour apprécier la vue sur la plaine.
Est proposé dans ce village, un circuit "Sur les pas d'Adèle" :
Adèle Clément, célèbre violoncelliste de la première moitié du XXe siècle a donné son nom à ce circuit de balade pédestre à travers Puy-Saint-Martin. Elle sera votre guide et vous promènera à sa suite à la découverte de ce village qu’elle a tant aimé...