Au 12ème siècle, Étienne (Étienne 1er de Blois-Sancerre), Comte de Sancerre donna cette habitation et les terrains avoisinants aux Religieux Granmontaires dont l’ordre venait d’être fondé près de Limoges . Ceux-ci rétablirent les bâtiments qui avaient quelque peu souffert faute de réparations et ils y établirent un prieuré qu’ils abandonnèrent en 1420, à l’approche des anglais. La tradition rapporte qu’ils enfouirent leurs cloches dans un endroit retiré du monastère ainsi que les objets précieux qu’ils ne peuvent emporter, pour les empêcher de toucher en la possessions de l’ennemi. Une pieuse légende conservée jusqu’à nos jours et qui se rattache à cette fuite précipitée raconte même que chaque année, dans la nuit du 24 au 25 décembre, à l’heure précise où le Sauveur (Jésus-Christ) vint au monde, heure sonné par les cloches du couvent, la porte du caveau où les bons pères avaient enfoui leurs trésors, s’assure d’elle même au 1er coup de minuit et que le passant peut y pénétrer sans crainte pour y prendre les objets à leur convenance, mais qu’il doit en être sorti avant le douzaine coup. Malheur à lui s’il s’attarde ! La muraille se referme aussitôt pour ne la rouvrir que l’année suivante à pareille époque. Et la légende ne manque pas d’ajouter que beaucoup croyant y trouver la fortune y ont trouvé la mort. (2)