non information d'une servitude lors de la vente d'une maison

nous avons acheter ma compagne et moi une ancienne ferme(1860) en 2005. C'est une maison mitoyenne d'un coté est elle possède un seul chemin d'accès. notre voisin et venus nous dire quelques mois après que le chemin d'accès lui appartient et que de ce fait il allait nous le barrer. sachant que personne ne nous à prévenus de cela le jour de la vente (ancien propriétaire ,agence,notaire) et que cela n'est pas signalé dans le contrat de vente, j'ai alors demander des explications . le notaire ayant fait la vente c'est rendu sur les lieux et a constaté le fait que notre propriété est bel est bien enclavée selon ses dires. Il nous à certifier que notre voisin ne pouvait rien faire contre nous et il lui a envoyé un courrier pour l'avertir des risques encourus s'il venait à nous barrer l'accès.
Nous pensions être tranquille de ce côté la car nous avions plus de nouvelles du voisin, mais voilà qu'il y à quelques semaines il est revenu à la charge plus menaçant que jamais en prétextant que la servitude n'avait plus raison d'être car notre maison n'était plus une ferme en exploitation et qu'il n'y avait plus aucune raisons pour nous laisser passer. Depuis c'est devenus l'enfer. Il revient régulièrement à la charge sur le sujet. A t'il raison ? Si tel est le cas , que pouvons nous faire? Vu que personne ne nous à mis au courant de cela au moment de l'achat , ne sont elles pas responsables , n'y à t'il pas eu de tromperies de leurs part sur cette vente. sommes nous en droit de leur demander des comptes et quels sont nos recours vis à vis de cette affaire? Si notre voisin nous assigne au tribunal auront nous gain de cause? Merci d'avance pour vos réponses.