Chemin d'accés et servitude

Bonjour,
Pour accéder à sa maison (bien que j'ai moi même vendu), mon "voisin" utilise (tout comme moi) un chemin rural puis passe sur ma propriété et après vérification auprès du notaire il n'existe aucune
servitude déclarée aux hypothèques. mais il est écrit ceci sur l'acte de vente :
Le vendeur déclare que l'accès de cette parcelle s'effectue depuis la route départementale n° RD3 par une servitude de passage, figurant en rouge sur le plan annexé aux présentes (annexe n°2), qui est à ce jour à usage de chemin.
Le notaire déclare qu'aucune servitude n'est mentionnée dans quel qu'acte que ce soit et qu'aucune mention ne figue à ce titre au fichier immobilier.
L'acquéreur reconnaît être informé de la situation et en faire son affaire personnelle sans recours contre quiconque.

Compte tenu de l'incivilité de ces derniers, je voudrai réglementer ce passage, voir même l'interdire. Ils ne sont là que depuis 3 ans. Bien entendu ces gens prétendent être sur une parcelle enclavée, ce qui n'est pas le cas puisqu'il ont une autre sortie plus longue certes, non goudronnée, mais donnant accès sur la départementale.
Comment dois je procéder pour faire valoir le respect des règles et l'article 682 du code civil.
Le notaire me répond :"s'il est exact que la servitude n'est pas mentionnée aux bureaux des hypothèques, il est non moins vrai que dans l'acte de vente, vous avez déclaré, en tant que vendeur, qu'il y avait un passage tel qu'indiqué sur le plan annexé confirmé par le plan du géomètre "chemin d'accès existant" : situation actuelle du bien vendu. Il conviendrait donc que vous prouviez auprès d'un tribunal que la propriété des acquéreurs n'est pas enclavé, puisqu'ils ont un autre accès, afin d'interdire le passage actuel (dixit), sans préjuger du résultat."

Il n'a pas été précisé sur l'acte que sur l'une des parcelles il existait un autre chemin qui désenclavait le dit bien ainsi que d'autres parcelles, car nous ne l'utilisions pas nous même et que ni géomètre et notaire ne l'ont mentionné.
Quel sont mes recours? A qui dois-je m'adresser, quelle est la procédure à suivre ?
Merci d'avance.