Bonjour,
Si la servitude de passage vous a été consentie parce que votre parcelle était enclavée, en cas de cessation de l'enclave, le propriétaire du fonds servant peut à tout moment, invoquer l'extinction de la servitude en application de l'article 685-1 du code civil.
Donc votre voisin est fondé dans sa demande
Voir cet article:
https://www.legifrance.gouv.fr/affichCodeArticle.do;jsessionid=3A4B6A556E1D4DE5C694821E9A70738E.tpdila10v_1?idArticle=LEGIARTI000006430309&cidTexte=LEGITEXT000006070721&dateTexte=20160315
Salutations