Droit de passage bénéficiant une parcelle ou un ilot propriété?

Bonjour,

J'ai une propriété composée de de deux parcelles contigues : A (un champ) et B (sur lequel est bâtie la maison) auquel on accédait dans le temps par un chemin piétonnier communal, figurant toujours au cadastre. Ce chemin, fut abandonné il y a au moins 70 ans, et remplacé par un chemin privé carrossable, assez direct mais très raide, sur la parcelle d'un voisin: C, qui est mitoyenne avec mon B, mais sans qu'un acte de droit de passage ait jamais été établi. L'accès à ma maison se faisait par là jusqu'à il y a 15 ans, quand un nouveau chemin avec un meilleur tracé fut créé, passant par la parcelle D d'un autre voisin, traversant ma parcelle A et arrivant jusqu'à la maison. Comme il existait déjà un droit de passage de 1982 entre D et ma parcelle A, c'est cet accès et ce droit qui est mentionné dans l'acte de vente lorsque j'ai acheté ma propriété il y a 6 ans. Or le propriétaire de la parcelle D vient de m'annoncer que mon droit de passage ne s'applique qu'à ma parcelle A, mais non à B qui n'est pas mentionné dans les actes, et qui en 1982 appartenait à un propriétaire different. Selon lui, je ne peux pas sans son accord, aggraver ainsi la servitude en étendant le droit de pasage à d'autres parcelles, qu'elles m'appartiennent ou pas.
Il me demande donc d'emprunter l'ancien chemin pour accéder à ma maison. C'est un problème, car je n'ai pas de droit de passage via C, l'accès est difficile, et j'ai récemment engagé des frais importants pour goudronner l'accès via D et A.

Ayant le droit d'accéder à une partie de ma propriété (A), cela ne signifie-t-il pas que j'ai de fait le droit d'accéder au reste de ma propriété, qui est contigüe? Dans le cas contraire, quels sont mes recours contre le notaire qui a établi un acte avec un droit de passage inutilisable pour accéder à la maison?

Que dit la loi ou la jurisprudence? Je ne trouve rien sur ce sujet.

Merci