Promoteur qui ne respecte pas le PLU

Bonjour,
Un terrain de 20 000m2 est devenu constructible à côté de ma maison.
Le champs n'est pas enclavé. Mais, les prioriétaires ne voulant pas subir les nuisances de l'accès aux futurs maisons, ont trouvé un accord avec mon voisin: utiliser une servitude de passage sur son chemin d'à peine 4m, sur 200m de long, pour accéder au champs.
Ce chemin longe ma maison, et pour être plus précis: mon propre chemin d'accès, séparé par un grillage. (assez anormal j'en conviens d'avoir deux chemins en parallèle, mais j'ai acheté la maison comme ça)
Dans les règles du PLU, il est clairement indiqué qu'un accès doit faire au minimum 5m de large. Comme il s'agit de 14 maisons et d'un petit immeuble, 5m serait même un peu petit: plutôt 7 à 8 m pour inclure un trottoire et transition paysagère).
Le Promoteur me met actuellement la pression pour que je cède du terrain à un prix ridicule, en m'expliquant que l'accès se fera quoi qu'il arrive, même sur 4m: selon eux, la Mairie va faire une exception aux règles du PLU, en validant quand même les permis de construire et d'aménager. J'ai eu des échanges avec la Mairie, aucun directement avec les services de l'urbanisme, et il me semble qu'il y a effectivement une grosse complaisance. Le Promoteur, le vendeur du foncier et la Mairie semblent bien décidés!
Pas envie de subir les nuisances à la place du vendeur.
Pourriez-vous m'aider sur la posture à avoir face au Promoteur et à la mairie?
Merci d'avance