permis de construire et litige sur la taxe locale d'équipement

Bonjour,
En juin 2007 je dépose un permis de construire sur un terrain de 4300 m2 pour 2 maisons (sous le règlement du POS). Je construis la première, ne pouvant construire la 2ème, la mairie m'indique qu'un simple courrier suffit pour annuler le permis de construire de cette 2ème maison. Je divise ensuite mon terrain et vend la parcelle sur laquelle devait être implantée ladite maison. les acquéreurs obtiennent leur permis de construire sans aucun problème.
Aujourd'hui on me demande de régler la taxe locale d'équipement pour les 2 maisons : celle qui est construite et celle qui ne l'est pas ! J'ai envoyé +sieurs lettres recommandées à la DDE et à la mairie qui ne m'ont jamais répondu. Par téléphone la DDE m'a indiqué que j'aurais dû déposer 2 permis de construire. On me conseille d'annuler la totalité du permis, (cad la maison construite et la non construite) d'en redéposer un. Seulement entre temps le PLU est passé et conformément à ce dernier je ne pourrai obtenir un nouveau permis( en efet ma maison est construite à 12 m de recul de l'axe de la route, et aujourd'hui le P.L.U prévoit un recul minimum de 15 m). On me dit qu'il faut donc que je me résigne à payer les 2.200 euros de TLE pour cette fameuse maison que je n'ai pas construite !! Que dois-je faire ? quels sont mes recours ?
Pour informatin la lettre d'annulation a été remise en mains propres à la mairie avec cachet et date ayant valeur de recommandé.
Je vous remercie par avance de la réponse que vous voudrez bine m'apporter. Cordialement. S. MARTIN