Recours sur permis de construire

Bonjour,

Je subis un recours de mes voisins sur mon permis de construire validé par la mairie fin 2012. J'ai donc pris un avocat qui nous indique que les motifs invoqués ne seraient pas recevables et que nous avons à priori peu de raison de nous inquiéter ... (un mémoire de défense a été formulé par les avocats (mairie et le mien)) Cela dure depuis un an et nous n'avons à ce jour aucune nouvelle du Tribunal Administratif quant à une date d'audience. Entre temps mes voisins via leur avocat ont adressé un mémoire en réplique auquel nous devons maintenant répondre ... Cela peut-il durer éternellement et de ce fait repousser continuellement la date d'audience tant que ces personnes adresseront des mémoires en réplique ??? Je n'ai pas reçu ce dernier mémoire directement, il a été adressé à mon avocat. Ce mémoire est-il recevable de ce fait ? ou puis-je invoquer le vis de forme ?
D'autre part, le recours ne porte pas sur des atteintes au bien des requérants, la nouvelle loi du 18 juillet 2013 sur les recours abusifs peut-elle s'appliquer ?
Et enfin quels sont les risques pour moi si je décide de commencer les travaux alors que le tribunal n'a pas statué sur mon permis (validé).
Le temps passe, le sentiment d'être des hors la loi alors que nous avons fait les choses dans les règles est simplement insupportable à vivre !
Tellement d'incertitudes et de doutes ...
Merci d'avance de vos réponses !