dépassement du constructeur de délai de livraison

Bonjour,

J'ai signé un CCMI le 26/10/2010.
J'ai reçu la déclaration d'ouverture de chantier de la mairie le 23/11/2010.
Entretemps, nous avons souhaité une maison aux normes BBC, nous avons donc signé un avenant le 20 janvier 2011, spécifiant la modification des matériaux (isolants, pompe à chaleur.....) ainsi que les tarifs en plus values. Il n'y avait pas délai supplémentaire de noté quant à la réalisation du chantier car dans notre contrat initial, un chauffage par le sol était déjà prévu.
Les travaux ont commencé trés vite puisque le 14 février 2011 les fondations étaient coulées. Nous avons ensuite rempli un document avec le conducteur de travaux le 16 février 2011 s'appelant "Procés verbal d'implantation de la construction".
Jusqu'au mois de Juillet, tout s'est bien déroulé, notre chef de chantier était trés Pro. Rien à dire. En Juillet, ce monsieur est parti et depuis que nous avons affaire avec son remplaçant, c'est une catastrophe. Ces 4 derniers mois, seul le plaquiste et le plombier sont passés. Les enduits extérieurs ne sont même pas fait, du coup, avec les orages, il y a des tonnes de flotte au rez de chaussée. Cela commence à imbiber les placos. Nous avons donc décidé d'envoyer une lettre recommandée au constructeur.
Et là, grosse surprise, il est d'une mauvaise foi ahurissante.
Ils nous dit qu'il a droit a plusieurs mois de délais supplémentaires pour la mise en oeuvre de notre construction car nous avons demandé un avenant pour une BBC et que cela prend du temps en plus. De plus, il prend comme date de démmarrage des travaux le document daté du 16 février "PV d'implantation de la construction", alors qu'à cette date, les fondations étaient déjà coulées.
Nous sommes furieux car il n'est noté nulle part sur l'avenant que des délais en plus seraient nécessaires. A t'il le droit de faire cela? Quels sont nos recours? Merci