Délai de signature acte authentique

Bonjour,

Nous avons signé notre compromis en 2 temps : le 26/07 pour nous, le 03/08 pour les vendeurs. Le notaire étant en congés, nous ne l'avons su que lors de la réception de la notification du notaire le 21/08.
C'est seulement à partir de là que nous avons pu enchaîner les dernières modalités : expertise technique pour le 1% logement => copie banque + CIL 1% logement => accord du CIL => copie banque et dossier complet, tout cela entre le 01/09 et le 22/09. D'après le banquier nous devrions recevoir l'accord et proposition de prêt vers le 03/10 auquel ajouter le délai des 11 jours pour pouvoir signer aux environs du 15 octobre.
Seulement voilà :
1/ dans le compromis, le notaire à écrit dans le paragraphe "prêt - protection de l'emprunteur" : "la présente convention est soumise à la condition suspensive de ces prêts à ces conditions d'ici le 16/08/08, et selon les modalités ci-après définies faute de quoi la condition suspensive sera considérée comme non réalisée"...
2/ "régularisation" : "cet acte devra être régularisé au plus tard le 15/09/08".

L'agent immobilier nous menace en nous disant que nous n'avons pas respécté le délai et que nous allons perdre les 10% versés lors du compromis.

Que peut-on faire?

En vous remerciant par avance pour votre aide!