Abandon projet construction

Bonjour,
Pour mon projet de construction d'une maison R+1, j'ai signé un compromis de vente de terrain (le 06/01/2017), un CCMI (le 09/03/2017). J'ai également effectué une demande de prêt qui a été acceptée (date d'édition de l'offre : 02/05/2017) et une demande de permis de construire acceptée elle aussi (déposée le 04/04/2017, arrêté du 30/06/2017) mais malheureusement (ou heureusement) avec des prescriptions du préfet pour risque de présence de cavités souterraines. Comme demandé dans ces prescriptions, une nouvelle étude de sol (type G5) a été effectuée confirmant ce fait et obligeant à des aménagements.
En raison de ce contretemps mais également des vacances du notaire (tout le mois d'août) et de sa secrétaire (retour de vacances le 11 septembre) ainsi que de l'élection d'un nouveau maire suite à la démission de l'ancien puisqu'il s'agit d'un terrain communal(le conseil municipal a donné les pleins pouvoirs au maire le 20 juillet) mon prêt est devenu caduc (validité fixée d'abord au 1er septembre puis, après une demande de prolongation de ma part, au 1er octobre).
Le constructeur m'avait d'abord avertie que son 1er bureau d'étude béton refusait de s'engager sur ce dossier et craignait des fissures futures malgré les aménagements, puis m'annonce le faisabilité par son 2nd bureau bien sûr avec un surcoût (7000€).
Pour toutes ces complications qui me coûtent beaucoup de temps, d'argent (et de santé...), je souhaiterais à présent renoncer à mon projet de construction. En ai-je selon vous la possibilité sans avoir à payer d'indemnités au constructeur comme au vendeur du terrain? La caducité du prêt entraîne-t-elle la fin du compromis de vente du terrain en sachant que ce n'est pas de mon fait mais plutôt d'un concours de circonstances?
Je n'y connais absolument rien et je ne sais dans quelle voie m'engager. Je vous remercie pour votre aide et vos éclaircissements.