Compromis de vente et prêt immobilier à échéance

Bonjour,
J'ai signé un compromis de vente pour acheter une maison en septembre 2015. L'agence avait proféré des menaces écrites pour que je signe rapidement, le notaire avait demandé à rédiger le compromis, l'agence avait refusé, avait également refusé les modifications demandées par mon notaire. J'avais signé le notaire disant que je ne risquais pas grand chose. J'ai déposé la demande de prêt dans les temps. La banque a mis un temps infini, puis le notaire a eu un décès dans sa famille , bref les documents ont été prêts en janvier 2016. En attendant j'ai du louer une maison à proximité pour aller travailler. Lors de la visite avant signature de l'acte authentique, je découvre que tous les carreaux de l'étage se sont décollés... Le propriétaire refuse de faire les travaux. Je propose de partager... bref de négociation en négociation. Il remet son bien à la vente sans m'avertir... mon notaire réclame les 6500 euros de dépot de garantie. Finalement propose de faire les travaux... mais à une date ou le prêt devient caduque. Aujourd'hui , il ne veut pas me rendre les 6500 euros et veut me forcer à acheter. Que puis-je faire ou dois-je faire? Je n'ai plus confiance. je me demande ce qui se cache derrière tout cela tellement il s'acharne sur moi pour que j'achète. Merci pour votre réponse.
Bien cordialement,
Carole