Vice caché avant signature de l'acte

Bonjour,

Nous nous sommes portés acquereur d'un bien suite à 2 visites et ce par compromis de vente signée en agence. Le bien était à chaque fois très meublée et nous avons visité en presence des vendeurs, de l'agence et de notre famille.
Les vendeurs ont quitté les lieu, après plusieurs semaine de négociation nous avons pu obtenir une visite du bien vide (compromis de vente deja signé). Nous avons visité la maison avec un architecte qui a constaté de nombreux défaut là ou les meubles se trouvaient et, après analyses des solives et des travaux effectués par un pro, notre architecte constate qu'un mur porteur a été abattu sans prendre les mesure necessaire ce qui a entrainé un flechissement des solives (3mm à chaque étage). Nous avons egalement constaté que la douche et les sanitaires ne fonctionnaient plus et été très dégradé par rapport à notre precedentes visites.
De plus, le compromis de vente ne comporte aucune clause pénale, et mentionne la délivrance obligatoire d'un pret dans les 45 jours. La banque étant hors délai nous avons obtenus notre pret 60 jours après la signature (sans recevoir de relance de la part de l'agence).

Nous souhaiterions négocier à l'amiable la rupture du compromis de vente mais les vendeurs refusent au prétexte que les travaux ont ete fait par un professionel et qu'ils n'en sont donc pas responsable.
Actuellement nous n'avons pas été contacté par le notaire, l'agence refuse egalement de nous repondre.

Quels sont nos recours possible ? nous souhaitons avant tout faire annuler ce compromis, et si dans l’éventualité ou la vente serait forcée nous souhaitons entamer des démarches pour prouver le vice caché car à ce jour, notre architecte nous déconseille d'emmenager dans les étages....