Annulation voyage pour raison médicale et frais

bonjour,
voici ma question:
mon mari et moi nous sommes mariés cet été. Nous avions fait une enveloppe destinée à un voyage. Nous avons donc choisi et réservé notre voyage sur internet par le biais de l'agence Voyageur Du Monde. Le coût total de ce voyage en Thailande est 4445€. Nous avons déjà payé un acompte de 1591€. Le départ est prévu pour le 11/02/2011.
nous rencontrons des problèmes de fertilité depuis 3 ans et sommes suivis médicalement pour faire des FIV.
Fin novembre alors que nous n'y croyons plus et de nombreux échecs dans notre parcours, la FIV se révèle positive, je suis enceinte.
je fais des complications dès le tout début de cette grossesse liées à la stimulation hormonale très importante que j'ai dû subir et je suis alitée. Cet état peut durer entre 2 et 3 mois.
de ce fait, le voyage en février alors que je ne serai pas tout à fait à 3 mois de grossesse nous est totalement déconseillé par l'équipe médicale qui nous entoure. Notre trésor est trop précieux pour prendre le moindre risque.
nous décidons donc d'annuler le voyage.
le problème c'est que nous n'avions pas souscrit à l'assurance annulation proposée par l'agence. Nous étions persuadés que notre carte bancaire nous assurait à ce niveau là, mais il s'avère que non.
selon l'agence si nous annulons aujourd'hui nous perdons plus de la moitié du montant total du voyageous sommes catastrophés à l'idée de perdre une telle somme. Quels recours avons-nous? Que se passe-t-il si nous leur laissons l'accompte déjà versé et si nous ne payons jamais le solde?
par avance je vous remercie de votre réponse.
Cordialement

Relisez les conditions de vente. S'il n'y a aucune clause d'annulation, l'agence peut vous poursuivre pour payer la totalité