litige organisme de pret immobilier

bonjour à tous,

j'ai quelques soucis avec mon organisme de pret immobilier et m'on erreur est d'avoir été trop laxiste avec mon compte banquaire et l'organisme.

Début 2006 je fais des démarches auprès de plusieurs constructeurs et plusieurs banques afin d'accéder à la propriété.Un ami me conseil son constructeur alors que j'étais presque engagé avec un autre.
Rendez vous est pris et celui ci me propose également un pret via un organisme spécialisé,la mise en confiance est rapide."vous paierez tant par mois","vous n'aurez rien à débourser tant que vous n'habitez pas la maison".
Enthousiaste par l'offre,moi et mon épouse acceptons l'offre et signons les nombreux papiers de pret,d'assurance qu'il nous fais passer et transmettons tout les papiers necessaire au dossier.

Juillet 2006,le pret est accepté.Je recois quelque jours apres un courrier me demandant de regler l'assurance.Bizzare,ils ont un RIB et une autorisation de prélèvement.Pas grave,je fais un chèque.
Le mois d'apres je recois le meme courrier mais me disant que cette fois ci se sera prélevé.Pas de soucis ,le prélèvement se fait.
La construction se lance et toute les démarches auprès de l'organisme de pret s'effectuent par le constructeur : paiement des appels de fonds ,interets intercalaires (je cite : je ne débourse rien).
Nous rentrons dans notre maison le 1/09/2007.
C'est la que j'ai été laxiste avec mon compte bancaire car ayant quelques fonds dessus je me suis plus occupé à ammenager ma maison plutot que de verifier si les mensualités était bien prélevées (c'est la mon erreur).
Mars 2008,le solde sur mon compte faisant peau de chagrin,je me dit qu'il va falloir gerer tout ca.

La je m'apercois que le prélèvement du pret s'effectue (mars,avril,mai,...).
Juin 2008,je reçois un courrier de l'organisme preteur me réclamant l'arriéré de l'assurance,c'est à dire de septembre 2006 à mars 2008.
Ils me réclament également les remboursements du 01/09/2007 au 01/02/2008.

Mon erreur est d'etre un mauvais gestionnaire et de ne pas avoir réagit rapidment.
Mais quelles sont celles de la banque?Pourquoi n'a t elle pas continuer les prélèvement de l'assurance?alors qu'elle l'avait fait une fois et avait donc toute mes coordonées bancaire.
Pourquoi ne m'as elle pas avertis par courrier,meme pas de recommandé,plutot que de laisser trainer?
Maintenant,la banque m'a proposé un échéancier(qu'elle applique unilatéralement) qui me fait passer à plus de 40% d'endettement et s'est octroyée des pénalités de retard.Menace des saisir ma maison (pour environ 5500 euros).
Pas moyens en plus de négocier quoi que ce soit ,à croire qu'ils veulent m'enfoncer un peu plus.
Que puis je faire.
Désolé pour la longueur de ce récit et merci beaucoup de votre aide.