Bail verbal et augmentation de loyer

Bonjour,
Je suis actuellement "locataire" sans bail.
Il y a 1 an , nous avons emménager dans un appartement , prenant la succession de ma mère .
Cet appartement avait été mis en vente par le propriétaire , et nous étions intéressé. Le propriétaire nous a permis de rentre dans le lieu , nous disant que si la vente se faisait vite il nous faisait grace des loyers d ici le vente , en nous faisant remarquer qu il n augmenterais de toutes les façon pas le loyer.
Seulement la vente n a pu se faire , le propriétaire ayant eut des difficultés à produire les documents nécessaire (6mois) , puis passe ce délais j ai perdu mon emploi, et c est alors ma banque qui n'a pas suivi.
Qu à cela ne tienne , nous avons donc demandé au propriétaire de régulariser notre situation par un bail( sachant que depuis 6 mois déjà nous avions investi les lieux et payer nos loyers ... Par chèques jamais encaissés par le propriétaire)
Le propriétaire , nous a alors dit de régler les arrières et que le bail serait établi.... Les arrières payes (remis en main Propre par chèque contre reçu) et encaisses , nous n avons toujours pas reçu de bail, le propriétaire ayant décidé qu il n'établirait un bail qu avec une majoration de 400 euros sur le loyer (+50%!).
Du coup , nous avons envoyé des chèque des loyer en AR , mais avec le montant initial, chèques jamais encaissés....
Et aujourd'hui nous recevons un courrier d avocat , avec un bail mais qui stipule un loyer majore de 50%.
Quel recours avons nous , surtout qu aucun état des lieu n a été fait , puisqu au départ il devait s'agir d une vente , et que nous avons réaliser quelques légers travaux , peinture et autres afin que les lieux soient plus convenables.(avec 3 enfants en bas âge, et au chômage qui plus est je ne peux prétendre à louer ailleurs ,et je ne pourrais bien évidemment pas soutenir cette augmentation de loyer.

Cordialement