Mon ancien propriètaire me réclame des loyers

bonjour a tous ,voila j'ai mon ancien propriétaire qui me réclame des loyers soit disant que je lui devrait !J’explique :
a notre arriver dans la maison celui ci na pas voulu nous faire de bail,ni d'états des lieux car pour lui ,cela ne l'arranger pas !au moment de recevoir nos taxes d'habitations,nous avons compris pourquoi .les services des cadastres et les impôts nous avez pas dans leur registres en fet pour eux nous étions inexistant a cette adresse. pour les cadastres,il y avait qu'un seul appartement a cette adresse mais en effet il y avait deux appartements(grange transmormée en deux appartements ) donc deux locataires donc deux loyers qui lui était verser !suite a cela nous avons bénéficiaient de plusieurs dégrèvement des taxes d'habitations car nous ne figurions pas sur les cadastres .j'imagine que mon propriétaire ne déclarer pas les loyers ,est-ce que je me trompe?
ensuite nous avons voulu déménageaient car nous avions des soupçon sur d'éventuelle trafic de celui-ci ,(mes parents étaient aussi locataire chez ce monsieur et il voulait qu'ils paye une partie par chèque et l'autre en espèce )nous avons écrit un courrier a main lever a sa demande dater au 02/05/2013 pour l'informer que nous partions de sa maison pour septembre car on avait trouver un accord ensemble que si on trouver un autre logement avant le mois de septembre on pouvaient quitter les lieux ;nous lui avons remis les clés le 31/07/2013, mais le 12/12/2013 celui-ci m'envoie un courrier me réclament deux mois de loyers (aout et septembre )de plus cette personne est maire du village et je pence qu'il fait du tout et n'importe quoi ,(constructions a tors et a la rigot ,ect et tout cela sans rien déclarer apparemment jusqu’à ce que les services des fisq s'en rende compte )je trouve cela inadmissible et je souhaiterais savoir ce que je peux faire pour se problème !merci a tous ceux qui répondront a mon problèmes (si quelqu'un travaille dans la justice je compte sur toutes info ,merci )