Bonjour sudi,
Je ne suis pas expert dans le domaine, et j'invite les personnes qui lisent ce sujet à répondre s'ils ont plus de détails à apporter.
Tout d'abord, votre propriétaire n'a pas à se rendre dans l'appartement sans votre accord. Une visite annuelle existe (il me semble), en votre présence et selon vos disponibilités. Autrement, il n'a pas à entrer chez vous.
Vous pouvez également lui demander, par lettre recommandée, de procéder à des travaux d'aménagement de l'appartement si celui-ci ne permet pas, selon vous, des conditions de vie décente. Faites réaliser des devis pour les travaux les plus urgents, qui lui seront envoyés afin qu'il se rende compte de la somme que cela va représenter et qu'un doute s'installe chez lui.
S'il le prend mal, ou si vous n'en pouvez réellement plus, vous pouvez aller au commissariat/la gendarmerie la plus proche de chez vous afin de déposer une main courante (un enregistrement des faits sans dépôt de plainte) ou une plainte contre votre bailleur (propriétaire).
À partir de cette période, négociez la fin de votre bail. S'il veut vous voir partir, cela doit se faire vite. Le délai de trois mois est long mais les bailleurs peuvent passer outre s'ils tombent d'accord avec leur locataire.
Plus important encore, parlez toujours à votre propriétaire en face à face et en présence d'une autre personne qui sera témoin de votre conversation. Mieux encore mais plus long, l'envoi de courriers recommandés.
N'hésitez pas à parler de ce problème à des proches, à passer plusieurs jours chez l'un d'eux si possible pour vous changer les idées. C'est un moment désagréable à passer, mais dans quelques mois les choses seront bien différentes.
Bon courage