obligations de visites incessantes pour vente

Bonjour,
Je suis locataire d'un appartement depuis février 2008, jusqu'à février 2011.
Mon propriétaire m'a informé oralement qu'il souhaitait vendre et m'a donc demandé s'il pouvait faire visiter le logement.
J'ai donc accepté gracieusement au départ, d'autant que je sais que j'ai l'obligation de visites 2h par jour.
Donc depuis 6mois, j'ai eu droit à une 10 de visites. N'habitant pas dans la région, le propriétaire a d'ailleurs l'habitude de me prévenir 4 jours avant, quand il est "dans le coin", en précisant dans son mail qu'il serait bien que l'appartement soit "rangé et nettoyé" (comme si on était des cochons).
J'ai demandé un peu de répis pendant cet été car j'étais absente. Il m'a proposé de passer en mon absence, chose que je lui ai refusée(question de vie privée).
Qu'elle ne fut pas ma surprise (et la sienne) quand un matin, j'ai entendu la porte s'ouvrir: "mais vous êtes là? Vous n'êtes pas en vacances ?"
Il s'était donc permit d'organiser une visite en mon absence. Visite que j'ai annulée sur le champ.
Nous avons eu une explication un peu plus tard sur ce quiproquo. Je lui ai calmement mais fermement réaffirmé mon opinion concernant le droit à la vie privée, en lui stipulant que j'acceptait les visites, mais sur une période donnée et prévue à l'avance: par ex, 2 mois dans l'année ou quelques mois avant la fin du bail. Il m'a rétorqué (vexé) qu'il n'y aurait plus de visites, que notre présence ne mettait pas le logement en valeur pour la vente et qu'il ne nous reconduirait pas le bail car il avait une cabine de douche en plexiglass à rajouter pour la vente (à moins qu'on achète nous-mêmes)...
Nouvelle surprise quand il m'a contacté il y a 5 jours pour me prévenir d'une visite qu'une dame devait faire "sans faute", en précisant que celle ci ne souhaitait pas "casser" notre bail pour investir le logement (comme si elle en avait le droit...). Nous avons donc, avec toute la bonne volonté du monde, briqué l'appartement, pour que le propriétaire nous envoie un sms à l'heure de la visite, disant: "visite annulée, je vous rapel" .......
Qu'en pensez vous ? J'estime que je n'ai pas signé un bail pour subir des visites impromptues durant les 3 années de sa durée, je ne suis pas une maison témoin. N'est ce pas normalement que dans les 6 mois précédents la fin du bail que les visites sont obligatoires pour moi ? Quelle est la différence des droits dans le cas d'une vente d'un logement vide, ou occupé ?
Je vous remercie de votre aide par avance. Cordialement