Droit d’accès-colocation partiellement occupé.

Bonsoir,
En tant bailleur je rencontre des difficultés avec un colocataire récalcitrant.
Je vous expose les faits, j’avais 3 colocataires, 2 sont partis parce qu’ils ne pouvaient plus cohabiter avec le nouveau colocataire hargneux, arrogant, insociable , de mauvaise foi, etc. Les 2 colocataires sortant m’ont exprimés par écrit leurs difficultés de cohabitation et ont quitté les lieux.
Pour info, je n’ai pas fais signer de clause de solidarité entre eux.
Je comprends très bien la position de mes 2 colocataires sortant.
Mon problème c’est que le colocataire restant (avec les traits de caractère que j’ai décrit en amont) qui est là depuis deux mois, est absent à chaque rendez-vous qu’on a programmé ensemble, pour la visite des nouveaux colocataires potentiels, plus grave il m’interdit d’entrer dans la maison sans sa présence. Je suis en possession des clés de la maison, car les 2 colocataires sortant m’ont rendu leurs clés.
Ma question est :
Suis-je en droit, en l’absence du colocataire en place, d’entrer dans ma maison et de faire visiter la maison à des nouveaux colocataires potentiels, la visite ne concernerait que les parties communes, évidement on accédera pas à sa chambre. A défaut de ce droit d’accès aux parties communes, quelle solution me reste t-il ?
Le colocataire restant ne fait aucun effort pour retrouver 2 nouveaux colocataires, il me dit qu’il d’accord pour cohabiter avec d’autres personnes, mais il fait tout pour que cela ne se réalise pas. A chaque rendez vous fixé, il trouve des prétextes de dernière minutes pour justifier son absence. Je crains aussi qu’il ne soit pas accueillant afin de décourager les nouveaux colocataires potentiels.
Merci pour tous vos conseils
Cordialement.