Intrusion du nouveau proprietaire et litige usage de mon jardin

Bonjour, je suis locataire depuis 19 ans , d'un appartement en rez de jardin dans une maison familiale divisée en 4 appartements indépendants, 2 rdj et 2 à l etage .A l'epoque , 2 freres géraient les locations (pour leur mère), d'une moitié de la maison. Au décès de celle ci, chacun a hérité, pendant mon bail,de la moitié de la maison qu'ils géraient( 1rdj +1 appartement au dessus)sauf que mon proprietaire s'est vu lésé du jardin qui va avec son lot ( mon jardin !) suite à un arrangement entre la mère et le fils pour avoir a totalité du terrain....
depuis l'heritage ,la compagne du frere de mon proprietaire vient tous les jours dans le jardin, m'empeche d' utiliser celui ci en disant qu'elle est proprietaire, arrache mes plantes et plante des cactées au milieu afin que je ne puisse plus profiter de l espace pour recevoir mes amis. Evidemment de nombreux conflits ont eu lieu. j'ai beau lui dire que j ai l'usage du jardin dans mon bail elle ne veut rien entendre.
QUESTION: est ce que le fait que mon bail stipule que l usage est non exclusif (avec le locataire du dessus a l epoque) donne le droit à cette femme d'y venir ? l'adil m avait dit que le fait qu'il y ait eu un changement de proprietaire durant le bail ne donnait absolument pas le droit d'y entrer sauf si mon proprietaire me refaisait un nouveau bail avec un preavis de 6 mois avant le renouvellement tacite, en stipulant que je n avais plus l'usage du jardin puisqu il n en est pas proprietaire. Or etant en tres mauvais termes avec son frere , il est plutot de mon coté ...pour faire valoir mon droit en vertu du bail d'origine.
Mais j'avais oublié de mentionner à l adil que j'avais l'usage non exclusif.. d'où ma question .. en vous remerciant par avance pour vos réponses