Renovation/transformation penty breton

Bonjour, nous sommes en train d'acquérir une propriété, dans cette propriété il y a une fermette, un penty breton, un hangar agricole, un garage et un abris de jardin en bois.
Sur le POS de la commune, il n'y a que la fermette qui est en zone Nh, le reste de la propriété est en zone A, nous souhaitons rénover le penty afin d'y habiter le temps que nous rénovons la fermette.
Ce penty est la première maison d'habitation de la propriété, la maman de la dame qui nous vend la propriété y est née début 1900. Ensuite la fermette a été construite dans les années 40, et du coup le penty est resté inhabité.
Le maire de la commune m'a indiqué que je pouvais rénover le penty mais pas y habiter, et son argument était qu'on est en zone agricole et que donc c'est sous controle de la chambre d'agriculture car il considère que le penty est une grange et que du coup nous changeons sa destination.
Hors ce penty a des fenetres, une belle cheminée bretonne, des portes, des arrivées d'eau et d'electricité.. Bref c'est une ancienne maison d'habitation.
J'aurais aimé connaitre les recours que nous pouvons avoir afin de renover notre penty sans etre dans l'illégalité et quelles sont les demarches à effectuer.
Le but final serait de louer le penty une fois que nous aurons rénové toute la propriété. Il y a d'autres penty aux alentours, qui ont été rénovés et transformés en gites ruraux...