Changement de destination simple

Bonjour,
Je cherche à vendre à Méounes(83) un garage de 50m², indépendant, sur une parcelle de 1000m².
Tous mes acheteurs veulent le rendre habitable intérieurement, mais l'extérieur, lui, est conforme au permis actuellement et ne necessite aucune transformation.
Ce garage était situé à l'origine sur un terrain de 5000m², comprenant villa et garage, sur le PC initial. J'ai déjà vendu la villa seule avec 4000m².
La mairie refuse le changement de destination officiel du garage en tant qu'habitation, et fait fuir tous mes acheteurs. (On ne peut pas agrandir, et surtout ne pas y habiter sans risquer de très gros ennuis, etc., disent-ils)
Il y a l'eau de ville et l'électricité dans le garage; c'est une ancienne zone agricole mais résidentielle maintenant, et qui est décrétée Zone N actuellement.
Que faire pour obtenir que la destination soit changée ou quels moyens de rassurer mes acheteurs, qui veulent tous l'habiter, dois je mettre en oeuvre?
Il y a -t-il réellement besoin de ce changement de destination, vu que le permis initial global était celui d'une habitation(avec garage)?
(Le garage ressemble plus de l'extérieur à une petite habitation qu'à un garage, et les impôts ont même tentés de me faire payer les taxes comme habitation)
J'ajoute que j'ai déjà fait une demande en 2011 et que cela a été refusée arbitrairement par la mairie, et je dois maintenant avoir une connaissance de ce que je vais pouvoir opposer à leur prochain refus annoncé.
Merci infiniment de votre réponse et de vos compétences, JLuc.