Habitation en caravane temporaire et permis de construire en ZA

Bonjour,

Nous sommes depuis quelques mois, locataires d'un terrain de 18ha non constructible.
Notre projet étant la construction d'une maison écologique(plusieurs, par la suite) à ossature bois, démontable. Le temps des travaux et surtout en attendant de pouvoir obtenir le permis nécessaire, nous sommes actuellement en caravane.
Nous avions sélectionné ce terrain car le propriétaire était très intéressé par notre projet, ainsi que le maire du village qui nous soutient.

Notre arrivée n'a pas beaucoup plut aux alentours : ce terrain étant abandonné depuis 10ans, chacun ayant ses petites habitudes, entre les simples balades, à pied, cheval, parcours moto, chasse, mettre du bétail, entrainement au tir, coupe d'arbres pour se servir en bois, en ardoises (c'est une ancienne carrière) et l'utilisation comme décharge.
Beaucoup ne savaient même pas que c'était privé et n'aiment pas que l'on vienne chambouler tout cela...

Nous avons mis des pancartes "sympas" aux entrées du terrain, indiquant "amis promeneurs vous entrez sur une propriété privée ou vivent des animaux en liberté, pour des raisons de sécurité, les véhicules à moteurs ne sont pas autorisés, merci de rouler doucement à vélo...etc" bref rien de méchant, notre but n'étant pas d'embêter le monde et couper l'accès.

Cela a bien jasé, un bon nombre de personnes ont été se plaindre au Maire que quand ils passaient sur le terrain les chiens venaient les voir (aucun n'est un tant sans soi peu agressifs, je peux comprendre ceux qui ont peur des chiens, soit, mais est-ce que l'on rentrerait dans le jardin quelqu'un en se plaignant qu'il y ait ses chiens?), ils les a envoyé paître répondant que c'était une propriété privée et que nous étions chez nous!
Cela en a calmé une partie mais nous avons tout de même eu quelques surprises, panneaux à l'entrée du terrain arrachés, personnes qui ouvrent et rentrent en voiture, se garent chez nous, passage de motos à fond malgré les panneaux, barrière des chevaux laissée ouverte à plusieurs reprise (ce qui a mené aux chevaux qui sont déjà partis dans le village!!), chasseurs qui viennent même garer leur 4x4 dans le prairies des chevaux pour venir chasser...bref pas très respectueux...

On fait des concessions beaucoup de concessions pour ne pas se mettre tout le monde à dos alors que tout ça ne donne envie que d'une chose c'est de tout fermer..

Tout c'était tassé un peu mais c'est tendu dans le village depuis les municipales, heureusement notre maire est repassé mais sur les conseillers municipaux, 3 de la liste opposée sont passés. On vient de nous prévenir qu'ils avaient bien prévu de tenter de nous faire partir.

Pour l'instant, ils veulent jouer sur les caravanes installées depuis 6 mois, en se renseignant nous avions vu qu'il fallait demander une autorisation temporaire d'1 à 3 ans max en Mairie, or le Maire qui voulait bien sur nous la donner à appeler l'urbanisme pour savoir comment procéder, il est tombé sur une personne qui lui a dit que l'on avait pas le droit au caravaning point barre. Ils nous a donc dit que de son côté, il voulait bien mais ne pouvait pas faire plus pour que ce soit légal..
Nous connaissons plusieurs personnes qui ont eu ces autorisations ailleurs, on nous a dit que cela ne dépend que du bon vouloir du Maire normalement(?). C'est surtout là dessus que nous aurions besoin d'être éclairés pour le moment, si nous avons les textes pour lui montrer..
Nos détracteurs sont venus voir notre compteur en notre absence pour voir comment nous étions raccordés par exemple. Sachant que c'est indiqué propriété privée mais que nous ne coupons pas l'accès, peut on considérer qu'il y a eu infraction?

Quand au permis pour la maison, nous nous sommes renseignés auprès de la DDE. Nous avons pour but d'exploiter une partie des terres en maraîchage et monter une ferme pédagogique-refuge (à petite échelle le but n'étant pas le "rendement") avec animaux rescapés. Il faut donc se déclarer à la MSA, une fois officiellement agriculteurs avec une activité qui justifie notre présence sur place, ils nous ont dit que nous pourrions avoir le permis. Mais la DDE nous a expliqué que pour cela il fallait que notre activité soit déjà bien lancée et que l'on puisse montrer que cela marche. Or on ne peux pas vraiment lancer une exploitation sans avoir un vrai toit.. Et pour se faire un chiffre en maraîchage cela mettra du temps à se mettre en place.

Au vu de tout cela, quelqu'un aurait t'il des pistes pour savoir comment l'on peut procéder pour sortir un peu de cette impasse?
Pour l'instant les pistes que nous avons eu pour être "tranquilles" c'est Yourte ou maisonnette sur pilotis qui n'ont pas besoin de permis de construire, constructions de - de 20 m2 au sol..mais tout nouveau projet de construction même 'petit' c'est un coût en plus et retarder notre habitat définitif.Si l'on peut faire une cabane de 20m2 pourquoi ne pourrions nous pas laisser la caravane?

Merci d'avance à ceux qui sauront nous éclairer un peu :)