permis de construire même si CU négatif?

Bonjour,
Je souhaite vendre une partie de mont terrain où est bâtie ma maison. J'ai reçu un CU négatif sous prétexte que le terrain en question est hors du village, et qu'il est ouvert sur de vastes étendues agricoles. Or, il est en triangle, naturellement délimité à gauche par une départementale, à droite par une voie communale, et ma maison à l'arrière. Il n'a pas de vocation agricole, car je ne suis pas agriculteur. Le maire est de mon côté, et a organisé une délibération municipale stipulant l'article L-111-4, arguant qu'il devait se battre pour que son village puisse avoir de nouveaux habitants, car le groupe scolaire en souffrirait sinon. J'ai fait un recours gracieux auprès de la préfecture, auquel j'ai joint la délibération du maire (pas encore homologuée par la préfecture) ainsi qu'une photo de Google map pour bien montrer que le terrain n'est pas ouvert sur de vastes espaces agricoles.
Si le recours est rejeté, est-ce que je peux moi même faire une demande de construction sachant que la municipalité y est favorable, que le terrain est déjà bâti, alors que je n'ai pas de CU?

Je précise que dans le délibéré du conseil municipal, le maire a bien précisé qu'il y avait tout les éléments d'urbanisation (eau, electricité, éclairage public...) car en face et plus loin il y a déjà une maison, et une école... Mais considérée comme isolés, car construits avant la loi Borloo, et de l'autre côté du terrain.....