Avis défavorable conforme ABF

Bonjour,
Nous avons acheté un terrain issu d'une division et ayant fait l'objet d'un CU pré-opérationnel le déclarant constructible.
Notre parcelle ne comporte pas d'accès, mais il est bordé par un mur en brique haut de 2 mètre environ sur une voie publique. Celle-ci est mentionnée dans l'état des équipements publique existant sur le CU.
Pour accéder à notre propriété nous n'avons pas d'autre choix que de créer un accès par ce mur. Nous sommes dans un périmètre soumis aux avis des bâtiments de France. Le projet est hors champs de visibilité de monuments historiques - site inscrit - Eglise d'Orry-la-ville.
Nous avons déposé une déclaration préalable de travaux pour créer un accès avec un portail ferronnerie de 4 mètre de large. Ceci afin de ne pas devoir démolir une autre partie du mur lors du futur chantier de construction. Nous ne sommes pas encore fixé sur les plans de la maison et il faudra de toute façon effectuer une étude de sol.
Notre projet déplait à l'ABF qui à émis un avis défavorable conforme au motif que notre projet n'est pas lié à un projet de construction et qu'il porte atteinte à l'environnement du cadre urbain et de l'espace protégé.
Notre partie de mur mesure 26,76 m sur un linéaire en brique avec piquets métalliques d'environ 80 m.
L'ABF parle de démolition en site, mais cela nous semble un peu excessif puisque qu'il s'agit de créer un accès et non de démolir le mur.

Cette situation nous empêche de pouvoir établir notre projet de construction puisque nous ne pouvons pas effectuer l'étude de sol. De plus cela nous empêche également d'entretenir le terrain avec des conséquences pour le voisinage.

Quels sont nos recours possibles ? Devons nous faire valoir un droit d'accès à notre propriété pour l'entretien et la jouissance ?