Plus values , phase contradictoire

Suite à la vente en juin 2012 de notre pavillon, nous sommes assujettis à la plus-value. En effet, nous avions établi un compromis avec un acquéreur pour un montant de 463 000 €. Celui-ci a fait quelques temps après une substitution partielle du bien.
En conclusion notre acheteur a acheté le terrain et le garage : 173 000 €(pour y construire 2 petits pavillons) et la maison : 310 000€ a été acquise par le substitut, donc maintien du prix défini lors du compromis.Le notaire,la veille de la vente nous avertit que nous étions redevables d'une plus-value, il nous prévient que nous serions contactés par les impôts. Or, il n'a pas envoyé l'imprimé 2048 IMM. En novembre 2015, les impôts nous adressent la proposition de rectification pour une somme de 28 742€ plus les intérêts de retard et les majorations soit 38 445€. Le notaire a recalculé le montant de la plus-value en intégrant une partie des frais d'agence(pour la partie terrain-garage) soit 9000€. Est ce possible d'appliquer le décret 2003-1386 du 31.12.2003 dans notre cas ? Est ce que l'inspecteur des impôts peut refuser ? D'autres minorations sont elles possibles ? Nous sommes retraités avec 2 enfants adultes majeurs handicapés ? Je dois répondre avant fin janvier 2016, nous sommes démunis pour argumenter. Merci de nous renseigner. Salutations distinguées.