Délai réponse trésor public suite à demande de remise gracieuse

Bonjour,
J'ai percu le SFT pendant ma procédure de divorce et lorsque j'ai fait les démarches pour qu'il soit versé à la mère, le trésor m'a demandé de rembourser. J'ai alors fait une demande de remise gracieuse et je n'ai pas eu de réponse pendant plus de 2 ans (du 12 06 2014 au 29/06/2016),. Aujourd'hui, on me réclame la somme (majorée) en m'accordant une remise (très) partielle et un échéancier.
Y a t il un moyen de mettre en avant ce délai de silence pour effacer ma dette ?
Existe t il une texte de loi sur lequel m'appuyer ?

Merci de vos réponses