Demolition sur zone Agricole

Bonjour, je me permet de vous écrire car je ne trouve aucune reponse a mon problème !
Voila mon problème, je cherche a savoir si il est légal de démolir une cabane de plus de 20m2 sans permis de construire sur une zone A?
En effet cette construction a etait faite il y a plus de 10ans sur une terre agricole zone A (verifier sur le PLU egalement) pour une association. A l’epoque c’était illégal de la construire mais d’un comme un accord avec la mairie celle ci la accordé sans soucis.
Aujourd’hui cette association va fermer et on voudrait nettoyer et rendre le terrain a son propriétaire. Mais je me retrouve sans texte de loi sur ce problème…
D’apres certain texte vu que la construction est faite depuis plus de 10ans nous ne risquons plus de poursuites penal meme de la mairie. Mais peut on avoir des poursuites en la détruisant sachant qu’elle est illégal a la base et qu’un permis de construire devait etre déposée ??
Le permis n’aurais jamais était accepté en vu de l’activité qui n’etait pas agricole! Donc un permis de démolir egalement ? Pour information la construction est une cabane (dalle de 50m2 monter sur 2 rang d’agglos + une armature amovible dessus)

Merci de m’éclairer a ce sujet j’ai lu des 100ene de textes mais rien de tres clair sur le sujet. Merci de votre aide