Bonjour,
Citation :
Vous êtes en zone Agricole du PLU. A priori les constructions n'y sont pas autorisées, ni les extensions de constructions existantes.
Tout dépend de la rédaction du PLU.
Le RDDECI n'est pas un document opposable à l'instruction des autorisations d'urbanisme : voir par exemple la Réponse Min. du JO Sénat du 20/01/2021 : https://www.senat.fr/questions/base/2020/qSEQ20121436S.html
Il semble donc, si la jurisprudence n'a pas évolué, que le motif de la ville pour s'opposer à votre DP est illégal.