Non respect autorité parentale conjointe ?

Bonjour,
Divorcée depuis 5 ans, j'ai la garde de nos 2 enfants. Mes grands-parents possèdent un petit appartement en bord de mer en Espagne qu'ils acceptent de nous prêter à mon nouveau compagnon et moi cet été, sur la période de vacances ou j'ai les enfants.
Il y a environ 3 semaines, j'ai envoyé un message à mon ex-mari pour l'en informer et lui demander s'il était d'accord pour que je les fasse sortir du territoire (au titre de l'autorité parentale conjointe).
Je n'ai à ce jour obtenu aucune réponse.
Par contre, s'il évite de me répondre, il répète aux enfants que nous n'aurons le droit d'y aller que s'il donne son autorisation…
En général, il sous-entend une contre-partie à chaque fois que je lui demande quelque chose (ce qu'il a d'ailleurs plus ou moins fait encore cette fois). Sauf que cette fois je refuse de céder. J'en ai marre de "monnayer" le droit de vivre ma vie et j'envisage très fortement de partir quand même.
Du coup, je souhaite savoir si cela représenterait un non respect de l'autorité parentale conjointe et quelles pourraient en être les conséquences pour moi ?
Je précise que nous sommes censés partir dans 2 semaines 1/2.
Merci pour vos réponses.