Déménagement siège social

Bonjour, je suis embauchée en CDI depuis quelques mois et j'apprends que le siège social va déménager à plus de 40 km de chez moi. Quels sont mes droits en tant qu'employé? Ai je le droit de refuser ? Sur mon contrat il est indiqué que l'adresse de mon poste est celle où je travaille actuellement. Il y a juste une phrase qui indique que je peux temporairement être détachée sur une autre agence.
Du coup je suis perdue... je ne sais pas si je pourrais refuser...