Bonjour,
Votre raisonnement est incomplet.
Il faut d'abord savoir où est votre
résidence principale.
Au sens des impôts on n'a qu'une résidence principale.
https://www.service-public.fr/particuliers/vosdroits/F752
C'est a priori ce logement loué que vous avez déclaré comme tel.
De ce fait, la maison devient obligatoirement
résidence secondaire.
Toutefois si vous êtes "très souvent" dans cette maison, le fisc pourrait vous demander des justificatifs.