Reintegration de loyers suite héritage

Après avoir vendu mon appartement en 2012 en Eure et Loir et dans l'attente de me retirer dans ma maison dans le Tarn et Garonne mon père(décédé en 12/2015) m'a proposé d'occuper sa maison du fait qu'il était en maison de retraite avec ma mère atteinte de la maladie d'Azheimer(décédé en 03/2013).Avant d'occuper les lieux j'ai fait constater l'état des lieux par un huissier car cette dernière n'était plus inhabitée depuis plusieurs années donc mal entretenue. J'ai fais quelques travaux à la suite pour pouvoir l'habiter. De plus je prenais mes parents le dimanche jusqu'à leur décès afin qu'il puisse profiter de leur bien ce qu'il ne faisait avant que je prenne les lieux.Or depuis le décès de mon père deux de mes trois frères (qui ne sont jamais occuper de mes parents) demandent la réintégration de loyers devant les tribunaux.