Dernières apl versées au propriétaire

Bonjour,
Voilà ma situation est assez compliquée, je m'explique:
En avril 2016 j'emménage dans mon premier appartement
Le propriétaire me dit que je n'ai pas besoin de donner un mois de caution car c'est un ami à mon père . J'emménage et l'on fait l'état des lieux mais rien d'officiellement signée.
Pas de bail non plus. 1 mois plus tard je fais une demande d' apl la demande est longue a aboutir et au bout de 4 mois c'est à dire en octobre mon propriétaire reçoit la somme non perçu au cours de ces 4 mois c'est à dire 1360 euros. La dessus il a pris 550 euros de caution alors qu'au départ il ne m'en as pas demandé. Je n'ais pas été en position de négocier quoi que ce soit. Il a pris également le mois de loyer de novembre 2016 ce qui fait que en novembre je n'ai pas eu a payer de loyer.il m'a rendu ce qu'il restait, le 30 novembre je quitte le logement. Les apl m'ont dit que le 5 décembre il as reçu les dernières apl et qu'il devait me les rendre. Je l'appelle et il me dit qu'il ne me doit rien car les apl c'était pour le mois de novembre hors en novembre je n'ai pas payer de loyer. Sa démarche est elle légale? Merci et désolé pour la longueur du texte.