Droit de garde du géniteur de mes enfants

Bonjour je souhaiterais avoir un avis sur ma situation; J'ai eu 2 garcons de 8ans et demi et 4 ans et demi avec mon ancien compagnon. Celui est parti quand j'étais à 4 mois de grossesse de mon 2e et n'a pas subvenu à leurs besoins depuis soit depuis 2012. Ils n'a vu mes enfants que jusqu'en aout 2013 ensuite on n'a plus eu aucune nouvelle de lui jusqu'à il y a un an ou il appelait tous les 6mois. au mois de janvier il s'est vu retiré l'autorité parentale et les DVH car il était à la rue, qu'il a été jugé immature et instable du fait de son passage dans un hopital psy et du fait qu'il buvait et se droguait( en sachant également qu'il a toujours été violent qu'il m'a frappé a plusieurs reprises lorsque nous étions ensemble et que je me suis toujours interposée lorsqu'il s'approchait trop de mon ainé lorsqu'il avait bu et qu'il était en colère c'est d'ailleurs pour cette raison que je l'ai quitté mais je n'ai pas de preuves car à l'époque je pensais que c'était ma faute et je ne voulais pas que ma famille soit au courant). Il a même refusé de prendre la convocation du juge que l'huissier lui a présenté.
Mais voilà que maintenant il veut rejuger l'affaire et avoir des DVH classique, il a dit à mon fils que sinon il serait à la rue s'il ne pouvait pas les avoir. je comprends donc qu'il a juste besoin d'avoir la garde pour avoir un logement social. De plus il m'insulte quand il a mon fils au téléphone et le fait systématiquement pleuré.
Que puis je faire dans cette situation?

Que faire ? voir votre avocat qui saura, lui, apporter au JAF les arguments et preuves nécessaire pour le bien-être de vos enfants. Comme votre ex s'est vu retirer l'autorité parentale, comme il ne s'est pas occupé de ses 2 enfants, comme il n'a pas payé de pension alimentaire pour eux, il va avoir du mal à obtenir gain de cause auprès du JAF mais s'il a un avocat, il vaut mieux que vous ayez le vôtre.