未婚生子女，經生父認養後，直到最近生父突然不常回家也不常聯絡，致小孩常常有一餐沒一餐的?

我是一位未婚生子女的媽媽，因為某些原因我沒與小孩的父親辦理登記結婚，但小孩子的監護權是歸我的，因為要照顧最小的小孩，所以我沒法上班，三個小孩也都由生父認養，因為外面的女人最近他也不常回家甚至搞失蹤，連電話也不接，小孩子常常有一餐沒一餐的，請問這樣子我能採取什麼措施，能對他們倆提告嗎？還是要由小孩子去爭取呢？