有關贍養費問題

本人內子自從外出工作之後,性情大變,除放棄日常家務不理之外,更對兩名子女及本人不聞不理,在下只好父兼母職,百般遷就,但仍無挽回這段婚姻,離婚之舉,實無法避免.但礙于贍養費問題,無法成事.其因在下收入微薄,過去一切家庭開支及兩子之膳食,一直都是由本人負責,以致經濟結据,足襟見肘,實無法多付其贍養費,拖延至今,兩者皆苦.
現想請教各位,離婚時男方是否一定需要給于女方贍養費,以在下的例子,如他日兩子都由在下照顧,加上女方又有工作,可否免郤贍養費一項.