老公有外遇,想離婚

我老公在四年前欠債60萬，我和家人代他還債，現在银行已還清，只欠家人38萬，不過他又再欠20萬，我便用自己的名義向银行借錢代還，因此他現在已沒有債務。本來一家四口的生活比上不足比下有餘，但這時比我發現老公在深圳有女人，他們的關係己經兩個月了，最近那女人對我老公話她的亞姨迫她做雞，只要我老公在身邊，等亞姨回鄉，她便不需要做，不過那女人又話亞姨叫我老公給她幾萬银當做安心，不過我老公沒給便回來了。但過了兩天他話回家很不開心又要再去那女人處，我說一看便知她做戲，想要的是錢，但我老公話信佢(因為大家都愛對方)，還對我說想兩邊都要，我話無可能，佢就話現在要他放棄她也不可能，所以他現在已經走了，還叫我可以等，他遲Ｄ就會回來，不過不是現在。(其實他已不是第一次走了，只是每次回來，我也原諒他。是否他捉心理，知我緊張佢，所以便不顧一切。)
不知他是否想同我離婚(因為我現在要他給我錢照顧小孩，他只剩餘３千元生活費，他也說好。)我不知是否應該離婚，問題係他欠我家人的錢怎麼辦，沒有物證，只有人證(他和我的家人，親朋好友)如果他不認數，怎麼辦？沒理由給他風流快活。