該不該嫁給一個身無分文的男人？

我今年29歲，自覺已到適婚年齡。
和男友相戀三年，同居三年，覺得共同生活並無太大問題。
唯一一個讓我比較在意的是，
對方已工作五、六年，收入一直維持在四萬多，
卻因為沒有金錢概念，太愛花錢，至今身無分文。
因家裡曾幫他償還卡債近三百萬，
他也簽下二十年不得與銀行往來的切結書，
但似乎也只能保證這二十年內不會有卡債的問題。
現在他的提款卡和存摺都由我保管，
每月扣除生活費後，需把剩下的錢交回給父母，說是要還錢。
我擔心婚後還得持續這種狀況，
畢竟一個月就算還二萬，
還是要還上好幾年。
我自己因個性節儉，工作六年，已存了快一百萬，
也認定自己就算不結婚也能養得起自己，
但也不至於到不婚主義的程度。
最近開始有想婚的念頭，
但總覺得這種金錢觀念的差異，
未來會導致很多問題。
除了對方讓我很沒安全感之外，
也怕以後又捅什麼婁子給我扛，
所以開始認真考慮該不該和他繼續的問題。
不知道是不是我想太多了。
請問大家的意見如何？