房東不退押金

請問一下~我已經退租了~當初退租時房東不在國內所以他請了仲介來確定交屋看看有沒問題~我們已經搬空打掃過也恢復原狀了~那時押金他只退我們一半他說要扣水電瓦斯之類~其他他看過沒問題~所以我們鑰匙也都轉交給他~等房東回來再退我們另一半~但房東後來打來跟我們說我們房子很髒很亂~牆壁有痕跡變花了~電風扇當初給我們用現在掉漆變舊了~連衣櫥發霉都是我們的責任~他說汐止一點都不濕怎會發霉~所以是我們用的~聽了都快昏倒~最後連仲介都打來說我們當初沒打掃乾淨地上都是頭髮害他們房子租不出去~說要請人來打掃然後扣我們的錢~請問有人退租要幫忙全部恢復像新屋嗎~住了2年一定會有自然折損~我們要負責粉刷油漆~買新風扇還有衣櫥嗎~我們沒刻意破壞~但這些自然因素房客需要負擔什麼責任嗎~所以現在房東要我們去打掃完還他新的風扇牆壁漆也要我們全負責~不然不退押金~請問我們現在需要怎麼做~要全幫他恢復成新屋嗎~我們該怎麼做