樓下鄰居不實指控我們半夜製造噪音

現在住在快40年的老舊公寓，搬進來已四年多，從102年底開始，樓下開始指控我們半夜聲音很大，他還會紀錄幾點幾分聲音多長多大聲，起先我們以為是小孩子的聲音吵到他（其實當時小孩也才1歲半剛會走），但他們每次抱怨都是我們經常「半夜以重物敲擊地板及重跺樓地板」，對於這一項指控真的是莫名其妙！
我們是小夫妻每天一到五都白天上班，當時小孩子白天在保母那邊，晚上接回家大概7點，頂多10點多就會全家一起去睡覺，小孩半夜從不會起床玩，我們夫妻白天上班已經很累，晚上照顧小孩，怎麼可能在半夜一直去敲地板！對方紀錄的時間也都很怪，什麼12點多、2點多、凌晨4點多…
其實我們一直再猜是否他是對孩子不滿？但他們每次都強調「半夜以重物敲擊地板及重跺樓地板」，好幾次請里長協調，甚至後來進調解委員會都是這樣說法！

因為樓下是年約60多歲沒有生孩子的老夫妻，我們起先想說他們年紀大難以溝通，所以仍釋出很多善意！買了2公分厚的軟墊家裡全部鋪滿（除廁所），起先沒鋪儲藏室，後來他們還懷疑我們半夜去儲藏室撞地板！那我們就也鋪了！後來好幾次深夜來按門鈴，有時我在跟小孩洗澡、有時小孩已經睡了…我們都有讓他們立刻進來家中看環境，他們還是不相信！後來對方找我們進調解委員會，在那陣子我們為了清白，還往自己房間錄影，就是錄平常睡覺，我覺得犧牲真的很大，但只要能證明清白都暫時忍受。調解委員會中他們提了幾月幾日幾時幾分我們又吵，我們馬上放出開時段影片，上面都有時間紀錄，證實全部在睡覺。還有一次晚上12點多樓下打手機給我老公，意指我們又在吵！結果當天我們人根本不在家，而是在另一個遙遠的城市！…以上這麼多，真要去查辦，都是有證據的！
樓下反正不管任何理由跟說法，因為他「只執著在他深夜就是聽到撞地板的聲音！」只要他一天有聽到，都說是我們做的！但我們在調解委員會上已經說過，我們猜是水管造成的，半夜都聽到聲音也可能是其他棟在洗澡用到水管，水鎚效應之類的問題可能天冷越明顯…。因為後來調解委員會開了很多次，後來逐漸進入夏天，對方很滿意半夜聲音不見了，說是我們有改善。但我們很明白說，冬天一定會再有！因為屋子構造就是如此！…果不其然，今年他們冬天又開始騷擾了！更誇張的是我們在上禮拜收到他們委託律師寫的信函，內容就是指稱我們半夜製造噪音，還有「半夜以重物敲擊地板及重跺樓地板」，還說如果再聽到就要再來按門鈴！
對於樓下的行為真的不勝其擾，超級煩！又考量樓下夫妻都60多歲不想口出惡言或做什麼動作，就是盡量配合也減低在家音量，但他們講的「半夜以重物敲擊地板及重跺樓地板」真的不知道是要怎樣啦！睡覺都來不及，還一夜多次幾床撞地板？！這次收到律師信函真的很生氣，內容不是提告只是警告，我想他們也沒證據提告！因為根本我們半夜什麼也沒做！覺得不能再這麼讓下去！因為對方行為越來越誇張！
請問面對此事，積極點我可以如何先處理？我想到是寫存證信函，以及去警局備案以免發生人身安全。其他的請大家給我意見好嗎？如信函及備案重點？謝謝大家！