近日，騰訊優圖實驗室在CVPR2021舉辦的Image Matching Workshop(IMW2021)比賽中，提出的圖像匹配技術 (SS-Fusing)榮獲雙賽道冠亞軍。IMW2021是Google和University of British Columbia(UBC)聯合舉辦的Workshop比賽，吸引了包括曠視，商湯，EPFL，KORNIA，華中科大和OPPO等公司、學校和機構參加。

     作為計算機視覺領域的基礎技術之一，Image Matching是指尋找一張圖片中拍攝的子區域在另一張圖片中的對應位置，廣泛應用于包括SFM、SLAM、三維重建、大規模圖像檢索，缺陷檢測與配準等領域。

圖1、圖像匹配技術示例

　　本次比賽的評測機制如圖2所示，參賽者根據自己提出的方法提取每張圖的關鍵點和對應描述子，并提交每兩張圖之間的匹配結果，賽方會根據提交的結果統計兩種評估方案：1.通過對比兩張圖之間匹配結果對應的相機位姿和真實位姿之間的差異(Stereo)。2.根據多張圖之間的關鍵點匹配結果，統計重建后預測全圖的相機位姿和真實位姿之間的差異(Multi-view)。因此對于任意兩張圖之間，關鍵點的分布越分散，匹配的點越準，則位姿估計的效果越好。

圖2、比賽流程圖

　　此外，本屆比賽分為限制性賽道(Restricted category)和非限制性賽道(Unlimited category)，其中限制性賽道要求參賽者提交有限的關鍵點和對應描述子，非限制性賽道可提交不限數量的關鍵點對和對應描述子。相較于前兩屆比賽，本屆比賽增加了街景和公園等場景，圖片之間的角度和尺度變換更大，對算法挑戰非常大，因此我們同時針對關鍵點的提取部分和匹配準確度部分都做了相應的改善，具體思路如下：

　　我們使用SuperPoint+Autoencoder+SuperGlue作為我們的關鍵點匹配pipeline。其中SuperPoint用于提取關鍵點和對應描述子，Autoencoder用于特征壓縮，SuperGlue用于關鍵點匹配，最后通過DEGENSAC進行離群點過濾。同時我們優化了SuperGlue的訓練過程和損失函數，提升了模型在比賽數據集下的匹配精度。

圖3、SS-Fusing算法流程圖

　　我們針對輸入圖片進行隨機變換增加了提取到的關鍵點對尺度變換的魯棒性，同時提出了針對描述子的特征融合模塊，以提升描述子的表達能力和尺度魯棒性。同時我們還對比了我們的特征融合和平均特征融合的效果，其中橫坐標為描述子的cos相似度，縱坐標為二者的分布差異，可見我們的方法在高相似度區域下的占比明顯高于平均特征，而在低相似度區域下的占比明顯低于平均特征，驗證了我們方法的有效性。

圖4、特征融合模塊

圖5、加權特征和平均特征相似度分布差異圖

　　我們提出了前背景分割和coarse-to-fine的匹配結構，進一步提升關鍵點匹配的有效性。其中前背景分割可以有效過濾掉與匹配無關的背景部分。Coarse-to-fine的匹配結構可以提升拍攝尺度差異過大導致的匹配率過低的問題。

圖6、前背景分離示意圖

圖7、coarse-to-fine匹配前后示意圖

　　視覺圖像匹配作為基礎的計算機視覺能力，在其基礎上可拓展眾多的下游任務。如在圖像檢索中，可以通過image matching來檢索到和Database中相似的圖片，如圖8所示。在SFM(Structure from motion)中，可以通過關鍵點匹配來獲取攝像頭外參并結合內參進行深度估計并重建出拍攝物體(如圖9所示)。在圖像跟蹤與配準中，通過前后幀的匹配可以捕捉視頻的運動軌跡，并針對目標物體進行視頻跟蹤與圖像配準。

圖8、圖像檢索

圖9、三維重建

　　作為騰訊旗下頂尖的人工智能實驗室，優圖實驗室聚焦計算機視覺，專注人臉識別、圖像識別、OCR等領域開展技術研發和行業落地，在推動產業數字化升級過程中，始終堅持基礎研究、產業落地兩條腿走路的發展戰略，與騰訊云與智慧產業深度融合，挖掘客戶痛點，切實為行業降本增效。

　　未來，騰訊優圖實驗室也將繼續深耕CV技術，并將持續探索更多的應用場景和應用空間，讓更多的用戶享受到科技帶來的紅利。

特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。