近日,在全球權威的自動駕駛nuScenes競賽最新評測中,浪潮信息算法團隊所提交的“IEI-BEVFusion++”算法模型在關鍵性指標nuScenes Detection Score(NDS)得到77.6%的高分,創造了3D目標檢測全賽道迄今最高成績。繼去年以“DABNet4D”登頂純視覺3D目標檢測榜單后,該算法團隊在面向融合感知自動駕駛領域再一次實現突破。

nuScenes數據集是目前自動駕駛領域中最流行的公開數據集之一,數據采集自波士頓和新加坡的實際自動駕駛場景,是第一個集成攝像頭、激光雷達和毫米波雷達等多種傳感器,實現360度全傳感器覆蓋的數據集。nuScenes數據集提供了二維、三維物體標注、點云分割、高精地圖等豐富的標注信息,包含1000個場景,擁有140萬幀圖像、39萬幀激光雷達點云數據、23個物體類別、140萬個三維標注框,其數據標注量比KITTI數據集高出7倍以上。

【資料圖】

猶如人類的眼睛為大腦提供了70%以上的信息,在自動駕駛領域,作為感知系統的主流模式架構,Lidar與Camera融合的3D多模態架構則為實現高魯棒、高精度的3D目標檢測提供了至關重要的信息輸入,為業內提供更具通識性的解決方案。此次創nuScenes榜單成績新高的“IEI-BEVFusion++”算法模型正是應用了3D多模態融合架構的思路,將Lidar與Camera形成有效的交互融合。

●Lidar與Camera的多模態交互融合,面臨巨大挑戰

3D目標檢測作為自動駕駛至關重要的核心任務,面向強大的環境感知,自動駕駛車輛通過廣泛車載傳感器的信息輸入,實現精準的目標檢測。以Lidar為例,它可以有效精準地捕捉空間信息,點云數據所具備的天然3D優勢,最大程度地提升了檢測目標的測距精度、速度及方向;而Camera的優勢則在于,它具備豐富的紋理信息,強大的語義及圖像上下文理解能力使得它可以有效地識別行人、交通指示牌等具象化的路面信息。因此,Lidar與Camera融合的3D多模態架構將深度信息與紋理信息形成有效的交互融合,為更精準的3D目標檢測提供了一種全新思路。

然而,將兩種截然不同的模態幾何和語義特征在一個表示空間內相結合,這是一個巨大的挑戰。 一方面,預估檢測目標的深度信息是提升3D目標檢測精度的關鍵,現有模態的融合通常關注于點云雷達及Camera虛擬點間的交互,但由于點云雷達遠比Camera數據稀疏得多,傳統的融合方式無法解決固有模態間的深度信息差距。另一方面,在跨模態的融合交互中,點云雷達涉及體素的精細劃分及大量的3D卷積計算,圖像則由于多攝像頭、高分辨率,復雜的特征提取網絡,兩者計算復雜且耗時長。因此,不同形態的數據整合也為多模態融合模型的訓練速度和檢測精度帶來了新一層算力壓力。

●NDS 77.6%,多模態融合模型“IEI-BEVFusion++”刷新全賽道記錄

IEI-BEVFusion++多模態融合模型,通過更有效的多模態訓練架構、更精細的特征提取網絡、更強大的數據預處理能力,實現Lidar與Camera的高效特征提取與融合優化。激光雷達點云特征為Camera數據提供檢測目標的精確3D信息,Camera發揮其紋理輪廓及語義理解優勢,進一步精細化點云區域特征,形成Liar與Camera的數據最大化互補,大幅優化了模型的檢測精度。

基于Lidar與Camera的多模態融合模型架構,實現了三大核心技術突破:

-IEI-BEVFusion++多模態融合模型架構圖-

a)首先,基于更有效的多模態訓練架構,使得mAP(全類平均正確率,mean Average Precision)平均提升2%+

Transformer的多模態數據融合架構,通過引入基于Camera數據的BEV檢測頭,輔助融合模型訓練,在不增加過多計算量的同時,進一步增強語義信息特征,使得mAP(全類平均正確率,mean Average Precision)平均提升2%+。

b)其次,精細的特征提取網絡,大幅提升目標的3D檢測能力

一方面,采用多尺度Lidar的特征融合技術,進一步增強其特征提取的感受野,提升其對于檢測目標,尤其是大目標的表征能力;另一方面,Lidar信息可直接輔助優化Camera的深度預測,采取級聯深度輔助策略,大幅提升圖像的3D檢測能力。

c)同時,強大的數據預處理能力,實現模型精度與訓練速度雙突破

創新設計Lidar與Camera同步貼圖,替代了業內傳統的cbgs(類平衡分組和采樣)技術。一方面增強了樣本的均衡性與多樣性,另一方面保證了不同模態間的數據協調、同步,在提升目標定位檢測精度的同時,保障目標速度、方位、縮放等相關指標的提升,訓練速度更是較業內基準提升了4.5倍。

基于BEV融合算法的創新,“IEI-BEVFusion++”算法模型成功登頂3D目標檢測任務(nuScenes detection task)全賽道榜單,將關鍵性指標NDS提升至77.6%。未來,浪潮信息算法團隊將踐行多角度切入,發揮算法、算力融合的全棧解決方案能力,推動自動駕駛領域的技術創新發展。

備注:文內所涉術語解釋如下

1)BEV:Bird’s Eye View,是指將特征信息轉化至鳥瞰視角

2)多模態融合:也稱多源信息融合或多傳感器融合,是指綜合兩個或多個模態的信息進行預測的過程

3)魯棒(Robust):是指系統在一定的參數攝動下,維持其它某些性能的特性

關鍵詞：

責任編輯：Rex_26