上月，輕舟智航宣布成功獲得數(shù)家頭部車企量產(chǎn)定點(diǎn)合作，實(shí)現(xiàn)了BEV“超融合”感知在地平線征程5平臺(tái)上的率先部署，邁出量產(chǎn)從0到1的關(guān)鍵一步。

對(duì)輕舟來說，這不僅是一場技術(shù)和工程的攻堅(jiān)戰(zhàn)，更是一次認(rèn)知的躍遷。通過這關(guān)鍵一步，輕舟不僅證明了技術(shù)的前瞻性和先進(jìn)性，也將領(lǐng)先的技術(shù)方案轉(zhuǎn)化為了實(shí)際的客戶價(jià)值和用戶體驗(yàn)。

認(rèn)知:從“秀肌肉”到“真落地”

作為高級(jí)別自動(dòng)駕駛解決方案提供商，輕舟智航積累了豐富的L4級(jí)自動(dòng)駕駛研發(fā)經(jīng)驗(yàn)，而對(duì)于L2+級(jí)別高階輔助駕駛，要將“秀肌肉”的技術(shù)原型轉(zhuǎn)化為“真落地”的量產(chǎn)方案，需要明確產(chǎn)品定位、場景覆蓋、質(zhì)量保障三大層面的認(rèn)知。

產(chǎn)品定位層面，量產(chǎn)必須以客戶價(jià)值為導(dǎo)向，以明確的產(chǎn)品定義和客戶需求為指導(dǎo)，與上下游充分溝通并進(jìn)行資源整合，才能打造出滿足消費(fèi)者安全和質(zhì)量需求的產(chǎn)品方案。

場景覆蓋層面，量產(chǎn)要盡可能窮舉和覆蓋各種城市的道路情境，對(duì)場景的分布和覆蓋率有著極高要求。尤其是雨天、夜間、大光比場景、分合流、模糊車道線、大車側(cè)前壓線、各類水馬和錐桶等場景，對(duì)技術(shù)泛化性提出了極大考驗(yàn)。

質(zhì)量保障層面，量產(chǎn)方案需在上萬里程的測試中通過全方位、多維度考量。如果說Demo側(cè)重展現(xiàn)某些特定場景中的能力上限，那么量產(chǎn)則需明確和保障在高頻場景中最基礎(chǔ)的能力。只有將核心的基礎(chǔ)體驗(yàn)做到極致，才能獲得消費(fèi)者的認(rèn)可。

一個(gè)高質(zhì)量的量產(chǎn)方案應(yīng)該做到無論在任何城市、時(shí)段、天氣中，都能夠保證無差別的功能輸出，同時(shí)在遇到各類復(fù)雜的長尾場景時(shí)也能提供穩(wěn)定出色的用戶體驗(yàn)。其中，感知是最上游、最關(guān)鍵的能力。目前，視覺感知方案是市場和產(chǎn)品的主流需求。因此，基于視覺信息做好感知，保障對(duì)環(huán)境、交通參與者和障礙物等的精準(zhǔn)識(shí)別，是為后續(xù)模塊提供有效支撐，帶來更安全、更高效、更舒適的駕乘體驗(yàn)的關(guān)鍵。

實(shí)踐:將技術(shù)優(yōu)勢轉(zhuǎn)化為量產(chǎn)優(yōu)勢

BEV感知可以更好地利用視覺信息應(yīng)對(duì)復(fù)雜的道路場景，輕舟在基于征程5平臺(tái)開發(fā)之初便確立了BEV感知的部署目標(biāo)。要在量產(chǎn)車端實(shí)現(xiàn)出色的 BEV感知能力，需要積累海量的已標(biāo)注數(shù)據(jù)以支持模型的訓(xùn)練。如何找到更多高質(zhì)量的數(shù)據(jù)并高效利用，是支持技術(shù)不斷迭代的重要基石。

輕舟智航充分利用作為高級(jí)別自動(dòng)駕駛解決方案提供商在AI領(lǐng)域的先發(fā)優(yōu)勢，通過突出的基礎(chǔ)設(shè)施建設(shè)，深厚的AI工程化經(jīng)驗(yàn)積累，實(shí)現(xiàn)了整套方案的高效率、高質(zhì)量遷移，從而將輕舟的BEV感知等技術(shù)研發(fā)優(yōu)勢轉(zhuǎn)化為量產(chǎn)產(chǎn)品優(yōu)勢。

在基礎(chǔ)設(shè)施建設(shè)領(lǐng)域，輕舟智航在高級(jí)別自動(dòng)駕駛研發(fā)過程中積累了領(lǐng)先的數(shù)據(jù)閉環(huán)能力，并創(chuàng)新構(gòu)建了離線點(diǎn)云大模型，為跨模態(tài)的數(shù)據(jù)標(biāo)注、數(shù)據(jù)挖掘和模型訓(xùn)練提供強(qiáng)大支持，大幅提高數(shù)據(jù)價(jià)值和利用效率，提升長尾場景處理能力。

在數(shù)據(jù)標(biāo)注方面，輕舟智航可實(shí)現(xiàn)2D圖像和3D圖像的自動(dòng)化標(biāo)注。基于離線點(diǎn)云大模型3D自動(dòng)化標(biāo)注可高效提供動(dòng)靜態(tài)的障礙物真值，還可融合跨傳感器與跨時(shí)序信息，自動(dòng)補(bǔ)全被遮擋的目標(biāo)，提高標(biāo)注的精度。

圖:城市場景下3D圖像自動(dòng)化標(biāo)注結(jié)果；(右)高速場景下3D圖像自動(dòng)化標(biāo)注結(jié)果

輕舟智航還利用NeRF技術(shù)打造了基于純視覺數(shù)據(jù)的高精度三維空間重建模型，不僅克服了因相機(jī)位固定導(dǎo)致視角有限給重建帶來的挑戰(zhàn)，完美適配自動(dòng)駕駛車輛，在泊車的空間還達(dá)到了行業(yè)領(lǐng)先的2cm重建精度，遠(yuǎn)超點(diǎn)云掃描的三維精度水平。同時(shí)配合輕舟長期積累的圖像全景分割模型，還可在重建的同時(shí)獲得3D空間中的深度和語義信息，以超越傳統(tǒng)方法1~2個(gè)數(shù)量級(jí)的模型收斂效率，實(shí)現(xiàn)大批量的數(shù)據(jù)轉(zhuǎn)換和場景生成。精度高、適配好、速度快、少人工，三維空間重建模型能極大提高視覺數(shù)據(jù)標(biāo)注的效率和質(zhì)量。

圖:基于NeRF和純視覺數(shù)據(jù)進(jìn)行三維重建的地庫場景

為了加強(qiáng)對(duì)車端道路幾何認(rèn)知能力的訓(xùn)練，輕舟智航研發(fā)了高精地圖預(yù)標(biāo)注模型MapBEV，可通過半監(jiān)督方式進(jìn)行自動(dòng)化數(shù)據(jù)標(biāo)注，最高可減少60%的人工標(biāo)注工作，從而更高效地訓(xùn)練車端BEV道路幾何模型，增強(qiáng)對(duì)車道線、車道類型、地面標(biāo)識(shí)等信息的認(rèn)知和理解，更好地支持實(shí)際量產(chǎn)中對(duì)于去高精度地圖的需求。

除了高效標(biāo)注采集的數(shù)據(jù)，還需要通過數(shù)據(jù)挖掘，在盡可能多樣的場景數(shù)據(jù)中，挖掘出對(duì)算法提升真正能夠起到實(shí)質(zhì)性幫助的高價(jià)值場景。

基于離線點(diǎn)云大模型，輕舟智航可進(jìn)行高質(zhì)量的3D數(shù)據(jù)挖掘，不斷提升目標(biāo)識(shí)別能力。不僅如此，輕舟還創(chuàng)新構(gòu)建了基于文字到圖像的多模態(tài)模型，只需通過自然語言文字描述，便可在無監(jiān)督的情況下自動(dòng)檢索相應(yīng)場景圖像，挖掘出很多在平常數(shù)據(jù)使用中很難發(fā)現(xiàn)的、生活中也很難遇到的長尾場景，提高挖掘長尾場景的效率。例如，輸入“夜間雨天行駛的大卡車”、“躺在路邊的人”等文字描述，系統(tǒng)就能自動(dòng)反饋相應(yīng)的場景，便于專項(xiàng)分析和訓(xùn)練。

圖:基于離線3D點(diǎn)云大模型的數(shù)據(jù)挖掘

圖:基于文字到圖像的多模態(tài)模型，實(shí)現(xiàn)了基于文本的場景挖掘能力

在模型訓(xùn)練環(huán)節(jié)，輕舟智航可以利用離線點(diǎn)云大模型訓(xùn)練車端BEV檢測模型。通過對(duì)比離線點(diǎn)云大模型和車端BEV檢測模型的輸出結(jié)果，可快速發(fā)現(xiàn)模型性能問題，諸如車輛分類錯(cuò)誤、行人漏檢等，由此可以進(jìn)行針對(duì)性的解決。

同時(shí)，輕舟智航還提出了一種高效的跨模態(tài)知識(shí)蒸餾方法，可利用離線模型提升車端線上基于BEV的3D物體檢測模型精度。通過特征對(duì)齊的方式，使線上模型的特征分布盡可能與離線模型接近，從而使線上模型能夠?qū)W習(xí)離線模型的能力。這種離線到線上的知識(shí)蒸餾方法與直接做自動(dòng)標(biāo)注形成互補(bǔ)，能夠進(jìn)一步提升模型精度。

圖:利用離線模型的知識(shí)蒸餾，使車端感知BEV模型檢測精度得到提升

成果:將量產(chǎn)方案轉(zhuǎn)化為用戶價(jià)值

性能再強(qiáng)大的模型，也需要經(jīng)過量化遷移，才能在量產(chǎn)車上發(fā)揮效力。其中的關(guān)鍵就在于AI工程化，通過軟硬協(xié)同，盡可能在量產(chǎn)計(jì)算平臺(tái)上最大化發(fā)揮模型的性能。

在AI工程化方面，輕舟智航的優(yōu)勢來自于模型結(jié)構(gòu)的靈活性、豐富的模型部署和適配經(jīng)驗(yàn)，以及地平線緊密的芯片開發(fā)支持，從而快速完成了原有方案在征程5芯片上的高質(zhì)量、高效率遷移和部署。

其中，輕舟基于超融合提出的國內(nèi)首個(gè)可在量產(chǎn)計(jì)算平臺(tái)上實(shí)現(xiàn)時(shí)序多模態(tài)特征融合的感知大模型OmniNet具備突出的性能和靈活性，不僅能夠輸出豐富且準(zhǔn)確的環(huán)境感知結(jié)果，還可以靈活適配不同傳感器配置，且無需針對(duì)不同硬件進(jìn)行單獨(dú)模型訓(xùn)練，帶來更低遷移成本。

同時(shí)，地平線提供了大量的最佳實(shí)踐參考算法，使得輕舟智航團(tuán)隊(duì)能夠?qū)ΠY下藥，一步到位完成算法選型和瘦身，并充分地利用征程5的BPU架構(gòu)優(yōu)勢，最終更快地實(shí)現(xiàn)了輕舟智航行泊一體BEV感知方案在征程5芯片平臺(tái)上的落地。

輕舟智航的行泊一體方案可在一個(gè)BEV模型中實(shí)現(xiàn)多任務(wù)檢測，同時(shí)支持行車和泊車功能。由于不同任務(wù)間共享大部分模型參數(shù)，能夠以最小的算力消耗，完成所有行泊車感知任務(wù)。

圖:感知BEV模型支持行+泊多任務(wù)的輸出

對(duì)車企而言，行泊一體意味著更高的硬件資源利用率，以及更高的場景泛化能力，可帶來極大的成本和體驗(yàn)優(yōu)勢。由于行車和泊車之間可以無縫切換，架構(gòu)更簡潔，不會(huì)出現(xiàn)行泊分離時(shí)場景重疊造成傳感器和算力的浪費(fèi)。同時(shí)，由于不再按照?qǐng)鼍皡^(qū)分，感知模型可利用泊車傳感器加強(qiáng)車輛近距離行車時(shí)的感知效果，還可以利用行車傳感器加強(qiáng)對(duì)泊車環(huán)境的理解，這意味著場景泛化性更強(qiáng)，可以更好地應(yīng)對(duì)諸如狹窄道路等行車泊車難以區(qū)分的場景，帶來更好的體驗(yàn)。

綜合來說，正是完善的基礎(chǔ)設(shè)施建設(shè)、豐厚的AI工程化經(jīng)驗(yàn)，使得輕舟智航以更高的研發(fā)效率，更少的資源投入達(dá)成了量產(chǎn)目標(biāo)，率先在征程5平臺(tái)上實(shí)現(xiàn)了更好的行泊一體BEV感知效果，不僅以更高的性價(jià)比助力客戶降本增效、提高產(chǎn)品競爭力，同時(shí)也能為消費(fèi)者提供安全舒適、更好用、更愛用的智能駕駛體驗(yàn)。

根據(jù)工信部數(shù)據(jù)，預(yù)計(jì)2025年乘用車L2級(jí)及以上智能駕駛滲透率將會(huì)達(dá)到70%。在此趨勢下，越來越多的用戶都會(huì)將高階輔助駕駛功能列為選車購車的重要考量因素。得益于出眾的性價(jià)比，地平線征程系列正在成為越來越多車企智駕方案的首選芯片平臺(tái)，而基于征程5的輕舟乘風(fēng)更將是征程5平臺(tái)中更可靠、體驗(yàn)更佳、性價(jià)比更合理的NOA方案。

圖:輕舟乘風(fēng)高階輔助駕駛解決方案

自動(dòng)駕駛技術(shù)已被認(rèn)為是未來10年最重要的革命性技術(shù)之一，但任何顛覆性的技術(shù)只有真正落地，才能為社會(huì)創(chuàng)造價(jià)值。輕舟智航秉承“將自動(dòng)駕駛帶進(jìn)現(xiàn)實(shí)”的長期愿景，仰望星空同時(shí)腳踏實(shí)地，持續(xù)精進(jìn)技術(shù)、打磨方案，結(jié)合敏銳的客戶和用戶需求洞察，在推進(jìn)技術(shù)普及的馬拉松上持續(xù)突破，向最終目標(biāo)不斷邁進(jìn)。