業(yè)界亟需的一個重要角色便是可以將整個3D ToF產(chǎn)業(yè)鏈條打通的全棧解決方案商,。
汽車的智能化進(jìn)程,往往牽一發(fā)而動全身,。
第四代高通數(shù)字座艙平臺(8295,,全球第一款5nm汽車級座艙SoC芯片)的投產(chǎn)上車即將為智能座艙帶來更多的性能冗余,。芯片性能大幅進(jìn)階,自然會抬高用戶對于座艙體驗(yàn)的期待,。
關(guān)于“五感”的功能升級則是主機(jī)廠迭代座艙功能的不二之選,,并且這一升級更聚焦到人車交互之上,而非只停留在智能調(diào)節(jié)燈光,、調(diào)整座椅舒適度等淺層應(yīng)用,。更智能的人車交互,需要汽車具備更高維度的機(jī)器視覺能力,。
全球范圍內(nèi)已有一些企業(yè)開始推出3D 視覺相關(guān)車規(guī)級方案,,比如Melexis于2015年便開始進(jìn)行車規(guī)級ToF芯片的上車量產(chǎn),用于駕駛員手勢控制操作,。近日剛發(fā)布的理想L9采用ToF立體3D攝像頭,,打破了傳統(tǒng)智能座艙互動的空間限制。
在這場智能座艙向3D化升級的浪潮中,,3D ToF技術(shù)如何量產(chǎn)上車,,成為了備受主機(jī)廠關(guān)注的焦點(diǎn)。
我們一起來聊聊3D ToF的那些事,。
ToF的歷史
理想L9的手勢交互,,讓3D ToF小火了一把不假,,就像蘋果2020年在iPhone12系列上首度使用LiDAR(dToF)一樣,。如若追溯車內(nèi)應(yīng)用ToF的歷史,大概要從2015年講起,。
如今從寶馬7系,、奔馳S級、福特EVOS,、大眾ID.6X,,到國內(nèi)的奇瑞5X、小鵬G3和長安UNI-K等,,都在車內(nèi)用上了隔空手勢交互,。大部分操作僅限中控區(qū),可以接/拒電話,、調(diào)節(jié)音量,、開始/結(jié)束導(dǎo)航,一些車型還能通過手勢控制天窗,、遮陽簾,、座艙照明等。
看似用處頗豐,,實(shí)則不少槽點(diǎn),。尤其在準(zhǔn)確性和一致性(和規(guī)范的預(yù)設(shè)手勢對比)上,,車內(nèi)手勢交互遠(yuǎn)遠(yuǎn)沒有達(dá)到理想狀態(tài),在語音助手面前也只能算是小弟,。
相比于被動式的雙目視覺識別,,目前用于手勢識別的技術(shù)路線有ToF、結(jié)構(gòu)光和毫米波雷達(dá)三大類,,光學(xué)和雷達(dá)方案之間似乎永遠(yuǎn)橫亙著一道世紀(jì)選擇題,。
結(jié)構(gòu)光由于分辨率和精度較高,被廣泛用于手機(jī)前置攝像頭的人臉識別,;毫米波雷達(dá)作為激光雷達(dá)的補(bǔ)充,,對于實(shí)現(xiàn)自動駕駛來說必不可少,其同時也在加速手勢感應(yīng)的應(yīng)用,。
而ToF(Time of Flight)作為智能機(jī)器人的避障部件,,已成為車上流行的手勢交互選項(xiàng)。相比結(jié)構(gòu)光,,ToF由于已知光的速度和飛行時間,,在形成3D圖像時所需的軟件算法更簡單,響應(yīng)速度也更快,;和毫米波雷達(dá)比較,,ToF識別的準(zhǔn)確性更高。
即便如此,,ToF面前,,一面是性能爭議,一面是量產(chǎn)上車難,。
國內(nèi)某CMOS圖像傳感器芯片(ToF采用CIS作為受光單元)供應(yīng)商就對筆者表示,,ToF的解決方案并沒有完全成熟。尤其識別能力更出色的dToF,,在車上仍存在延遲高,、分辨率低等問題。
如果僅作為手勢識別,,ToF對分辨率的要求可能沒有很高,,但通常ToF需要獲取多張圖像,來還原深度信息,,時延約40~50毫秒,,這導(dǎo)致其更多應(yīng)用于不涉及車輛安全的功能,。
應(yīng)用場景的局限,讓ToF顯得過于雞肋,。更重要的是,,ToF硬件成本相對較高,底層的成像芯片對技術(shù)要求更高,,主要由安森美,、豪威和索尼等外商提供。因而ToF價格仍處在“由量制約”的階段,。
關(guān)鍵在于,,車內(nèi)手勢交互還差一個“剛需”應(yīng)用,讓ToF大展拳腳,,進(jìn)而快速滲透,。這在手機(jī)端同樣是一個問題,蘋果,、華為早早面向用戶提供了手勢交互,,但結(jié)果相當(dāng)不盡如人意。
站在消費(fèi)者的角度,,行業(yè)建立一個統(tǒng)一標(biāo)準(zhǔn)顯得迫在眉睫,,畢竟手勢千千萬,不能都學(xué)會,;品牌那么多,,相同手勢對應(yīng)的功能若亂套,換個座駕很容易造成不便,。
正如所有新技術(shù)一樣,,若擠掉泡沫還有剩余價值,,就可繼續(xù)成長,。在那之前,ToF必須在車上找準(zhǔn)自己的定位,,不是可有可無的存在,,而要不可取代。
為什么是3D ToF,?
3D ToF是一種無掃描光探測和測距技術(shù)(調(diào)制光源主動照射物體),,基于持續(xù)的光脈沖,從特定指向場景捕捉深度信息(通常在1~2米內(nèi)的短距離),。
該技術(shù)路線以獨(dú)特方式結(jié)合高分辨率深度和幅度(灰度)映射,,可滿足許多內(nèi)部傳感應(yīng)用的需求。根據(jù)3D深度差異進(jìn)行分類,,無需前景和背景之間存在顏色或灰度對比,,即可在許多復(fù)雜的應(yīng)用中識別人和物體,。ToF攝像頭可同時提供兩個輸出。第一個是深度圖像視頻流,,輸出深度圖或點(diǎn)云,,再通過應(yīng)用算法進(jìn)行處理。第二個是代表反射信號強(qiáng)度的幅度圖像,,又稱置信度圖像,,近紅外2D視頻流,并且不受日光影響,。
此前,,大部分用于檢測駕駛員疲勞的駕駛員監(jiān)測系統(tǒng) (DMS)均采用成本較低的傳統(tǒng)2D紅外攝像頭(配合IR紅外LED),導(dǎo)致大量信息的缺失,。
相比之下,,3D攝像頭立體成像能夠識別視野內(nèi)空間每個點(diǎn)位的三維座標(biāo)信息,從而使得計(jì)算機(jī)得到空間的3D數(shù)據(jù)并能夠復(fù)原完整的三維圖像,。
圖注:3D ToF手勢交互效果演示,。
按照分類,3D立體成像主要分為結(jié)構(gòu)光,、ToF和雙目視覺三種技術(shù)路線,。
據(jù)奧銳達(dá)副總經(jīng)理陳摯博士介紹,被動式雙目視覺受環(huán)境光影響較大,,適用于中,、遠(yuǎn)距的戶外場景。結(jié)構(gòu)光和ToF都是主動光源成像,,適合室內(nèi)外中短距離高精度測量,。采用主動光源的3D成像方法抗環(huán)境光干擾能力更強(qiáng),輸出深度精度高,,探測數(shù)據(jù)準(zhǔn)確,。但是在汽車上使用,ToF相機(jī)的結(jié)構(gòu)更簡單,,相較于其他3D技術(shù),,ToF在車上可靠性更高,車規(guī)器件更加成熟,。
可以說,,3D ToF是目前最適用于座艙視覺感知交互的技術(shù),。
實(shí)際上,基于ToF的3D攝像頭感知系統(tǒng)早在2015年前后便已應(yīng)用于寶馬,、奔馳等品牌車的豪華版配置中,,主要用于艙內(nèi)手勢交互功能。但彼時的系統(tǒng)QVGA分辨率較低(320x240像素),,且視場角較窄,,無法提供足夠好的體驗(yàn)。
而隨著近幾年國內(nèi)外廠商對于技術(shù)的不斷打磨,,3D ToF相關(guān)產(chǎn)業(yè)鏈開始逐漸完善,,并且即將迎來爆發(fā)期,這來自天時,、地利,、人和的共同加持。
被產(chǎn)業(yè)鏈呼喚的“C位”
3D ToF上車,,必然離不開產(chǎn)業(yè)鏈中關(guān)鍵角色的出現(xiàn),。
“雖然幾乎所有的主機(jī)廠都已將目光聚焦于3D ToF技術(shù),但在與客戶的交流中,,我們最大的感受就是該技術(shù)對于車廠而言依然很陌生,,大家并不清楚它究竟是怎樣的技術(shù)、可以做什么,?以及如果想要將其安裝到座艙內(nèi)的話,,車廠需要打通哪些技術(shù)棧?需要供應(yīng)商之間如何配合,?所以目前國內(nèi)的車載ToF技術(shù)距離成熟的商業(yè)應(yīng)用依然有很大的發(fā)展空間,。”陳摯博士介紹,。
3D ToF的產(chǎn)業(yè)鏈長且復(fù)雜,,其中包含ToF芯片、攝像頭模組,、軟件算法,、智能座艙域控制器等環(huán)節(jié)。同時,,由于新生事物的天然屬性,各個廠家對于 ToF的功能定義也都迥然不同,。
“一切都未形成標(biāo)準(zhǔn)化,,因此當(dāng)前主機(jī)廠要實(shí)現(xiàn)ToF落地就必須調(diào)研每個環(huán)節(jié),這對車廠自身的研發(fā)能力,、知識體系都提出了很高的要求,?!标悡床┦勘硎尽?/p>
可以看出,,業(yè)界亟需的一個重要角色便是可以將整個3D ToF產(chǎn)業(yè)鏈條打通的全棧解決方案商,。
另一方面,行業(yè)客戶的能力千差萬別也決定了解決方案商必備的靈活特性,。
例如,,多數(shù)行業(yè)客戶都集中在產(chǎn)品應(yīng)用和場景定義,需要產(chǎn)業(yè)上游提供完整的產(chǎn)品方案,。
一部分客戶擁有一定的 3D 視覺系統(tǒng)定義能力和開發(fā)能力,,需要提供與之匹配的關(guān)鍵系統(tǒng)模塊,如相機(jī)機(jī)頭模塊,,深度引擎算法算力平臺,。
還有極少數(shù)玩家擁有較強(qiáng)的座艙底層系統(tǒng)設(shè)計(jì)開發(fā)能力,這就需要方案商為其提供高度定制化的產(chǎn)品方案,,滿足其產(chǎn)品定義,,并實(shí)現(xiàn)專業(yè)價值。
據(jù)陳摯博士介紹,,奧銳達(dá)所提供的的iToF解決方案具備系統(tǒng)設(shè)計(jì),、sensor選型和應(yīng)用、深度引擎算法移植,、量產(chǎn)標(biāo)定等要素,,可以滿足客戶的各種定制需求。
其中,,車規(guī)級系統(tǒng)方案設(shè)計(jì)能力包括關(guān)鍵器件的設(shè)計(jì)和選型參考,、光學(xué)系統(tǒng)和模組效果的仿真和評估、iToF深度引擎的調(diào)優(yōu),、與高通主機(jī)平臺的聯(lián)調(diào)和適配等,,奧銳達(dá)可以協(xié)助車廠設(shè)計(jì)出具有差異化的ToF產(chǎn)品方案,賦能主機(jī)廠實(shí)現(xiàn)ToF項(xiàng)目的量產(chǎn)落地,。
圖注:可助力車企進(jìn)行車規(guī)級3D ToF系統(tǒng)方案設(shè)計(jì)
據(jù)了解,,奧銳達(dá)為智能汽車量身定制的3D ToF智能座艙方案將于今年9月發(fā)布,ToF技術(shù)上車進(jìn)程有望加速。
該自研方案采用車載ToF領(lǐng)域量產(chǎn)經(jīng)驗(yàn)最為豐富的傳感器芯片廠商Melexis的產(chǎn)品,,并且在高通8155平臺上實(shí)現(xiàn)VGA大分辨率30fps的高幀頻高精度的3D效果,。奧銳達(dá)與行業(yè)一流的車規(guī)模組廠合作設(shè)計(jì)的模組“身型”小巧,可以靈活匹配到各種車內(nèi)安裝位置上,,實(shí)現(xiàn)包括3D DMS,、金融安全級人臉識別、Face ID和3D空間手勢交互等功能,。
尾聲
現(xiàn)階段,,智能感知技術(shù)正在往商用落地方向不斷邁進(jìn),自然的人機(jī)互動,、個性化的智能駕駛服務(wù)等已經(jīng)成為各主機(jī)廠,、新造車勢力打造核心差異化的重要手段。在這其中,,如何讓智能汽車的“眼睛”看得更清,,優(yōu)質(zhì)的軟件算法、強(qiáng)大的算力,,同樣都是不可或缺的,。
如此一來,車載軟件算法成了市場熱門,,在智能汽車行業(yè),,3D視覺感知技術(shù)的應(yīng)用雖剛起步,但邊界遠(yuǎn)不可限量,。
來源:高工智能汽車,,AutoLab,掌上談車