您的位置:首頁(yè) >智能 >

世界快訊:那些被自動(dòng)駕駛所關(guān)注的ODD邊界怎么測(cè)?

2023-01-08 16:24:13    來(lái)源:騰訊網(wǎng)

由于現(xiàn)在的自動(dòng)駕駛技術(shù)還處于發(fā)展階段,無(wú)法保證自動(dòng)駕駛車在任何天氣條件下和任何道路環(huán)境中都可以安全行駛的。因此,要根據(jù)該系統(tǒng)的能力來(lái)提前設(shè)定好ODD,通過(guò)限制行駛環(huán)境和行駛方法,將有可能發(fā)生的事故防范于未然。然而,對(duì)于這類運(yùn)行環(huán)境邊界條件而言,通常會(huì)需要考慮如何進(jìn)行有效的檢測(cè)呢?也就是說(shuō),提出的ODD對(duì)于自動(dòng)駕駛開發(fā)而言必須是可測(cè)的。


(資料圖片僅供參考)

考慮一些ODD所涉及的天氣如風(fēng)、雨、雪、雨夾雪、高低溫度會(huì)極大的影響整個(gè)系統(tǒng)的控制能力。比如車子正常行駛在高速公路上,小雨或小雪能使平均速度降低3%至13%;暴雨會(huì)使平均速度降低3%到16%;在大雪中,高速公路的平均速度會(huì)下降5%到40%;小雨時(shí)自由流速可降低2% ~ 13%;大雨時(shí)可降低6% ~ 17%;降雪將使自由流速度降低5%至64%;可以說(shuō)在降雨期間,整個(gè)車輛駕駛速度變化差不多會(huì)減少25%。

目前知道的,L2級(jí)自動(dòng)駕駛在雨雪條件下的性能幾乎不能滿足預(yù)期,比如車道保持功能在公路雪地打滑時(shí)汽車會(huì)轉(zhuǎn)向過(guò)度。特斯拉的Autopilot可以在正常的雨雪中導(dǎo)航,路標(biāo)清晰可見,但在某些棘手的情況下,如暴雨或車道線出現(xiàn)遮蓋時(shí)候仍然難以駕駛。顯然,惡劣的天氣條件限制了人類駕駛方向盤,AVs仍然不能完全相信它能獨(dú)自工作。

因此,為了讓ADS繼續(xù)向前推進(jìn)到下一個(gè)時(shí)代,自動(dòng)駕駛汽車需要更多的時(shí)間來(lái)適應(yīng)各種天氣。

如圖所示是惡劣天氣下自動(dòng)駕駛系統(tǒng)的信息流圖:

如上圖所示,作為車輛傳感器的信息源,環(huán)境狀態(tài)直接受到天氣條件的影響。這些變化增加了整個(gè)ADS系統(tǒng)用受損數(shù)據(jù)完成目標(biāo)檢測(cè)、跟蹤和定位任務(wù)的難度,因此規(guī)劃和控制也將不同于正常情況。天氣也可能影響自車本身,并產(chǎn)生附加影響,如風(fēng)和路面狀況。自車識(shí)別結(jié)果反饋整車后形成的車輛控制狀態(tài)(如雨刮是否啟動(dòng),除霧裝置是否打開等信息)都是可以作為環(huán)境信息判斷的先驗(yàn)信息的,這也會(huì)間接影響對(duì)環(huán)境狀態(tài)的判斷,由此可以形成一個(gè)檢測(cè)循環(huán)。

其實(shí),無(wú)論從自動(dòng)駕駛角度還是從手動(dòng)駕駛角度上講,對(duì)于環(huán)境的有效檢測(cè)都將顯得尤為必要。比如如下的環(huán)境條件而言,我們是否可以通過(guò)一定的手段進(jìn)行更加精確的檢測(cè)呢?

風(fēng)力大?。簭臋M向車控角度分析,考慮風(fēng)阻對(duì)整個(gè)車身控制的影響。

光照條件:考慮炫目和夜晚可視效果的影響

雨量大?。夯谝曈X的雨量傳感測(cè)試

路面坑洼:基于多目時(shí)覺得路面條件檢測(cè)。

橫縱坡道檢測(cè):基于底盤ESP和TCU的坡道數(shù)據(jù)

涉水路面檢測(cè):基于超聲波數(shù)據(jù)

那么這類雨雪天氣將如何測(cè)量則是我們需要研究的一個(gè)課題。常規(guī)的方法是通過(guò)類似雨量傳感器這樣的裝置進(jìn)行測(cè)量,但是這類裝置在很多車型上也不是標(biāo)配。如果考慮智駕系統(tǒng)而言,則可能出現(xiàn)無(wú)法滿足測(cè)量需求的情況。

本系列文章將針對(duì)性講解整個(gè)智駕系統(tǒng)如何利用自身傳感器對(duì)環(huán)境信息進(jìn)行初級(jí)有效探測(cè)。無(wú)論從智駕本身角度出發(fā)的識(shí)別和控制,還是從傳統(tǒng)駕駛過(guò)程對(duì)這種探測(cè)能力都顯得尤為必要。

基于視覺的降雨量預(yù)測(cè)

對(duì)于自動(dòng)駕駛系統(tǒng)而言,通常會(huì)通過(guò)判定降雨/降雪量來(lái)判定對(duì)整個(gè)系統(tǒng)是否可激活的前置條件。通常情況下,目前的檢測(cè)手段要么是通過(guò)雨刮刮速大小,要么是通過(guò)雨量傳感器一類來(lái)進(jìn)行綜合判斷是否觸及ODD邊界。那么,從自車平臺(tái)化和可應(yīng)用場(chǎng)景的角度出發(fā),是否能夠利用自車傳感器開發(fā)一種可自適應(yīng)測(cè)量環(huán)境條件的軟件模塊呢?答案是肯定的。

本文提出一種基于視覺場(chǎng)景的降雨量預(yù)測(cè)算法。其主要是通過(guò)自車原有的攝像頭采集雨量光線,從而計(jì)算雨量大小,轉(zhuǎn)化成雨刮器可識(shí)別的指令信號(hào)發(fā)送給車身控制器,車身控制器通過(guò)雨刮信號(hào)指令自動(dòng)控制雨刮進(jìn)行低速、高速、間歇性動(dòng)作。同時(shí),系統(tǒng)可以控制儀表顯示雨刮控制系統(tǒng)的相關(guān)零部件故障、以提醒用戶及時(shí)維修和更換等。

用軟件算法代替增加新的硬件(定制的雨刮傳感器或其他硬件設(shè)備)實(shí)現(xiàn)對(duì)雨刮的控制功能,不但可以減少成本,軟件也可以通過(guò)不斷更新、迭代、升級(jí)來(lái)達(dá)到最優(yōu)的用戶體驗(yàn)。此外,如果考慮通過(guò)利用智駕域的傳感器探測(cè)的算法來(lái)實(shí)現(xiàn)整個(gè)車身的控制(比如探測(cè)到雨量過(guò)大,則通過(guò)算法計(jì)算出雨量大小,自動(dòng)控制車輛雨刮采用一定的速度刮刷玻璃,一方面可以為整個(gè)傳感器探測(cè)開辟更好的探索通道,另一方面也可以提升用戶駕駛的智能化體驗(yàn))。

相應(yīng)的實(shí)現(xiàn)原理如下:

總體來(lái)說(shuō),需要通過(guò)兩階段算法來(lái)實(shí)現(xiàn),實(shí)現(xiàn)基于視覺的場(chǎng)景降雨量的智能分類,其類別包括:晴天、小雨、中雨、大雨、暴雨五種。其方法是利用智能駕駛汽車上搭載的攝像頭拍攝的視頻數(shù)據(jù)作為輸入,記錄不同位置、不同時(shí)域的降雨數(shù)據(jù)。將視頻數(shù)據(jù)輸入“降雨量識(shí)別大小的分類算法模塊”中。該算法模塊涉及對(duì)環(huán)境的目標(biāo)提取、分割、聚類、識(shí)別等子模塊。歸類起來(lái),常用的算法包括基于超像素(Super-Pixel)鄰域?qū)R的雨水分割算法(得到逐幀雨水圖分割結(jié)果)和基于ResNet的雨量分類算法(帶有殘差學(xué)習(xí)的ResNet)的兩個(gè)階段。

基于超像素鄰域?qū)R的降雨/降雪檢測(cè)算法

由于視頻中對(duì)雨水的分割是不存在分割前景和背景區(qū)域的,如果按照逐像素進(jìn)行識(shí)別處理,對(duì)于整個(gè)算法而言將顯得比較臃腫。我們對(duì)雨水大小的識(shí)別需要從以下幾個(gè)方面入手:

選定的算法通過(guò)測(cè)量降雨量視頻中不同時(shí)域間像素值的區(qū)域強(qiáng)度變化,進(jìn)而得到每一幀圖像的雨水分割結(jié)果,通過(guò)迭代優(yōu)化訓(xùn)練,不斷提高其識(shí)別精度,進(jìn)而達(dá)到預(yù)期的識(shí)別結(jié)果。

相應(yīng)的示意圖如下:

1)通過(guò)智能汽車采集的一組降雨視頻,截取固定幀數(shù)作為視頻輸入算法模塊。

2)幀內(nèi)超像素塊識(shí)別:

常用的算法包括利用SLIC算法(simple linear iterative cluster)生成每一幀圖像的超像素(superpixel)塊。相比其他的超像素分割方法,SLIC在運(yùn)行速度、生成超像素的緊湊度、輪廓保持方面都比較理想。具體過(guò)程包括:

利用像素之間特征相似性(如相似紋理、顏色亮度等特征)將像素分組,通過(guò)簡(jiǎn)單的線性迭代聚類,將彩色圖像轉(zhuǎn)化為CIELAB顏色空間和XY坐標(biāo)下的5維特征向量,然后對(duì)5維特征向量構(gòu)造距離度量標(biāo)準(zhǔn),對(duì)圖像像素進(jìn)行局部聚類。最終能生成緊湊、近似均勻的超像素,在運(yùn)算速度、物體輪廓保持、超像素形狀方面具有較高的性能。最終,用少量的超像素代替大量的像素來(lái)表達(dá)圖片特征。

3)幀間超像素塊劃分:

選定中間幀為關(guān)鍵幀I0,并作為參考位置幀,與其前后各兩幀的超像素塊圖構(gòu)成一組劃分區(qū)域。

4)構(gòu)造損失函數(shù):

通過(guò)逐像素遍歷的方式可以構(gòu)造Loss損失函數(shù),從而衡量每個(gè)I0超像素塊與其前后兩幀對(duì)應(yīng)位置鄰域塊的差異大小。并將其差異最小的鄰域塊作為候選對(duì)齊區(qū)域,最終確定I0中每個(gè)像素塊的4個(gè)候選超像素塊區(qū)域。

5)雨水識(shí)別:

由于雨水部分可以增加像素的強(qiáng)度值,因此可以將含有I0的超像素塊與候選區(qū)域的部分進(jìn)行像素差異比較。若I0超像素塊中的像素與每個(gè)候選區(qū)域所對(duì)應(yīng)像素差異均大于所設(shè)定的雨水像素的閾值時(shí),那么就認(rèn)為該像素為雨像素。

6)幀內(nèi)迭代優(yōu)化:

迭代I0中每一個(gè)超像素塊,可以得到關(guān)鍵幀I0的雨水二分割圖。

7)幀間迭代優(yōu)化:

迭代降雨量視頻中的每一幀,得到全部幀的雨水分割結(jié)果。

基于深度學(xué)習(xí)的降雨/降雪量測(cè)量算法

如前所述,對(duì)雨/雪這類目標(biāo)分割完成后,需要重新利用一定有效的算法對(duì)降雨/降雪的大小進(jìn)行預(yù)分類識(shí)別。同時(shí),從時(shí)域的角度上將降雨和降雪在未來(lái)一定時(shí)間內(nèi)可能產(chǎn)生的情況和趨勢(shì)進(jìn)行有效預(yù)測(cè),以便在形勢(shì)策略上可以提前做出一定的判斷和控制。

如上述算法所表述的部分,我們可以通過(guò)首先聚類超像素鄰域?qū)R的方式得到雨量場(chǎng)景分割結(jié)果,將該結(jié)果作為數(shù)據(jù)輸入到深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中從而獲得準(zhǔn)確的雨量分類結(jié)果。常用的卷積神經(jīng)網(wǎng)絡(luò)模型涉及ResNet,因?yàn)槠湟肓松疃葰埐顚W(xué)習(xí)算法,可以有效的解決網(wǎng)絡(luò)退化的問(wèn)題。在包括圖像網(wǎng)絡(luò)ImageNet的多個(gè)大型分類數(shù)據(jù)集上可以很好的實(shí)現(xiàn)優(yōu)異的分類精度。

在對(duì)降雨/降雪這類場(chǎng)景的測(cè)量可以利用ResNet網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)不同的分層ResNet18、ResNet34、ResNet50、ResNet101以及ResNet152來(lái)實(shí)現(xiàn)分層訓(xùn)練。各種網(wǎng)絡(luò)的深度指的是“需要通過(guò)訓(xùn)練更新參數(shù)”的層數(shù),如卷積層,全連接層等。同時(shí),為了滿足輕量化要求,通??梢赃x擇ResNet18作為分層標(biāo)準(zhǔn)進(jìn)行訓(xùn)練。其中包含17個(gè)卷積和一個(gè)全連接層進(jìn)行權(quán)重學(xué)習(xí),隨后通過(guò)兩個(gè)池化層處理。

根據(jù)超像素臨域?qū)R的雨量分割算法可以從場(chǎng)景視頻中獲得場(chǎng)景視頻的雨/雪分割結(jié)果作為輸入數(shù)據(jù)。選擇深度學(xué)習(xí)方法,獲取準(zhǔn)確地雨量/雪量分割結(jié)果。

基于深度學(xué)習(xí)的降雨量預(yù)測(cè)算法

本文這里提到的關(guān)于實(shí)現(xiàn)雨量檢測(cè)和預(yù)測(cè)的算法包含兩個(gè)階段,考慮對(duì)于智駕系統(tǒng)控制過(guò)程的高速推理和模型輕量化特點(diǎn),采用超像素的雨/雪分割加上利用經(jīng)典的神經(jīng)網(wǎng)絡(luò)算法ResNet進(jìn)行雨量預(yù)測(cè)。在ResNet提出之前,所有的神經(jīng)網(wǎng)絡(luò)都是通過(guò)卷積層和池化層的疊加組成的。卷積層和池化層的層數(shù)越多,獲取到的圖片特征信息越全,學(xué)習(xí)效果也就越好。

CNN參數(shù)個(gè)數(shù) = 卷積核尺寸×卷積核深度 × 卷積核組數(shù) = 卷積核尺寸 × 輸入特征矩陣深度 × 輸出特征矩陣深度

常規(guī)的神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)加深,其相應(yīng)的準(zhǔn)確率隨之下降。使用ResNet神經(jīng)網(wǎng)絡(luò)人為地讓神經(jīng)網(wǎng)絡(luò)某些層跳過(guò)下一層神經(jīng)元的連接,隔層相連,弱化每層之間的強(qiáng)聯(lián)系,可以更加精準(zhǔn)的預(yù)測(cè)到環(huán)境雨量分割和預(yù)測(cè)。

將本算法打搭載到各種車載設(shè)備上,通過(guò)對(duì)深度網(wǎng)絡(luò)進(jìn)行身份映射(identity mapping,IM)和殘差映射(residual mapping,RM)優(yōu)化網(wǎng)絡(luò),隨著不斷地迭代,其殘差映射將逐漸趨于0,最終只剩下身份映射。由此,可以更加實(shí)時(shí)且精準(zhǔn)的預(yù)測(cè)環(huán)境降雨/降雪量。

考慮本算法的ResNet的整個(gè)算法邏輯如下:

1)視頻采集:

通過(guò)智駕車輛前視、側(cè)視攝像頭采集場(chǎng)景視頻作為原始視頻輸入。該視頻幀需要在攝像頭前端進(jìn)行包含ISP相關(guān)的圖像處理;

2)視頻幀抽取:

考慮到算法處理能力對(duì)整個(gè)處理器可能產(chǎn)生較大的負(fù)擔(dān),因此,同需要對(duì)視頻幀按照每隔一定時(shí)間抽取固定幀數(shù)的視頻,采用“超像素鄰域?qū)R雨量分割算法”進(jìn)行雨量分割,并得到相應(yīng)的雨水分割結(jié)果;

3)感興趣區(qū)域選擇:

對(duì)于環(huán)境降雨量這類過(guò)程處理,因?yàn)楦信d趣的部分是雨水,且分布沒(méi)有特定的規(guī)律。因此,可以固定的選取每一幀的中間區(qū)域作為該視頻幀中感興趣區(qū)域(ROI,Region of Interest);

4)視頻張量輸入ResNet模型

對(duì)于ResNet網(wǎng)絡(luò)就是要構(gòu)造觀測(cè)值與估計(jì)值之間的差,也可以用殘差映射函數(shù),也就是F(x),其中F(x) = H(x)-x。這里H(x)就是觀測(cè)值,x就是估計(jì)值(也就是上一層ResNet輸出的特征映射)。

residual結(jié)構(gòu)使用了一種shortcut的連接方式,也可理解為捷徑。讓特征矩陣隔層相加,注意F(X)和X形狀要相同,所謂相加是特征矩陣相同位置上的數(shù)字進(jìn)行相加。

將其按照通道進(jìn)行拼接,合并為固定通道的張量,并輸入到ResNet模型,預(yù)測(cè)不同降雨量的概率值;

5)根據(jù)概率值在分類區(qū)間的位置,確定最終的降雨量預(yù)測(cè)結(jié)果

實(shí)驗(yàn)證明,ResNet殘差網(wǎng)絡(luò)更容易優(yōu)化,并且加深的網(wǎng)絡(luò)層數(shù)有助于提高正確率。所以在加深網(wǎng)絡(luò)深度的同時(shí),需要使用殘差學(xué)習(xí)的結(jié)構(gòu)來(lái)減輕深層網(wǎng)絡(luò)訓(xùn)練的難度。過(guò)程中,需要重新構(gòu)建優(yōu)化的網(wǎng)絡(luò)以便學(xué)習(xí)到包含已經(jīng)推理過(guò)的殘差函數(shù),而不是學(xué)習(xí)未經(jīng)過(guò)推理過(guò)的函數(shù)。

總結(jié)

本文從一些環(huán)境設(shè)置條件出發(fā)考慮如何通過(guò)最大化的利用自車配置的軟硬件單元模塊進(jìn)行有效的ODD設(shè)置和檢測(cè),詳細(xì)講述如何利用攝像頭傳感器對(duì)環(huán)境降雨/降雪量進(jìn)行有效檢測(cè)的算法邏輯。

同時(shí),本文就自動(dòng)駕駛系統(tǒng)設(shè)置的ODD邊界中的其中一個(gè)要素檢測(cè)考慮通過(guò)智駕系統(tǒng)自身搭載的傳感器進(jìn)行實(shí)時(shí)檢測(cè)從而獲取一定的控制輸入源。對(duì)于諸如雨量、雪量的檢測(cè)結(jié)果不僅可以完全用于自動(dòng)駕駛系統(tǒng)自身的邊界條件控制,也可以作為在車輛未開啟自動(dòng)駕駛時(shí)自動(dòng)檢測(cè)雨量、雪量等環(huán)境條件,自適應(yīng)的控制車輛進(jìn)行雨刮開啟、增加刮速,如果有類似自動(dòng)除霜等功能,也可以控制自動(dòng)開啟自動(dòng)除霜、除霧等功能。

關(guān)鍵詞: 那些被自動(dòng)駕駛所關(guān)注的ODD邊界怎么測(cè) 自動(dòng)駕駛 智能汽車

相關(guān)閱讀