自動(dòng)駕駛也有人群歧視？華人科學(xué)家最新研究：深色皮膚和兒童行人更危險(xiǎn)

性別、年齡、膚色都是變量

作者｜曹婷婷

一個(gè)尷尬的發(fā)現(xiàn)：

自動(dòng)駕駛系統(tǒng)也有人群歧視。

英國(guó)倫敦國(guó)王學(xué)院的研究人員進(jìn)行一項(xiàng)研究，通過(guò)對(duì)超過(guò)8000張圖片檢測(cè)后，發(fā)現(xiàn)了一個(gè)漏洞：

自動(dòng)駕駛汽車(chē)使用的由AI驅(qū)動(dòng)的行人檢測(cè)系統(tǒng)，對(duì)兒童的檢測(cè)準(zhǔn)確率比成人低了19.67%，深色皮膚的檢測(cè)準(zhǔn)確率比淺色皮膚低了7.53%。

而性別在檢測(cè)準(zhǔn)確率上相差不大，僅有1.1%的差距。

這意味著對(duì)于無(wú)人駕駛汽車(chē)來(lái)說(shuō)，兒童和黑皮膚的行人將會(huì)比成年人和淺皮膚的行人更難檢測(cè)。

為什么會(huì)這樣？

01

對(duì)兒童、深膚色人群不友好

先來(lái)看這個(gè)實(shí)驗(yàn)過(guò)程。

這個(gè)研究小組采用的是數(shù)據(jù)分析的方法，他們首先找到8種自動(dòng)駕駛企業(yè)最常用到、也是市面上常見(jiàn)的行人專(zhuān)用探測(cè)系統(tǒng)。

再用這些行人探測(cè)系統(tǒng)收集真實(shí)場(chǎng)景測(cè)試的數(shù)據(jù)，包括不同亮度、對(duì)比度、天氣情況等實(shí)際場(chǎng)景，這些數(shù)據(jù)集，主要是由所拍攝的真實(shí)街道圖像組成。

來(lái)源：Waymo

他們?cè)谒膫€(gè)真實(shí)場(chǎng)景中，共得到8311張圖像，圖像中展示了不同姿勢(shì)、大小和遮擋場(chǎng)景下的行人。研究人員對(duì)圖像中的行人還特意加了標(biāo)簽，共有16070個(gè)性別標(biāo)簽、20115個(gè)年齡標(biāo)簽和3513張膚色標(biāo)簽。

研究重點(diǎn)是，自動(dòng)駕駛的行人檢測(cè)系統(tǒng)在面對(duì)不同行人時(shí)，所作出的反應(yīng)是否相同，特別是在性別、年齡和膚色這三個(gè)因素上，會(huì)不會(huì)出現(xiàn)不公平的問(wèn)題。

所使用到的探測(cè)系統(tǒng)包括ALFNet、CSP、MGAN 和 PRNet 等，其中ALFNet 采用的是多步預(yù)測(cè)進(jìn)行漸近定位，解決了行人檢測(cè)中單步檢測(cè)的局限性。

CSP通過(guò)定位中心和縮放行人引入一種無(wú)錨方法；MGAN 則是利用可見(jiàn)區(qū)域邊界框信息引導(dǎo)注意力生成，主要用于遮擋情況下對(duì)行人的檢測(cè)。

來(lái)源：論文

圖像收集完后，針對(duì)自動(dòng)駕駛系統(tǒng)是否對(duì)群體存在不公平的問(wèn)題，研究小組使用了一個(gè)差異性公式。MR一般是表示行人檢測(cè)研究中最常用的性能指標(biāo)，MR=1-TP/（TP+FN），這里的TP（真陽(yáng)性）是指成功刪除的地真邊界框的數(shù)量，F(xiàn)N（假陰性）是指未檢測(cè)到的地真邊界框的數(shù)量。

經(jīng)過(guò)計(jì)算，行人探測(cè)器對(duì)女性和男性行人的失檢率相似，相差1.1%，而在年齡和膚色上差異較大，分別達(dá)到了19.67%和7.52%！

這意味無(wú)人駕駛行人檢測(cè)系統(tǒng)，對(duì)兒童和膚色較深的人群更難辨別，這些人群也將面臨更大的風(fēng)險(xiǎn)。

而且尤為注意的是，在夜晚這些數(shù)字都有一定增加，兒童的EOD（兒童和成人群體之間的差異）從白天到夜晚，失檢率從22.05%上升至26.63%，膚色組（深色和淺色皮膚）差異率從白天的7.14%增加到夜間的9.68%。

另外和男性相比，女性在三個(gè)因素的失檢率都大于男性。

此外，研究小組對(duì)不同亮度和不同對(duì)比度情況下對(duì)數(shù)據(jù)進(jìn)行研究，這些變量也會(huì)對(duì)失檢率有較大影響。

來(lái)源：論文

在選用的8種行人檢測(cè)系統(tǒng)中，隨著亮度的降低，其中一級(jí)檢測(cè)系統(tǒng)表現(xiàn)最差，尤其是在膚色上，深色皮膚和淺色皮膚的差異值達(dá)到最高。

“公平的AI應(yīng)當(dāng)對(duì)所有群體一視同仁，但目前無(wú)人駕駛汽車(chē)方面似乎不是這樣的?！痹撗芯康淖髡逥r. Jie Zhang說(shuō)道。

為什么會(huì)出現(xiàn)這種情況？

這主要是人工智能系統(tǒng)需要進(jìn)行大量數(shù)據(jù)訓(xùn)練，而這些數(shù)據(jù)一旦不足，也會(huì)不可避免地反映在人工智能的表現(xiàn)上。這也是說(shuō)，訓(xùn)練數(shù)據(jù)的缺乏，導(dǎo)致一些人工智能AI存在一定的偏見(jiàn)。

02

還有很多問(wèn)題未解決

其實(shí)人工智能系統(tǒng)存在一定的不公平性，研究人員也不是第一次研究了。

早在2019年，美囯佐治亞理工學(xué)院的研究就表明，在路上皮膚較黑的人比皮膚較白的人，更容易被無(wú)人駕駛汽車(chē)撞到，研究人員分析了無(wú)人駕駛汽車(chē)監(jiān)測(cè)物體的方法，一共分析了3500張膚色各異的人的照片。

最后得出結(jié)論，無(wú)人駕駛技術(shù)在識(shí)別黑色皮膚人群時(shí)的準(zhǔn)確度平均低了5%。

來(lái)源：Cruise

這些研究雖然沒(méi)有涉及已經(jīng)上路的無(wú)人駕駛汽車(chē)，但無(wú)疑會(huì)讓人們對(duì)無(wú)人駕駛技術(shù)更加警覺(jué)。

無(wú)人駕駛落地困難，很大一部分原因是，它無(wú)法真正代替人類(lèi)對(duì)行人及路況作出及時(shí)的反應(yīng)。

在2018年，打車(chē)服務(wù)巨頭Uber的一輛無(wú)人駕駛汽車(chē)在美國(guó)亞利桑那州坦佩市撞人致死，這是首次出現(xiàn)無(wú)人駕駛事故事件，“來(lái)不及做出反應(yīng)”就是其一大問(wèn)題。

前段時(shí)間，美國(guó)加州投票決定，允許兩大無(wú)人出租車(chē)Cruise 和 Waymo 在舊金山全天候商業(yè)運(yùn)營(yíng)，這則消息引來(lái)美國(guó)群眾的不滿，因?yàn)闊o(wú)人駕駛出租車(chē)經(jīng)常引來(lái)事故。

來(lái)源：Cruise

汽車(chē)的無(wú)人駕駛系統(tǒng)可以用多種方式來(lái)識(shí)別路況，比如安在車(chē)頂?shù)募す饫走_(dá)，它可以每秒多次對(duì)汽車(chē)周?chē)h(huán)境產(chǎn)生三維圖像，主要是利用紅外激光脈沖來(lái)反射物體，把信號(hào)傳給傳感器，這種可探測(cè)到靜止和移動(dòng)的物體。

但是遇到極端天氣時(shí)，比如濃霧或暴雨天氣，激光雷達(dá)的準(zhǔn)確度會(huì)大大降低。

而短程和遠(yuǎn)程光學(xué)攝像頭，可以實(shí)際的讀取信號(hào)、判斷物體顏色等更細(xì)節(jié)的物體，可以彌補(bǔ)激光雷達(dá)的短板。

為了加大識(shí)別能力，國(guó)內(nèi)不少無(wú)人駕駛系統(tǒng)，都采用了混合感知路線，通過(guò)激光雷達(dá)和攝像頭視覺(jué)技術(shù)來(lái)實(shí)現(xiàn)，并且視覺(jué)感知優(yōu)先于雷達(dá)感知，以視覺(jué)感知為主，雷達(dá)感知為輔。

但特斯拉是“純視覺(jué)感知”的忠實(shí)粉絲，馬斯克曾表示，激光雷達(dá)就像人身上的闌尾。然而這也導(dǎo)致特斯拉多次因事故吃上官司。

來(lái)源：特斯拉

其實(shí)即便是混合感知路線，也需要克服很多挑戰(zhàn)。

比如遠(yuǎn)距離成像的行人通常目標(biāo)較小，也就導(dǎo)致分辨率較低，定位準(zhǔn)確度不夠，這也是兒童的失檢率較高的原因之一。其次行人姿態(tài)各異也會(huì)導(dǎo)致算法檢測(cè)不準(zhǔn)確，而且行人檢測(cè)會(huì)受到背景的影響，比如光照的強(qiáng)弱，天氣的變化等都會(huì)影響判斷。

最后還有障礙物的原因，目標(biāo)重疊、有遮擋對(duì)算法識(shí)別也有較大影響。

03

華人學(xué)者領(lǐng)銜研究

這篇介紹自動(dòng)駕駛系統(tǒng)公平性的論文，全名為《深色皮膚的人在街上面臨更多風(fēng)險(xiǎn)：揭露自動(dòng)駕駛系統(tǒng)的公平性問(wèn)題》，該論文在《新科學(xué)家》雜志發(fā)表。

來(lái)源：新科學(xué)家

論文研究小組來(lái)自于倫敦國(guó)王學(xué)院，論文所列出的作者共有6位，其中Xinyue Li、Ying Zhang、Xuanzhe Liu、來(lái)自中國(guó)北京大學(xué)，Zhenpeng Chen、費(fèi)德里·卡薩羅來(lái)自英國(guó)倫敦大學(xué)，Jie M.Zhang來(lái)自倫敦國(guó)王學(xué)院。

Jie M.Zhang目前是倫敦國(guó)王學(xué)院的助理教授，她的研究重點(diǎn)是將軟件工程研究與人工智能研究結(jié)合，從而提高軟件的可信度。她曾是倫敦大學(xué)的研究員，并在中國(guó)北京大學(xué)獲得計(jì)算機(jī)科學(xué)的博士學(xué)位。

作為中國(guó)籍學(xué)者，Jie M.Zhang在國(guó)內(nèi)的成績(jī)也可圈可點(diǎn)，她在今年3月被評(píng)為“中國(guó)女青年學(xué)者十五強(qiáng)之一”，還曾多次受邀進(jìn)行機(jī)器翻譯可信度的主題演講，她和小組也多次對(duì)人工智能的學(xué)習(xí)能力進(jìn)行研究分析。

對(duì)于行人檢測(cè)系統(tǒng)公平性缺失的問(wèn)題，Jie M.Zhang表示，汽車(chē)制造商和政府需要共同制定法規(guī)，來(lái)確保自動(dòng)駕駛系統(tǒng)的安全性和公平性。

其實(shí)以前就有過(guò)人工智能招聘軟件和面部識(shí)別軟件，黑人女性的準(zhǔn)確度不如白人男性的情況，而現(xiàn)在自動(dòng)駕駛汽車(chē)一旦存在識(shí)別誤區(qū)，造成的后果可能會(huì)更加嚴(yán)重。

“以前少數(shù)族裔可能會(huì)因?yàn)橐恍┸浖?，而被剝奪了該有的便利”。Jie M.Zhang表示，現(xiàn)在他們可能面臨更嚴(yán)重傷害，甚至是人身傷害。

關(guān)鍵詞：