微軟專利提出用六自由度姿態(tài)信息對(duì)齊兩個(gè)攝像頭的圖像 世界短訊

查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

【資料圖】

利用六自由度姿態(tài)信息來對(duì)齊兩個(gè)攝像頭的圖像

（映維網(wǎng)Nweon?2023年01月19日）如果大家有關(guān)注微軟的專利探索，這家公司曾提出一種集成式攝像頭/系統(tǒng)攝像頭+分離式攝像頭/外部攝像頭的系統(tǒng)理念。其中，集成式攝像頭/系統(tǒng)攝像頭是指物理集成到頭顯的攝像；分離式攝像頭/外部攝像頭則是指與頭顯分離式攝像頭。

例如在一個(gè)的場景中，可以將分離式攝像頭捆綁或以其他方式放置在用戶的胸部。在另一個(gè)場景中，分離式攝像頭可以不放置在用戶的身體上，而是由用戶握持或者安裝在自拍桿或另一種類型的延長桿上。

集成式攝像頭+分離式攝像頭的設(shè)置可以提升頭顯的掃描范圍和質(zhì)量，優(yōu)化全息圖的放置和生成。但顯然，對(duì)于這種圖像合并和疊加，系統(tǒng)需要對(duì)齊兩個(gè)攝像頭的內(nèi)容，并實(shí)現(xiàn)快速目標(biāo)捕獲。

在名為“Using 6dof pose information to align images from separated cameras”的專利申請(qǐng)中，微軟就提出了利用六自由度姿態(tài)信息來對(duì)齊兩個(gè)攝像頭的圖像。

圖4A和圖4B示出了示例方法400的流程圖。其中，示例方法400用于將由物理安裝到頭顯的集成攝像頭生成的圖像與分離式攝像頭生成的圖像對(duì)齊和穩(wěn)定。

最初，方法400包括生成頭顯和分離式攝像頭都在其中操作的環(huán)境的三維（3D）特征圖的動(dòng)作（動(dòng)作405）。

圖5示出了一個(gè)示例環(huán)境500。在所述示例場景中，頭顯505正在使用其攝像頭執(zhí)行環(huán)境500的掃描，如掃描510、掃描515和掃描520所示。作為示例，頭顯 505可以利用追蹤攝像頭來執(zhí)行掃描。

作為執(zhí)行掃描的結(jié)果，頭顯505能夠生成環(huán)境500的3D特征圖，如圖6所示。具體地，圖6示出了3D特征圖600，其表示在圖4A的動(dòng)作405中提到的3D特征圖。圖6中所示的每個(gè)黑圓圈表示特征點(diǎn)，例如特征點(diǎn)605、特征點(diǎn)610和特征點(diǎn)615。

通常，“特征點(diǎn)”是指對(duì)象或圖像中包含的離散且可識(shí)別的點(diǎn)。特征點(diǎn)的示例包括與環(huán)境的其他區(qū)域形成鮮明對(duì)比的角、邊或其他幾何輪廓。

圖6中所示的黑圈對(duì)應(yīng)于墻壁相交的角落和形成桌子角落的角落，并且認(rèn)為是特征點(diǎn)。識(shí)別特征點(diǎn)可以使用任何類型的圖像分析、圖像分割或甚至機(jī)器學(xué)習(xí)（ML）來執(zhí)行?？梢允褂萌魏晤愋偷腗L算法、模型或機(jī)器學(xué)習(xí)來識(shí)別特征點(diǎn)。

在一般意義上，3D特征圖600是一組已隨時(shí)間獲取的融合稀疏深度圖的匯編。深度圖識(shí)別3D深度信息以及特征點(diǎn)。深度圖的收集或融合構(gòu)成3D特征圖600。

返回圖4A，在已經(jīng)生成3D特征圖之后，方法400隨后包括與分離式攝像頭共享3D特征圖的動(dòng)作（動(dòng)作410）。圖7表示所述方法動(dòng)作410。

具體地，圖7示出了頭顯700和分離式攝像頭705。寬帶無線電連接710存在于頭顯700和分離式攝像頭705之間，從而使得信息能夠在頭顯700與分離式攝像頭706之間快速地來回傳輸。寬帶無線電連接710是具有高帶寬可用性的高速連接。

如方法動(dòng)作410中所述，頭顯700能夠使用寬帶無線電連接710將表示圖6的3D特征圖600的3D特征地圖715發(fā)送到分離式攝像頭705。在這方面，分離式攝像頭705從頭顯 700接收3D特征圖715。也就是說，可以通過經(jīng)由寬帶無線電連接710將3D特征圖發(fā)送到分離式攝像頭來執(zhí)行與分離式攝像頭共享3D特征圖的過程。

在頭顯與分離式攝像頭共享3D特征圖之前、期間或甚至可能之后，集成攝像頭和分離式攝像頭都生成環(huán)境的圖像，如圖8所示。具體地，圖8示出了環(huán)境800、集成攝像頭805和分離攝像頭810。

圖8示出了集成攝像頭805如何具有FOV815并執(zhí)行圖像捕獲以生成第一圖像820。類似地，分離式攝像頭810具有FOV 825，并且正在執(zhí)行圖像捕獲以生成第二圖像830。攝像頭的FOV通常指攝像頭可觀察到的區(qū)域。這里，F(xiàn)OV 815的大小不同于FOV 825的大小。在其他實(shí)施例中，F(xiàn)OV可以相同。

兩個(gè)圖像捕獲過程可以彼此同時(shí)執(zhí)行，或者可替換地，可以沒有時(shí)間相關(guān)性。在一個(gè)實(shí)施例中，集成攝像頭的圖像捕獲過程可以與分離攝像頭的圖像捕捉過程在時(shí)間上至少部分重疊，而在其他情況下，在時(shí)間上可以沒有重疊。無論如何，集成攝像頭805生成第一圖像820，分離攝像頭810生成第二圖像830。值得注意的是，兩個(gè)攝像頭的FOV的至少一部分重疊，使得第二圖像830的至少一個(gè)部分與第一圖像820的至少一一部分重疊。

作為附加說明，圖8中所示的虛線圓對(duì)應(yīng)于分離式攝像頭的FOV 825，圓角虛線矩形對(duì)應(yīng)于集成的攝像頭的視界815。

返回圖4A，方法400包括使用3D特征圖基于由集成攝像頭生成的第一圖像來重新定位集成攝像頭的位置框架的動(dòng)作（動(dòng)作415），從而確定集成攝像頭的六自由度姿態(tài)。動(dòng)作415可以在動(dòng)作410之前、期間或甚至之后執(zhí)行（即共享3D特征圖的動(dòng)作）。

另外，方法400包括致使分離式攝像頭使用3D特征圖基于由分離式攝像頭生成的第二圖像，以重新定位分離式攝像頭的位置幀的動(dòng)作（動(dòng)作420），從而確定分離式攝像頭六自由度姿態(tài)。

方法動(dòng)作420在動(dòng)作410之后執(zhí)行，但動(dòng)作420可以在動(dòng)作415之前、期間或甚至之后執(zhí)行。

通常，重新定位是指確定攝像頭相對(duì)于環(huán)境的六自由度姿態(tài)的過程，以令攝像頭能夠依賴于用于所述環(huán)境的基線坐標(biāo)系。在分離式和集成式攝像頭的情況下，分離式攝像頭能夠從頭顯接收3D特征圖。

基于分離式攝像頭的圖像，分離式攝像頭可以識(shí)別第二圖像內(nèi)的特征點(diǎn)，并將特征點(diǎn)與3D特征圖中識(shí)別的特征點(diǎn)相關(guān)聯(lián)。一旦識(shí)別了相關(guān)性，分離式攝像頭就可以獲得或生成對(duì)場景或環(huán)境幾何體的理解。分離式攝像頭然后確定或計(jì)算幾何變換（例如旋轉(zhuǎn)變換），以確定分離式攝像頭相對(duì)于檢測到的特征點(diǎn)的物理位置。

換言之，重新定位是指匹配3D特征圖和圖像之間的特征點(diǎn)，然后計(jì)算幾何平移或變換以基于3D特征圖與當(dāng)前圖像確定該攝像頭相對(duì)于環(huán)境的物理位置的過程。執(zhí)行重新定位使分離式攝像頭和集成的攝像頭都依賴于同一坐標(biāo)系。圖9示出了由集成攝像頭和分離攝像頭兩者執(zhí)行的重新定位過程。

具體地，圖9示出了3D特征圖900和圖像幀905。3D特征圖900代表圖6的3D特征圖600和迄今為止討論的其他3D特征圖。如果集成攝像頭正在執(zhí)行重新定位過程，則圖像幀905對(duì)應(yīng)于來自圖8的第一圖像820。另一方面，如果分離式攝像頭正在執(zhí)行重新定位處理，則圖像幀905對(duì)應(yīng)于第二圖像830。。

3D特征圖900和圖像幀905作為輸入被饋送到重新定位910操作中。重新定位910操作基于在圖像幀905中檢測到的特征點(diǎn)與3D特征圖900中包括的特征點(diǎn)之間的對(duì)應(yīng)關(guān)系來重新定位攝像頭（例如，集成攝像頭或分離攝像頭）的位置框架915。同時(shí)定位和映射（SLAM）技術(shù)可用于在同一物理空間內(nèi)重新定位攝像頭系統(tǒng)。SLAM技術(shù)使用攝像頭的圖像制作地圖，并作為物理系統(tǒng)的參考框架。

專利描述的實(shí)施例可以配置為使用SLAM來相對(duì)于集成攝像頭重新定位遠(yuǎn)程攝像頭（即分離式攝像頭）的位置。通過使用來自遠(yuǎn)程攝像頭系統(tǒng)和頭顯系統(tǒng)的SLAM，實(shí)施例能夠確定兩個(gè)攝像頭系統(tǒng)的相對(duì)和絕對(duì)位置。因此，重新定位910操作的結(jié)果是攝像頭的六自由度姿態(tài)925。

通過確定六自由度姿態(tài)925，實(shí)施例使得兩個(gè)攝像頭系統(tǒng)能夠使用相同的坐標(biāo)系930有效地操作。通過六自由度姿態(tài)925，這意味著實(shí)施例能夠確定攝像頭在環(huán)境中的角度放置。

因此，實(shí)施例能夠使用3D特征圖將集成攝像頭的位置框架重新定位到頭顯物理空間中。這一重新定位過程通過識(shí)別第一圖像中的特征點(diǎn)和3D特征圖中的特征來執(zhí)行。實(shí)施例然后嘗試在這兩組特征點(diǎn)之間進(jìn)行相關(guān)性或匹配。一旦進(jìn)行了足夠數(shù)量的匹配，則實(shí)施例能夠使用所述信息來確定集成攝像頭的六自由度姿態(tài)。

類似地，分離式攝像頭能夠使用3D特征圖將其位置框架重新定位到頭顯空間中。所述重新定位過程以相同的方式執(zhí)行。即分離式攝像頭識(shí)別第二圖像中的特征點(diǎn)和3D特征地圖中的特征。

然后，分離式攝像頭嘗試在這兩組特征點(diǎn)之間進(jìn)行關(guān)聯(lián)或匹配。因?yàn)榉蛛x式攝像頭的FOV至少部分地與集成的攝像頭的FOV重疊，所以第二圖像應(yīng)該包括與第一圖像中包括的特征點(diǎn)相同的至少幾個(gè)特征點(diǎn)。

因此，分離式攝像頭能夠識(shí)別特征點(diǎn)之間的匹配，從而使其能夠確定六自由度姿態(tài)。在這方面，分離式攝像頭能夠至少部分地基于集成攝像頭用于確定其六自由度姿態(tài)的相同識(shí)別特征點(diǎn)來確定其六自由度姿態(tài)。作為使分離式攝像頭使用3D特征圖來重新定位分離式攝像頭的位置框架的結(jié)果，分離式攝像頭將能夠使用與集成攝像頭相同的坐標(biāo)系。

換言之，分離式攝像頭和集成的攝像頭計(jì)算旋轉(zhuǎn)基礎(chǔ)矩陣。其中，旋轉(zhuǎn)基礎(chǔ)矩陣詳細(xì)描述了各個(gè)圖像中體現(xiàn)的視角相對(duì)于環(huán)境和相對(duì)于彼此的角度和平移差異。在這方面，旋轉(zhuǎn)基礎(chǔ)矩陣提供平移或角運(yùn)動(dòng)的映射，以將圖像中檢測到的特征點(diǎn)映射到3D特征圖中包括的特征點(diǎn)。

所述映射使得系統(tǒng)能夠確定需要哪些平移和角度平移來從第一圖像的透視轉(zhuǎn)換到第二圖像的透視，反之亦然。令分離式攝像頭和集成攝像頭使用3D特征圖來重新定位它們的位置幀的過程可以包括執(zhí)行SLAM操作，以確定分離式攝像頭與集成攝像頭之間的相對(duì)位置。

返回到圖4A，方法400然后包括動(dòng)作（動(dòng)作425），其中頭顯從分離式攝像頭接收（i）環(huán)境的第二圖像和（ii）分離式攝像頭的六自由度姿態(tài)。因此，頭顯現(xiàn)在包括詳細(xì)描述分離攝像頭的六自由度姿態(tài)、分離攝像頭的圖像（即第二圖像）、集成攝像頭的六自由度姿態(tài)和集成攝像頭的圖像的數(shù)據(jù)（即第一圖像）。圖10說明了方法動(dòng)作425。

圖10示出了頭顯 1000和分離式攝像頭1005。如圖7中所述，在頭顯1000和分離式攝像頭1005之間存在寬帶無線電連接1010。在這種情況下，分離式攝像頭1005向頭顯1000發(fā)送六自由度姿態(tài)1015和第二圖像1020。

返回圖4B，方法400包括可選的動(dòng)作440，對(duì)重疊圖像執(zhí)行視差校正以修改重疊圖像的透視以對(duì)應(yīng)于新的透視。

圖16示出了重疊圖像1600，其可以是來自圖15的重疊圖像1510，并且可以是方法400中討論的重疊圖像。這里，重疊圖像1600示出為具有原始透視1605。根據(jù)所公開的原理，實(shí)施例能夠執(zhí)行視差校正1610，以將重疊圖像1600的原始透視1605轉(zhuǎn)換為新透視。應(yīng)當(dāng)注意，從分離式攝像頭圖像中獲取的像素隨后經(jīng)歷兩個(gè)單獨(dú)的再投影操作，一個(gè)涉及修改分離式攝像頭的透視以與集成攝像頭的透視一致，另一個(gè)涉及改變重疊圖像的透視以使其與用戶瞳孔的透視一致。

執(zhí)行視差校正1610涉及使用深度圖以便將圖像內(nèi)容重新投影到新的視角。深度圖可以與前面提到的深度圖相同或不同。

視差校正1610被示出為包括多個(gè)不同操作中的任意一個(gè)或多個(gè)。例如，視差校正1610可以包括失真校正1615、對(duì)極變換1620（和/或重投影變換1625。

視差校正1610包括執(zhí)行深度計(jì)算以確定環(huán)境的深度，然后將圖像重新投影到確定的位置或具有確定的視角。

重投影基于重疊圖像1600相對(duì)于周圍環(huán)境的原始透視1605。基于原始透視圖1605和生成的深度圖，實(shí)施例能夠通過重新投影由重疊圖像體現(xiàn)的透視圖以與新透視圖重合來校正視差，如視差校正圖像1630和新透視圖1635所示。

特定實(shí)施例對(duì)重疊圖像執(zhí)行三維（3D）幾何變換，以與用戶瞳孔330和335的視角相關(guān)的方式變換重疊圖像的視角。另外，3D幾何變換依賴于深度計(jì)算，在深度計(jì)算中，頭顯環(huán)境中的對(duì)象被繪制出來，以確定其深度和透視。

基于深度計(jì)算和透視圖，實(shí)施例能夠以這樣的方式三維地重新投影或三維地扭曲重疊的圖像，以便在視差校正圖像1630中保持對(duì)象深度的外觀，或者可視化現(xiàn)實(shí)世界中物體的實(shí)際深度。

通過執(zhí)行視差校正1610，實(shí)施例可以有效地創(chuàng)建正確的視圖。為了進(jìn)一步澄清，考慮圖3中的攝像頭305的位置，其當(dāng)前位于瞳孔335的上方和左側(cè)。通過執(zhí)行視差校正，實(shí)施例以編程方式變換由攝像頭305生成的圖像，或者更確切地說，變換圖像的透視圖，使得透視圖看起來好像攝像頭305實(shí)際上位于瞳孔335的正前方。

一旦生成了固定深度圖，則可以使用深度圖來使用固定深度圖對(duì)重疊圖像執(zhí)行重投影。在這方面，可以使用全深度圖或固定深度圖來重新投影重疊圖像（以生成視差校正圖像1630。

因此，專利描述的實(shí)施例能夠通過使用六自由度姿勢來對(duì)齊圖像并執(zhí)行重投影，以便對(duì)齊圖像以具有匹配的視角。實(shí)施例然后對(duì)對(duì)齊的重疊圖像執(zhí)行視差校正，以便生成具有新視角的透視圖像。

相關(guān)專利：

Microsoft Patent | Using 6dof pose information to align images from separated cameras

https://patent.nweon.com/26454

名為“Using 6dof pose information to align images from separated cameras”的微軟專利申請(qǐng)最初在2022年9月提交，并在日前由美國專利商標(biāo)局公布。

關(guān)鍵詞： 微軟專利提出用六自由度姿態(tài)信息對(duì)齊兩個(gè)攝像頭的圖像