買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉南通大學申請的專利一種基于語音交互與視覺透視的網約車乘客位置快速定位方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119399845B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411368765.0，技術領域涉及：G06V40/70；該發明授權一種基于語音交互與視覺透視的網約車乘客位置快速定位方法是由王晗;張恩源;岳雯芮;王森濤;葉烜彤;王光成設計研發完成，并于2024-09-29向國家知識產權局提交的專利申請。

本一種基于語音交互與視覺透視的網約車乘客位置快速定位方法在說明書摘要公布了：本發明提供一種基于語音交互與視覺透視的網約車乘客位置快速定位方法，涉及智能交通技術領域，其包含以下步驟：在汽車上布施傳感器、攝像頭、金屬反光幕布及投影儀；采集司機的語音信息，設計智能化語音喚醒模型；構建場景化語音識別模型；使用“聲音?圖像”的多級跨模態檢測模型面向全景圖像檢測行人目標，獲取行人目標的外觀與姿態特征檢測信息；設計“靜態特征”匹配方法與“動態特征”識別模型，實現乘客特征信息匹配；基于匹配結果，確定乘客的位置信息；通過全景圖像中的位置估計，獲取以車輛為參考原點的乘客方向；根據方向估計結果，控制車內投影儀，將該乘客信息投影在車內相應方向的幕布上，并同時利用語音信息給予提示。

本發明授權一種基于語音交互與視覺透視的網約車乘客位置快速定位方法在權利要求書中公布了：1.一種基于語音交互與視覺透視的網約車乘客位置快速定位方法，其特征在于：包含以下步驟： S1：在網約車上布施傳感器、攝像頭、金屬反光幕布及投影儀，其中，所述攝像頭設置有5個，五個攝像頭分別位于汽車右前車門，右后車門，前方車頂，后方車頂和車尾處；所述金屬反光幕布位于前車門、后車門和后排靠背位置，所述投影儀設置在所述反光幕布對應的斜上方； S2：利用車載麥克風持續后臺采集司機的語音信息，使用Transformer作為語音喚醒詞檢測模型并通過語音特征提取，設計智能化語音喚醒模型，實現語音交互的“一詞喚醒”功能； S3：構建場景化語音識別模型，通過識別司機的語音信息，自動識別乘客的外觀和動作特征，并保存上述特征的文本信息；S4：利用攝像頭獲取車外全景圖像，使用“聲音-圖像”的多級跨模態檢測模型，面向全景圖像檢測行人目標，獲取行人目標的外觀與姿態特征檢測信息；所述“聲音-圖像”的多級跨模態檢測模型包含如下步驟： 首先，對于S3中語音識別的文本，先經過n-gram算法得到名詞短語，再使用基于CLIP預訓練的Transformer文本編碼器TextEncoder，提取文本嵌入其中T是給定文本，C是名詞數量，D是嵌入維度； 接著，通過車上不同位置處的多個攝像頭，同時獲取多個實時視頻流并把視頻流經過YOLOv8nBackbone得到多尺度的圖像特征 然后，將上述步驟得到的W和Xl通過重參數化的視覺-語言路徑聚合網絡進行特征融合，其中融合過程主要包括從文本到圖像的基于文本引導的跨區塊偏置層，從圖像到文本的圖像池化注意力機制； 最后，將融合后的目標編碼通過TextContrastiveHead輸出，采用具有兩個3×3卷積的解耦頭，用于回歸邊界框和對象嵌入并通過引入文本對比中心，來獲取對象-文本相似度，從而輸出相似度最大的并輸出坐標；其中目標編碼e和文本編碼w使用L2-Norm表示； 其中L2-Norm表示L2歸一化，Wj∈W是第j個文本嵌入,α為縮放因子，β為偏移因子； S5：設計乘客多屬性“靜態特征”匹配方法與基于骨骼特征的乘客“動態特征”識別模型，通過文本特征匹配，實現S3中基于語音識別的乘客特征信息與S4中基于視覺檢測的乘客特征信息之間的匹配；所述多屬性靜態特征包括視覺識別的靜態特征及語音識別的外觀特征； S6：基于S5的匹配結果，確定乘客的位置信息；通過全景圖像中的位置估計，獲取以車輛為參考原點的乘客方向； S7：根據S6的方向估計結果，控制車內投影儀，將該乘客信息投影在車內相應方向的幕布上，并同時利用語音信息給予提示。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南通大學，其通訊地址為：226000 江蘇省南通市崇川區永福路79號1幢南通大學技術轉移研究院；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。