買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉平安科技(深圳)有限公司申請(qǐng)的專(zhuān)利雙模態(tài)表征模型訓(xùn)練方法、裝置、設(shè)備和介質(zhì)獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115995031B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202310136395.7，技術(shù)領(lǐng)域涉及：G06V10/774；該發(fā)明授權(quán)雙模態(tài)表征模型訓(xùn)練方法、裝置、設(shè)備和介質(zhì)是由舒暢;陳又新設(shè)計(jì)研發(fā)完成，并于2023-02-09向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本雙模態(tài)表征模型訓(xùn)練方法、裝置、設(shè)備和介質(zhì)在說(shuō)明書(shū)摘要公布了：本申請(qǐng)的雙模態(tài)表征模型訓(xùn)練方法、裝置、設(shè)備和介質(zhì)，其中方法包括：獲取待處理數(shù)據(jù)，對(duì)待處理數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)。對(duì)預(yù)處理數(shù)據(jù)進(jìn)行特征編碼，得到多個(gè)特征向量。對(duì)多個(gè)圖像塊向量進(jìn)行池化，得到圖像塊池化向量；對(duì)多個(gè)詞向量進(jìn)行池化，得到詞池化向量。根據(jù)圖像塊池化向量構(gòu)造第一損失函數(shù)，根據(jù)詞池化向量構(gòu)造第二損失函數(shù)，根據(jù)圖像塊池化向量和詞池化向量構(gòu)造第三損失函數(shù)。根據(jù)所有損失函數(shù)訓(xùn)練待訓(xùn)練模型，得到雙模態(tài)表征模型。基于三種損失函數(shù)進(jìn)行訓(xùn)練，使得雙模態(tài)表征模型對(duì)圖像和文本兩種不同模態(tài)的特征融合和特征表達(dá)能力更強(qiáng)。

本發(fā)明授權(quán)雙模態(tài)表征模型訓(xùn)練方法、裝置、設(shè)備和介質(zhì)在權(quán)利要求書(shū)中公布了：1.一種雙模態(tài)表征模型訓(xùn)練方法，其特征在于，包括： 獲取待處理數(shù)據(jù)，所述待處理數(shù)據(jù)包括圖像數(shù)據(jù)和文本數(shù)據(jù)； 對(duì)所述待處理數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)； 對(duì)所述預(yù)處理數(shù)據(jù)進(jìn)行特征編碼，得到多個(gè)特征向量，所述多個(gè)特征向量包括多個(gè)圖像塊向量和多個(gè)詞向量； 對(duì)所述多個(gè)圖像塊向量進(jìn)行池化，得到圖像塊池化向量；對(duì)所述多個(gè)詞向量進(jìn)行池化，得到詞池化向量； 根據(jù)所述圖像塊池化向量構(gòu)造第一損失函數(shù)，根據(jù)所述詞池化向量構(gòu)造第二損失函數(shù)，根據(jù)所述多個(gè)圖像塊向量和所述多個(gè)詞向量構(gòu)造第三損失函數(shù)； 根據(jù)所述第一損失函數(shù)、第二損失函數(shù)和第三損失函數(shù)訓(xùn)練待訓(xùn)練模型，得到雙模態(tài)表征模型； 所述根據(jù)所述圖像塊池化向量構(gòu)造第一損失函數(shù)，包括： 將所述圖像塊池化向量作為對(duì)數(shù)函數(shù)的自變量，通過(guò)對(duì)數(shù)函數(shù)構(gòu)造所述第一損失函數(shù)； 所述第一損失函數(shù)的公式如下： 其中，為所述圖像塊池化向量，log表示對(duì)數(shù)函數(shù)，Loss1為所述第一損失函數(shù)； 所述根據(jù)所述多個(gè)圖像塊向量和所述多個(gè)詞向量構(gòu)造第三損失函數(shù)，包括： 將當(dāng)前圖像塊向量和所述詞向量作為噪聲對(duì)比估計(jì)函數(shù)的自變量，通過(guò)所述噪聲對(duì)比估計(jì)函數(shù)構(gòu)造所述第三損失函數(shù)； 所述第三損失函數(shù)的公式如下： 其中，q為所述當(dāng)前圖像塊向量，k+為與所述當(dāng)前圖像塊向量對(duì)應(yīng)的所述詞向量，ki為第i個(gè)所述詞向量，exp表示指數(shù)函數(shù)，τ為所述第三損失函數(shù)的第一參數(shù)，Info_NCE為所述第三損失函數(shù)，log為對(duì)數(shù)函數(shù)。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人平安科技(深圳)有限公司，其通訊地址為：518000 廣東省深圳市福田區(qū)福田街道福安社區(qū)益田路5033號(hào)平安金融中心23樓；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。