買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉江蘇昆侖互聯(lián)科技有限公司申請(qǐng)的專利一種多模態(tài)大模型驅(qū)動(dòng)的工業(yè)場(chǎng)景明煙明火圖像生成方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN118038202B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202410067841.8，技術(shù)領(lǐng)域涉及：G06V10/774；該發(fā)明授權(quán)一種多模態(tài)大模型驅(qū)動(dòng)的工業(yè)場(chǎng)景明煙明火圖像生成方法是由周必華;潘濤;蔡鴻斌;徐鑫榮設(shè)計(jì)研發(fā)完成，并于2024-01-17向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種多模態(tài)大模型驅(qū)動(dòng)的工業(yè)場(chǎng)景明煙明火圖像生成方法在說明書摘要公布了：本發(fā)明提供一種多模態(tài)大模型驅(qū)動(dòng)的工業(yè)場(chǎng)景明煙明火圖像生成方法，在工業(yè)環(huán)境中，由于獲取真實(shí)場(chǎng)景中的火災(zāi)圖像困難，傳統(tǒng)的檢測(cè)方法受到數(shù)據(jù)稀缺性的限制。為應(yīng)對(duì)這一挑戰(zhàn)，我們引入了大模型圖像生成方法，通過多模態(tài)訓(xùn)練數(shù)據(jù)集的生成和多模態(tài)大模型的訓(xùn)練，實(shí)現(xiàn)了對(duì)明煙明火圖像的高效生成。在技術(shù)方案中，我們結(jié)合了GPT?3、StableDiffusion、Prompt?to?Prompt和Classifier?free等多種深度學(xué)習(xí)技術(shù)，充分利用大模型的學(xué)習(xí)能力和生成能力。首先，通過GPT?3生成了編輯指令和編輯后的圖像描述，然后利用StableDiffusion和Prompt?to?Prompt技術(shù)生成具有多樣性的圖像編輯數(shù)據(jù)集。接著，通過Classifier?free等技巧訓(xùn)練多模態(tài)大模型，將文本指令和圖像特征融合，生成高質(zhì)量的編輯后圖像，從而提高火災(zāi)檢測(cè)系統(tǒng)的性能。

本發(fā)明授權(quán)一種多模態(tài)大模型驅(qū)動(dòng)的工業(yè)場(chǎng)景明煙明火圖像生成方法在權(quán)利要求書中公布了：1.一種多模態(tài)大模型驅(qū)動(dòng)的工業(yè)場(chǎng)景明煙明火圖像生成方法，其特征在于：所述方法具體步驟如下： S1：制作訓(xùn)練數(shù)據(jù)； 使用經(jīng)過微調(diào)的GPT-3對(duì)編輯前的圖像描述生成編輯指令和編輯后的圖像描述；將StableDiffusion與Prompt-to-Prompt結(jié)合使用，根據(jù)成對(duì)的圖像描述生成成對(duì)的圖像；最后通過這一過程生成了訓(xùn)練數(shù)據(jù)，并創(chuàng)建了訓(xùn)練數(shù)據(jù)集；所述成對(duì)的圖像包括編輯前的圖像和編輯后的圖像； S2：訓(xùn)練多模態(tài)大模型； 基于步驟S1中生成的訓(xùn)練數(shù)據(jù)，訓(xùn)練一個(gè)多模態(tài)大模型，且該多模態(tài)大模型根據(jù)編輯指令直接編輯圖像； 訓(xùn)練一個(gè)多模態(tài)大模型具體步驟如下： S21：提取圖像特征； 針對(duì)編輯前后的圖像，首先通過變分自編碼器VAE進(jìn)行圖像特征的提取；將圖像信息轉(zhuǎn)換為模型可理解和處理的形式； 編輯前的圖像通過變分自編碼器VAE提取得到編輯前的圖像特征； 編輯后的圖像通過變分自編碼器VAE提取得到編輯后的圖像特征； S22：提取文本特征； 對(duì)于編輯指令中相應(yīng)的的文本指令，同樣使用文本編碼器進(jìn)行特征提取；把文本指令映射成潛在空間中的特征向量，捕捉文本描述的語義信息；最后將文本信息也被轉(zhuǎn)化為模型可處理的向量表示； S23：多模態(tài)大模型； 將經(jīng)過步驟S21的VAE和步驟S22的文本編碼器處理后的編輯前的圖像特征和文本特征同時(shí)輸入到多模態(tài)大模型中；通過在第一個(gè)卷積層增加拼接文本特征和圖像特征的通道，多模態(tài)大模型被設(shè)計(jì)成能夠理解和融合這兩種不同類型的特征，產(chǎn)生一個(gè)高維度的語義特征表示； S24：計(jì)算損失； 模型的輸出圖像特征與編輯后的圖像特征進(jìn)行比較，通過計(jì)算損失來衡量它們之間的差異； S3：圖像生成； 基于步驟S2中訓(xùn)練的多模態(tài)大模型，生成工業(yè)場(chǎng)景下明煙明火圖像生成，將模型進(jìn)行本地化部署。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人江蘇昆侖互聯(lián)科技有限公司，其通訊地址為：224051 江蘇省鹽城市亭湖區(qū)環(huán)保大道創(chuàng)投中心D座(28)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。