買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉山東大學(xué)申請的專利一種基于序列依賴層級傳播機(jī)制的大模型優(yōu)化方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120066802B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-02發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510541168.1，技術(shù)領(lǐng)域涉及：G06F9/50；該發(fā)明授權(quán)一種基于序列依賴層級傳播機(jī)制的大模型優(yōu)化方法及系統(tǒng)是由史玉良;李武;程林;管永明;呂梁;王新軍;孔凡玉;陳志勇設(shè)計研發(fā)完成，并于2025-04-28向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于序列依賴層級傳播機(jī)制的大模型優(yōu)化方法及系統(tǒng)在說明書摘要公布了：本申請?zhí)峁┝艘环N基于序列依賴層級傳播機(jī)制的大模型優(yōu)化方法及系統(tǒng)，涉及大語言模型技術(shù)領(lǐng)域，大模型包括表示學(xué)習(xí)模塊和下游任務(wù)模塊，表示學(xué)習(xí)模塊的具體步驟為：對輸入的文本進(jìn)行自然語言處理，得到詞向量序列；基于序列依賴層級傳播機(jī)制，將詞向量序列進(jìn)行均勻分塊，分別使用片段間與片段內(nèi)的注意力機(jī)制，生成Key矩陣和Value矩陣；利用Key矩陣和Value矩陣，進(jìn)行Transformer的注意力機(jī)制計算，得到最終的序列表示，作為下游任務(wù)模塊的輸入。本發(fā)明引入序列依賴層級傳播機(jī)制，將序列劃分為多個塊，并在這些塊內(nèi)和塊間有效學(xué)習(xí)序列依賴關(guān)系，從而顯著降低了傳統(tǒng)自注意力機(jī)制的計算復(fù)雜度，并有效減少了內(nèi)存占用。

本發(fā)明授權(quán)一種基于序列依賴層級傳播機(jī)制的大模型優(yōu)化方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于序列依賴層級傳播機(jī)制的大模型優(yōu)化方法，所述大模型包括表示學(xué)習(xí)模塊和下游任務(wù)模塊，其特征在于，所述表示學(xué)習(xí)模塊的具體步驟為： 對輸入的文本進(jìn)行自然語言處理，得到詞向量序列； 基于序列依賴層級傳播機(jī)制，將詞向量序列進(jìn)行均勻分塊，分別使用片段間與片段內(nèi)的注意力機(jī)制，生成矩陣和矩陣，具體步驟為： 為詞向量序列進(jìn)行高維嵌入和位置編碼，得到包含位置信息的嵌入表示； 對包含位置信息的嵌入表示進(jìn)行填充，將填充后的嵌入表示進(jìn)行均勻分塊，并對每個塊進(jìn)行均值池化，得到初步的片段級表示； 對初步的片段級表示分別使用片段間注意力機(jī)制與片段內(nèi)注意力機(jī)制，得到最終的片段間表示與細(xì)粒度的片段內(nèi)表示； 所述片段間注意力機(jī)制，是獲取片段間依賴關(guān)系，通過計算不同段之間的注意力分布，得到最終的片段級表示； 所述片段內(nèi)注意力機(jī)制，是獲取片段內(nèi)依賴關(guān)系，通過在各個片段內(nèi)計算注意力矩陣，獲取細(xì)粒度的片段內(nèi)表示； 拼接片段間表示與片段內(nèi)表示，得到Key矩陣和Value矩陣； 利用矩陣和矩陣，進(jìn)行Transformer的注意力機(jī)制計算，得到最終的序列表示，作為下游任務(wù)模塊的輸入，用于進(jìn)行具體的下游任務(wù)。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人山東大學(xué)，其通訊地址為：250000 山東省濟(jì)南市歷下區(qū)經(jīng)十路17923號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。