買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉齊魯工業大學(山東省科學院);山東省人工智能研究院申請的專利基于改進Llama模型的自然語言處理方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119961414B 。

龍圖騰網通過國家知識產權局官網在2025-08-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510117657.4，技術領域涉及：G06F16/3329；該發明授權基于改進Llama模型的自然語言處理方法是由李志慧;苗繼浦;石明;吳濘宇;蔡立林;陳文娜;賀勁設計研發完成，并于2025-01-24向國家知識產權局提交的專利申請。

本基于改進Llama模型的自然語言處理方法在說明書摘要公布了：本發明涉及自然語言處理技術領域，尤其是提供了一種基于改進Llama模型的自然語言處理方法。該方法包括獲取對話數據S，對數據S進行預處理，得到預處理后的對話數據M；構建改進的Llama模型，改進的Llama模型包括：輸入層、語言編碼器、輸出層，將預處理后的對話數據M輸入到改進的Llama模型中，得到輸出文本，該方法通過高效且輕量化的預訓練語言模型Llama，在保持強大語言生成能力的同時，降低了訓練成本和推理復雜度，提升了模型穩定性。

本發明授權基于改進Llama模型的自然語言處理方法在權利要求書中公布了：1.一種基于改進Llama模型的自然語言處理方法，其特征在于，所述方法包括： 步驟1、獲取對話數據S，對數據S進行預處理，得到預處理后的對話數據M； 步驟2、構建改進的Llama模型，所述改進的Llama模型包括：輸入層、語言編碼器、輸出層，將所述預處理后的對話數據M輸入至改進的Llama模型中，得到輸出文本； 所述步驟2包括： 步驟21、將預處理后的對話數據M輸入到輸入層，得到一個實數向量；其中輸入層包括兩個階段，依次為：分詞層和嵌入層； 步驟22、將實數向量經過語言編碼器得到隱藏狀態序列；其中編碼器包括第一階段至第二十階段，每個階段均包括四個連續的部分，其依次為：全局與局部融合注意力機制，歸一化，前向傳播，歸一化；每個階段的模塊和參數完全一致，后一階段的輸入為前一階段的輸出； 步驟23、將隱藏狀態序列輸入到輸出層，用于生成下一個詞的概率分布；其中輸出層包括投影層和去標記器； 所述步驟22包括： 使用全局與局部融合注意力機制，輸入為，首先，將分別輸入全局注意力機制與局部注意力機制； 其中全局注意力機制計算公式為： ； 其中，Q，K，V分別為查詢Query、鍵Key和值Value矩陣；為鍵Key的維度，作為縮放因子； 局部注意力機制計算公式為： ； 其中，表示局部窗口范圍，僅選擇序列中鄰近位置的鍵K和值V進行計算； 計算復雜度：從全局的降低為，其w是窗口大小，m是序列長度； 融合公式為： ； 其中為輸出的權重矩陣； 將n_1作為編碼器第一層的輸入，n_1經過全局與局部注意力機制得到，然后將進行歸一化，得到V1，將V1輸入到前向傳播層，得到輸出V2，V2經過歸一化得到V3，將V3和V1進行加權求和，將得到的矩陣去重新賦值給，將作為第一階段的最終輸出； 為第一階段的輸出，將作為第二階段的輸入，階段二再經過和階段一相同的經過，再輸出；再將作為第三階段的輸入，如此一直反復到第二十階段，～分別作為階段第二階段至第二十階段的輸入，～分別作為階段第一階段至第十階段的輸出，得到最終輸出。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人齊魯工業大學(山東省科學院);山東省人工智能研究院，其通訊地址為：250353 山東省濟南市長清區西部新城大學科技園；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。