買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉寧波東方理工大學(暫名)申請的專利一種大語言模型的流式處理系統和方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120181070B 。

龍圖騰網通過國家知識產權局官網在2025-09-26發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510652845.7，技術領域涉及：G06F40/211；該發明授權一種大語言模型的流式處理系統和方法是由沈曉宇;童俊龍;張偉;張辛銘;王項輝設計研發完成，并于2025-05-21向國家知識產權局提交的專利申請。

本一種大語言模型的流式處理系統和方法在說明書摘要公布了：本發明涉及一種大語言模型的流式處理系統和方法，在離線環境中，通過大語言模型模塊調用大語言模型架構以按批處理模式運行，而在在線環境中則以流式模型參數作為大語言模型架構的模型參數，并調用大語言模型架構以通過令牌解耦緩存機制實現流式推理，還通過所設置的模型參數優化模塊采用流式注意力掩碼機制對大語言模型架構進行參數優化，以動態調整大語言模型架構的注意力范圍，令大語言模型架構僅關注當前可用輸入和上下文，獲得流式模型參數，確保大語言模型模塊達到在批處理模式和流式模式之間的可擴展性要求，且計算成本較低。

本發明授權一種大語言模型的流式處理系統和方法在權利要求書中公布了：1.一種大語言模型的流式處理系統，其特征在于，包括： 大語言模型模塊，內置大語言模型架構，被設置為在離線環境中調用所述大語言模型架構以按批處理模式運行，而在在線環境中則以流式模型參數作為所述大語言模型架構的模型參數，并調用所述大語言模型架構以通過令牌解耦緩存機制實現流式推理； 模型參數優化模塊，與所述大語言模型模塊電連接，被設置為采用流式注意力掩碼機制對所述大語言模型架構進行參數優化以獲得所述流式模型參數，并在進行參數優化的過程中動態調整所述大語言模型架構的注意力范圍，令所述大語言模型架構僅關注當前可用輸入和上下文; 所述大語言模型模塊通過令牌解耦緩存機制實現流式推理的方式為： 設定初始的輸入令牌緩存池和輸出令牌緩存池，隨后交替執行讀取令牌和生成令牌； 在讀取令牌時，將需讀取的令牌與所述輸入令牌緩存池進行注意力計算以獲得第一注意力計算結果，并將所述第一注意力計算結果存至所述輸入令牌緩存池； 在生成令牌時，首先取出所述輸出令牌緩存池的最新令牌，隨后將該令牌與所述輸入令牌緩存池和所述輸出令牌緩存池進行注意力計算以獲得第二注意力計算結果，并將所述第二注意力計算結果存至所述輸出令牌緩存池。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人寧波東方理工大學(暫名)，其通訊地址為：315200 浙江省寧波市鎮海區莊市街道同心路568號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。