買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉北京無問芯穹科技有限公司申請(qǐng)的專利大語言模型壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120123803B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510612690.4，技術(shù)領(lǐng)域涉及：G06F18/23211；該發(fā)明授權(quán)大語言模型壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)是由請(qǐng)求不公布姓名設(shè)計(jì)研發(fā)完成，并于2025-05-13向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本大語言模型壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)在說明書摘要公布了：本公開涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種大語言模型壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。所述方法包括：對(duì)大語言模型的各個(gè)線性層的權(quán)重進(jìn)行聚類，得到多個(gè)聚類中心；對(duì)于每個(gè)所述權(quán)重，計(jì)算所述權(quán)重與目標(biāo)聚類中心之間的殘差，并對(duì)所述殘差進(jìn)行分解，得到分解殘差，其中所述目標(biāo)聚類中心為距離所述權(quán)重最近的聚類中心；根據(jù)所述多個(gè)聚類中心和每個(gè)所述權(quán)重的分解殘差，對(duì)所述大語言模型進(jìn)行壓縮。本公開實(shí)施例通過對(duì)各個(gè)線性層的權(quán)重采用聚類和殘差處理，實(shí)現(xiàn)對(duì)大語言模型權(quán)重的高效壓縮，同時(shí)盡可能保持模型的性能。

本發(fā)明授權(quán)大語言模型壓縮方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)在權(quán)利要求書中公布了：1.一種大語言模型壓縮方法，其特征在于，所述方法包括： 對(duì)大語言模型的各個(gè)線性層的權(quán)重進(jìn)行聚類，得到多個(gè)聚類中心，其中，所述大語言模型用于理解和生成人類語言，所述權(quán)重用于定義輸入特征與輸出之間的關(guān)系； 對(duì)于每個(gè)所述權(quán)重，計(jì)算所述權(quán)重與目標(biāo)聚類中心之間的殘差，并對(duì)所述殘差進(jìn)行分解，得到分解殘差，其中所述目標(biāo)聚類中心為距離所述權(quán)重最近的聚類中心； 根據(jù)所述多個(gè)聚類中心和每個(gè)所述權(quán)重的分解殘差，存儲(chǔ)每個(gè)所述權(quán)重的分解殘差和預(yù)設(shè)數(shù)量的聚類中心作為壓縮后的權(quán)重組，從而對(duì)所述大語言模型進(jìn)行壓縮； 將壓縮后的所述大語言模型部署在計(jì)算設(shè)備上，以使所述計(jì)算設(shè)備運(yùn)行所述壓縮后的大語言模型進(jìn)行推理，所述計(jì)算設(shè)備包括終端或者服務(wù)器； 其中，所述對(duì)于每個(gè)所述權(quán)重，計(jì)算所述權(quán)重與目標(biāo)聚類中心之間的殘差，并對(duì)所述殘差進(jìn)行分解，得到分解殘差，包括： 對(duì)于每個(gè)所述權(quán)重，計(jì)算所述權(quán)重的權(quán)重向量與所述多個(gè)聚類中心中的每個(gè)聚類中心的距離，并將距離最近的聚類中心確定為所述目標(biāo)聚類中心； 計(jì)算所述權(quán)重的權(quán)重向量與所述目標(biāo)聚類中心的差向量作為所述殘差； 將所述殘差重新排列為與所述權(quán)重的尺寸相同的殘差矩陣； 基于預(yù)設(shè)的矩陣處理方法對(duì)所述殘差矩陣進(jìn)行分解，得到所述分解殘差。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人北京無問芯穹科技有限公司，其通訊地址為：100083 北京市海淀區(qū)中關(guān)村東路8號(hào)東升大廈AB座群樓三層SA301、302、303、304、321、322、323、324、325單元；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。