買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉蘇州元腦智能科技有限公司申請(qǐng)的專利模型的量化方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN120317308B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-09-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510799724.5，技術(shù)領(lǐng)域涉及：G06N3/082；該發(fā)明授權(quán)模型的量化方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品是由董建寧;王相宇;李宇涵;李紀(jì)元設(shè)計(jì)研發(fā)完成，并于2025-06-16向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本模型的量化方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品在說明書摘要公布了：本申請(qǐng)公開了一種模型的量化方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，包括確定待量化的第一神經(jīng)網(wǎng)絡(luò)模型。將第一神經(jīng)網(wǎng)絡(luò)模型的多個(gè)目標(biāo)層的神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)由第一預(yù)設(shè)位數(shù)的浮點(diǎn)數(shù)轉(zhuǎn)換為第二預(yù)設(shè)位數(shù)的整數(shù)，得到第二神經(jīng)網(wǎng)絡(luò)模型。在第二神經(jīng)網(wǎng)絡(luò)模型接收到待推理的數(shù)據(jù)的情況下，將多個(gè)目標(biāo)層的神經(jīng)網(wǎng)絡(luò)的輸入激活值由第一預(yù)設(shè)位數(shù)的浮點(diǎn)數(shù)轉(zhuǎn)換為第二預(yù)設(shè)位數(shù)的整數(shù)。通過對(duì)目標(biāo)層的神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)和輸入激活值進(jìn)行同等精度的等位量化處理，解決了因權(quán)重參數(shù)和輸入激活值的量化精度不一致而帶來的無法收斂的問題或出現(xiàn)亂碼的技術(shù)問題，達(dá)到了降低第二神經(jīng)網(wǎng)絡(luò)模型的輸出結(jié)果的錯(cuò)誤率的技術(shù)效果。

本發(fā)明授權(quán)模型的量化方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品在權(quán)利要求書中公布了：1.一種模型的量化方法，其特征在于，所述方法包括： 確定待量化的第一神經(jīng)網(wǎng)絡(luò)模型，其中，所述第一神經(jīng)網(wǎng)絡(luò)模型包括多層神經(jīng)網(wǎng)絡(luò)，所述多層神經(jīng)網(wǎng)絡(luò)中的每層所述神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)以及每層所述神經(jīng)網(wǎng)絡(luò)的輸出激活值均采用第一預(yù)設(shè)位數(shù)的浮點(diǎn)數(shù)表示； 將所述第一神經(jīng)網(wǎng)絡(luò)模型的多個(gè)目標(biāo)層的神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)由所述第一預(yù)設(shè)位數(shù)的浮點(diǎn)數(shù)轉(zhuǎn)換為第二預(yù)設(shè)位數(shù)的整數(shù)，得到第二神經(jīng)網(wǎng)絡(luò)模型，其中，所述第二預(yù)設(shè)位數(shù)小于所述第一預(yù)設(shè)位數(shù)； 在所述第二神經(jīng)網(wǎng)絡(luò)模型接收到待推理的數(shù)據(jù)的情況下，將所述多個(gè)目標(biāo)層的神經(jīng)網(wǎng)絡(luò)的輸入激活值由所述第一預(yù)設(shè)位數(shù)的浮點(diǎn)數(shù)轉(zhuǎn)換為所述第二預(yù)設(shè)位數(shù)的整數(shù)； 其中，各所述目標(biāo)層的神經(jīng)網(wǎng)絡(luò)用于根據(jù)權(quán)重參數(shù)和輸入激活值，輸出對(duì)應(yīng)的輸出激活值； 其中，所述第二神經(jīng)網(wǎng)絡(luò)模型的權(quán)重參數(shù)為整數(shù)且所述第二神經(jīng)網(wǎng)絡(luò)模型的權(quán)重參數(shù)的第二預(yù)設(shè)位數(shù)小于所述第一神經(jīng)網(wǎng)絡(luò)模型的權(quán)重參數(shù)的第一預(yù)設(shè)位數(shù)，以使所述第二神經(jīng)網(wǎng)絡(luò)在推理過程中對(duì)于計(jì)算資源的消耗少于所述第一神經(jīng)網(wǎng)絡(luò)模型在推理過程中對(duì)于計(jì)算資源的消耗，所述第二神經(jīng)網(wǎng)絡(luò)模型部署在嵌入式設(shè)備或移動(dòng)設(shè)備上； 所述第二神經(jīng)網(wǎng)絡(luò)模型包括輸出過濾層，所述方法還包括：通過所述輸出過濾層接收所述第二神經(jīng)網(wǎng)絡(luò)模型的解碼層輸出的字節(jié)；通過所述輸出過濾層在所述字節(jié)滿足預(yù)設(shè)格式的情況下，輸出所述字節(jié)對(duì)應(yīng)的文字結(jié)果；所述文字結(jié)果為自然語言文本；通過所述輸出過濾層在所述字節(jié)未滿足所述預(yù)設(shè)格式的情況下，將所述字節(jié)緩存至緩存區(qū)；通過所述輸出過濾層在將上一字節(jié)緩存至緩存區(qū)之后，若接收到新的字節(jié)，則將所述新的字節(jié)緩存至所述緩存區(qū)；在所述緩存區(qū)緩存的字節(jié)的數(shù)量達(dá)到預(yù)設(shè)數(shù)量的情況下，將所述緩存區(qū)緩存的多個(gè)字節(jié)合并之后再進(jìn)行解碼，得到對(duì)應(yīng)的文字結(jié)果。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人蘇州元腦智能科技有限公司，其通訊地址為：215000 江蘇省蘇州市吳中經(jīng)濟(jì)開發(fā)區(qū)綜保區(qū)經(jīng)一路1號(hào)8幢；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。