買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉蘇州元腦智能科技有限公司申請的專利推理服務(wù)的負(fù)載均衡方法、裝置、電子設(shè)備和存儲介質(zhì)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120358236B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-08-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510851598.3，技術(shù)領(lǐng)域涉及：H04L67/1001；該發(fā)明授權(quán)推理服務(wù)的負(fù)載均衡方法、裝置、電子設(shè)備和存儲介質(zhì)是由王文瀟設(shè)計研發(fā)完成，并于2025-06-24向國家知識產(chǎn)權(quán)局提交的專利申請。

本推理服務(wù)的負(fù)載均衡方法、裝置、電子設(shè)備和存儲介質(zhì)在說明書摘要公布了：本公開提供了一種推理服務(wù)的負(fù)載均衡方法、裝置、電子設(shè)備和存儲介質(zhì)，涉及計算機(jī)技術(shù)領(lǐng)域，包括：在推理服務(wù)節(jié)點集合處理會話請求的過程中，獲取推理服務(wù)節(jié)點集合中任一推理服務(wù)節(jié)點的負(fù)載狀態(tài)信息；在負(fù)載狀態(tài)信息指示任一推理服務(wù)節(jié)點的節(jié)點壓力大于壓力閾值的情況下，創(chuàng)建與任一推理服務(wù)節(jié)點對應(yīng)的代理服務(wù)；根據(jù)節(jié)點壓力，創(chuàng)建代理服務(wù)的副本集合；根據(jù)請求分配策略，將任一推理服務(wù)節(jié)點對應(yīng)的會話請求分發(fā)至副本集合中各副本進(jìn)行處理，并在代理服務(wù)和各副本之間執(zhí)行負(fù)載均衡操作；在副本集合對應(yīng)的壓力信息滿足壓力要求的情況下，在副本集合中確定第一副本，釋放副本集合中除第一副本之外的副本，并采用第一副本替換代理服務(wù)。

本發(fā)明授權(quán)推理服務(wù)的負(fù)載均衡方法、裝置、電子設(shè)備和存儲介質(zhì)在權(quán)利要求書中公布了：1.一種推理服務(wù)的負(fù)載均衡方法，其特征在于，包括： 在推理服務(wù)節(jié)點集合處理會話請求的過程中，獲取所述推理服務(wù)節(jié)點集合中任一推理服務(wù)節(jié)點的負(fù)載狀態(tài)信息； 在所述負(fù)載狀態(tài)信息指示所述任一推理服務(wù)節(jié)點的節(jié)點壓力大于壓力閾值的情況下，創(chuàng)建與所述任一推理服務(wù)節(jié)點對應(yīng)的代理服務(wù)； 根據(jù)所述節(jié)點壓力，創(chuàng)建所述代理服務(wù)的副本集合； 根據(jù)請求分配策略，將所述任一推理服務(wù)節(jié)點對應(yīng)的會話請求分發(fā)至所述副本集合中各副本進(jìn)行處理，并在所述代理服務(wù)和所述各副本之間執(zhí)行負(fù)載均衡操作； 在所述副本集合對應(yīng)的壓力信息滿足壓力要求的情況下，在所述副本集合中確定第一副本，釋放所述副本集合中除所述第一副本之外的副本，并采用所述第一副本替換所述代理服務(wù)； 所述方法還包括： 在所述各副本處理完成目標(biāo)會話請求后且鍵值緩存存在變更的情況下，將序列化后的鍵值緩存上傳至中心化存儲系統(tǒng)； 通過網(wǎng)絡(luò)廣播方式發(fā)送同步通知信息到副本子集，其中，所述同步通知信息包括所述鍵值緩存存在變更的相關(guān)信息； 在確定所述各副本接收到同步通知信息的情況下，根據(jù)所述同步通知信息中的會話標(biāo)識和鍵值緩存版本號，從所述中心化存儲系統(tǒng)拉取距離當(dāng)前時間最近的鍵值緩存并進(jìn)行反序列化，得到反序列化的鍵值緩存； 在所述反序列化的鍵值緩存校驗通過的情況下，存儲所述反序列化的鍵值緩存，刪除已存儲的鍵值緩存。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人蘇州元腦智能科技有限公司，其通訊地址為：215103 江蘇省蘇州市吳中經(jīng)濟(jì)開發(fā)區(qū)綜保區(qū)經(jīng)一路1號8幢；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。