買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉鵬城實驗室申請的專利基于投機采樣的大模型分布式推理加速方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN120373477B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510885627.8，技術領域涉及：G06N5/04；該發明授權基于投機采樣的大模型分布式推理加速方法及裝置是由鄭策;王星翰;寧嘉鴻;楊勇;黃寧;楊婷婷設計研發完成，并于2025-06-30向國家知識產權局提交的專利申請。

本基于投機采樣的大模型分布式推理加速方法及裝置在說明書摘要公布了：本申請實施例提供基于投機采樣的大模型分布式推理加速方法及裝置，涉及人工智能領域。將終端前綴信息輸入草稿小模型進行內容生成得到多個候選token和對應的小模型概率分布，將參數序列、每個候選token和候選token對應的小模型概率值傳輸至基站，以使得基站利用目標大模型生成每個候選token的大模型概率分布，并將候選token分為接受token和或拒絕token。如果終端接收到第一個拒絕token對應的大模型概率分布，對第一個拒絕token進行重采樣得到重采樣token，將重采樣token寫入參數序列，并根據重采樣token更新終端前綴信息，迭代執行，直至得到推理結果。將對候選token的拒絕接收過程放在基站執行，將拒絕后的重采樣過程放置在終端設備上執行，提升協同推理效率。

本發明授權基于投機采樣的大模型分布式推理加速方法及裝置在權利要求書中公布了：1.一種基于投機采樣的大模型分布式推理加速方法，其特征在于，應用于終端設備，所述終端設備上部署草稿小模型，所述方法包括： 將終端前綴信息輸入所述草稿小模型進行內容生成，得到多個候選token和每個所述候選token對應的小模型概率分布； 將當前的參數序列、每個所述候選token和所述候選token在對應的所述小模型概率分布中的小模型概率值作為終端生成數據傳輸至基站，以使得所述基站利用目標大模型根據所述終端生成數據生成每個所述候選token的大模型概率分布，并將所述候選token分為接受token和或拒絕token，所述目標大模型的參數量高于所述草稿小模型； 如果接收到第一個所述拒絕token對應的所述大模型概率分布，對第一個所述拒絕token進行重采樣，得到重采樣token，將所述重采樣token寫入所述參數序列，并根據所述重采樣token更新所述終端前綴信息； 迭代執行，直至觸發結束條件，得到推理結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人鵬城實驗室，其通訊地址為：518000 廣東省深圳市南山區興科一街2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。