買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉蘇州元腦智能科技有限公司申請的專利加速卡部署方法、裝置、設備、存儲介質和程序產(chǎn)品獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN120407200B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-09-16發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510897024.X，技術領域涉及：G06F9/50；該發(fā)明授權加速卡部署方法、裝置、設備、存儲介質和程序產(chǎn)品是由程洋洋;程世超;楊洋;王兵;張凱設計研發(fā)完成，并于2025-06-30向國家知識產(chǎn)權局提交的專利申請。

本加速卡部署方法、裝置、設備、存儲介質和程序產(chǎn)品在說明書摘要公布了：本申請公開了加速卡部署方法、裝置、設備、存儲介質和程序產(chǎn)品，涉及人工智能技術領域，本申請的方法中，一方面，基于目標模型運行過程中的存儲占用量，確定運行目標模型所需的加速卡數(shù)量，這樣，可以保證加速卡的存儲容量之和與目標模型的存儲占用量相匹配。另一方面，依據(jù)加速卡數(shù)量，構建多個加速卡拓撲架構，并基于各個加速卡拓撲架構運行目標模型時的模型性能指標，選擇模型性能指標符合預設條件的第一加速卡拓撲架構作為部署加速卡的架構參考，這樣，在加速卡中運行目標模型時，可以保證目標模型的性能滿足期望的性能要求。基于以上兩個方面，可以解決相關技術中的模型的硬件資源配置與計算需求不匹配的問題。

本發(fā)明授權加速卡部署方法、裝置、設備、存儲介質和程序產(chǎn)品在權利要求書中公布了：1.一種加速卡部署方法，其特征在于，所述方法包括： 獲取目標模型運行過程中的存儲占用量； 依據(jù)所述存儲占用量和每個加速卡的存儲容量，確定運行所述目標模型時所需的加速卡數(shù)量； 依據(jù)所述加速卡數(shù)量，構建多個加速卡拓撲架構，其中，在不同的加速卡拓撲架構中，加速卡之間的連接方式不同； 確定使用各個加速卡拓撲架構運行所述目標模型時的模型性能指標； 若存在模型性能指標符合預設條件的第一加速卡拓撲架構，則依據(jù)所述第一加速卡拓撲架構，確定用于運行所述目標模型的服務器數(shù)量，以及在用于運行所述目標模型的服務器中部署加速卡； 其中，所述模型性能指標包括所述目標模型的延遲時長； 所述確定使用各個加速卡拓撲架構運行所述目標模型時的模型性能指標，包括： 針對所述多個加速卡拓撲架構中的任一目標加速卡拓撲架構，獲取所述目標加速卡拓撲架構運行所述目標模型時的首次令牌時長和平均令牌時長，所述首次令牌時長表征從所述目標模型接收到待推理序列開始，至所述目標模型輸出第一個令牌的耗時，所述平均令牌時長表征在所述目標模型輸出第一個令牌之后，所述目標模型輸出其它各個令牌的平均耗時； 基于所述首次令牌時長、所述平均令牌時長和所述目標模型需輸出的最大令牌數(shù)量，確定所述目標加速卡拓撲架構運行所述目標模型時的延遲時長。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人蘇州元腦智能科技有限公司，其通訊地址為：215000 江蘇省蘇州市吳中經(jīng)濟開發(fā)區(qū)綜保區(qū)經(jīng)一路1號8幢；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。