買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉中科加禾(北京)科技有限公司申請(qǐng)的專利推理方法、裝置、設(shè)備及介質(zhì)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119443258B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-22發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411320307.X，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)推理方法、裝置、設(shè)備及介質(zhì)是由孫騫琦;韓杰茜設(shè)計(jì)研發(fā)完成，并于2024-09-20向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本推理方法、裝置、設(shè)備及介質(zhì)在說(shuō)明書摘要公布了：本申請(qǐng)?zhí)峁┝艘环N推理方法、裝置、設(shè)備及介質(zhì)。其中方法包括：在接收到推理請(qǐng)求時(shí)，獲取部署在各GPU上的目標(biāo)模型的模型參數(shù)，該推理請(qǐng)求包括推理任務(wù)的信息，推理任務(wù)的信息包括輸入數(shù)據(jù)；之后，根據(jù)目標(biāo)模型的結(jié)構(gòu)信息，將推理任務(wù)按照計(jì)算任務(wù)和通信任務(wù)的組合方式切分為與該GPU對(duì)應(yīng)的多組子任務(wù)；以及，將輸入數(shù)據(jù)切分成與各組子任務(wù)對(duì)應(yīng)的輸入子數(shù)據(jù)；之后，根據(jù)各組子任務(wù)中計(jì)算任務(wù)與通信任務(wù)之間的順序依賴關(guān)系，生成一個(gè)與該GPU對(duì)應(yīng)的CUDA流，該CUDA流用于實(shí)現(xiàn)并行執(zhí)行多組子任務(wù)；然后，根據(jù)該CUDA流調(diào)度該GPU上的CUDA內(nèi)核，以供該GPU依據(jù)模型參數(shù)和輸入子數(shù)據(jù)并行執(zhí)行多組子任務(wù)，得到與推理請(qǐng)求對(duì)應(yīng)的推理結(jié)果。本申請(qǐng)能夠降低推理時(shí)延。

本發(fā)明授權(quán)推理方法、裝置、設(shè)備及介質(zhì)在權(quán)利要求書中公布了：1.一種推理方法，其中，所述方法包括： 響應(yīng)于接收到針對(duì)目標(biāo)模型的推理請(qǐng)求，獲取部署在各圖形處理器上的所述目標(biāo)模型的模型參數(shù)，其中，所述推理請(qǐng)求包括推理任務(wù)的信息，所述推理任務(wù)的信息包括輸入數(shù)據(jù)； 根據(jù)所述目標(biāo)模型的結(jié)構(gòu)信息，將所述推理任務(wù)按照計(jì)算任務(wù)和通信任務(wù)的組合方式切分為與該圖形處理器對(duì)應(yīng)的多組子任務(wù)；其中，各組子任務(wù)包括通信任務(wù)和計(jì)算任務(wù)；以及，將所述輸入數(shù)據(jù)切分成與各組子任務(wù)對(duì)應(yīng)的輸入子數(shù)據(jù)； 根據(jù)各組子任務(wù)中計(jì)算任務(wù)與通信任務(wù)之間的順序依賴關(guān)系，生成一個(gè)與該圖形處理器對(duì)應(yīng)的統(tǒng)一計(jì)算設(shè)備架構(gòu)CUDA流；其中，該CUDA流用于實(shí)現(xiàn)并行執(zhí)行多組子任務(wù)； 根據(jù)該CUDA流調(diào)度該圖形處理器上的CUDA內(nèi)核，以供該圖形處理器依據(jù)所述模型參數(shù)和所述輸入子數(shù)據(jù)并行執(zhí)行多組子任務(wù)，得到與所述推理請(qǐng)求對(duì)應(yīng)的推理結(jié)果。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中科加禾(北京)科技有限公司，其通訊地址為：100080 北京市海淀區(qū)中關(guān)村大街1號(hào)13層1305室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。