中國科學院計算技術研究所胡瑜獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉中國科學院計算技術研究所申請的專利一種基于注意力機制的神經網絡單元結構搜索方法及系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114626506B 。
龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210219650.X,技術領域涉及:G06N3/082;該發明授權一種基于注意力機制的神經網絡單元結構搜索方法及系統是由胡瑜;孫自浩設計研發完成,并于2022-03-08向國家知識產權局提交的專利申請。
本一種基于注意力機制的神經網絡單元結構搜索方法及系統在說明書摘要公布了:本發明提出一種基于注意力機制的神經網絡單元結構搜索方法和系統,包括:在搜索空間中構建宏架構超網絡,且宏架構超網絡中每一層單元結構為有向無環圖,有向無環圖中節點間通過邊相連接,每條邊代表搜索空間中多個候選操作的組合;對單元結構中每條邊的所有候選操作輸出特征圖之后添加注意力模塊,得到待搜索網絡;使用已標記標簽的數據集,訓練待搜索網絡,且在訓練過程中逐步刪除中間搜索網絡單元結構中每條邊上注意力權重最小的候選操作,直到訓練達到預設的迭代次數,剔除當前待搜索網絡中所有注意力模塊,得到數據集的神經網絡單元結構搜索結果。本發明既能考慮操作之間的相互影響,又能保留各個操作直至搜索的最后步驟。
本發明授權一種基于注意力機制的神經網絡單元結構搜索方法及系統在權利要求書中公布了:1.一種基于注意力機制的神經網絡單元結構搜索方法,其特征在于,包括: 步驟1、在搜索空間中構建宏架構超網絡,且該宏架構超網絡中每一層單元結構為有向無環圖,該有向無環圖中節點包括輸入節點、中間節點和輸出節點,該輸入節點接收前繼單元結構的輸出特征圖,該中間節點聚合該單元結構中所有前繼節點的特征圖,該輸出節點拼接所有中間節點的特征圖,該有向無環圖中節點間通過邊相連接,每條邊代表該搜索空間中多個候選操作的組合; 步驟2、對該單元結構中每條邊的所有候選操作輸出特征圖之后添加注意力模塊,得到待搜索網絡; 步驟3、使用已標記標簽的數據集,訓練該待搜索網絡,且在訓練過程中逐步刪除中間搜索網絡單元結構中每條邊上注意力權重最小的候選操作,直到訓練達到預設的迭代次數,剔除當前待搜索網絡中所有注意力模塊,得到該數據集的神經網絡單元結構搜索結果; 其中該數據集中包括多個樣本,每個樣本具有對應的標簽,樣本為圖片,標簽為圖片類別;該搜索空間為DARTS搜索空間。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國科學院計算技術研究所,其通訊地址為:100080 北京市海淀區中關村科學院南路6號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。