買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉淵慧科技有限公司申請的專利增強基于注意力的神經網絡以選擇性地關注過去的輸入獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114467096B 。

龍圖騰網通過國家知識產權局官網在2025-08-22發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202080067175.8，技術領域涉及：G06N3/0464；該發明授權增強基于注意力的神經網絡以選擇性地關注過去的輸入是由杰克·威廉·雷;安娜·波塔片科;蒂莫西·保羅·利利克拉普設計研發完成，并于2020-09-24向國家知識產權局提交的專利申請。

本增強基于注意力的神經網絡以選擇性地關注過去的輸入在說明書摘要公布了：包括在計算機存儲介質上編碼的計算機程序的方法、系統和裝置，用于對作為序列的網絡輸入執行機器學習任務以生成網絡輸出。在一個方面，方法中的一個包括，針對層輸入的每個特定序列：針于神經網絡中的每個注意力層：維護事段記憶數據；維護壓縮記憶數據；接收要由注意力層處理的層輸入；以及對i該層的壓縮記憶數據中的壓縮表示、ii該層的事段記憶數據中的隱藏狀態，以及iii特定網絡輸入中的多個輸入位置中的每個輸入位置處的相應的隱藏狀態應用注意力機制，以生成層輸入中的每個輸入位置的相應的激活。

本發明授權增強基于注意力的神經網絡以選擇性地關注過去的輸入在權利要求書中公布了：1.一種用于使用神經網絡處理包括網絡輸入的序列的輸入以生成網絡輸出的方法，所述網絡輸入的序列中的每個網絡輸入在多個輸入位置中的每個輸入位置處具有相應的輸入，所述神經網絡具有多個注意力層，每個注意力層各自對層輸入應用注意力機制，所述層輸入包括在所述多個輸入位置中的每個輸入位置處的相應的隱藏狀態，以針對每個輸入位置生成相應的激活，其中，所述層輸入包括作為從所述輸入導出的整體序列的片段的輸入序列，并且其中， 每個輸入位置從一種語言的單詞導出，并且所述網絡輸出包括提供單詞到另一種語言的翻譯的輸出序列，以執行神經機器翻譯任務，或者 所述輸入包括用于執行音頻處理任務的音頻數據，并且所述網絡輸出提供所述音頻處理任務的結果，以識別音頻中的單詞或短語、或將所述音頻轉換為文本、或識別說出口頭話語的自然語言，或者 所述輸入是自然語言的文本或自然語言中的文本特征，并且所述網絡輸出定義頻譜圖、或包括定義以所述自然語言說出的所述文本的音頻的其他數據，以執行文本到語音任務，或者 所述輸入是條件輸入，并且所述網絡輸出是圖像的像素的強度值序列，以執行圖像生成，或者 所述輸入是觀察的序列或表征環境狀態的其他數據，并且所述網絡輸出定義機械智能體響應于所述序列中的最近數據而要執行的動作，以執行智能體控制任務， 所述方法包括，針對所述序列中的每個特定網絡輸入： 針對所述神經網絡中的每個注意力層： 維護對應的事段記憶數據，所述對應的事段記憶數據包括由所述注意力層針對所述序列中的所述特定網絡輸入之前的第一部分先前網絡輸入進行了處理的相應的隱藏狀態； 維護對應的壓縮記憶數據，所述對應的壓縮記憶數據包括由所述注意力層針對所述序列中的所述第一部分先前網絡輸入之前的第二部分先前網絡輸入進行了處理的相應的隱藏狀態的壓縮表示； 在使用所述神經網絡處理所述特定網絡輸入期間，接收要由所述注意力層處理的層輸入；以及 對i用于所述層的所述壓縮記憶數據中的所述壓縮表示、ii用于所述層的所述事段記憶數據中的所述隱藏狀態、以及iii所述特定網絡輸入中的所述多個輸入位置中的每個輸入位置處的相應的隱藏狀態應用注意力機制，以生成針對所述層輸入中的每個輸入位置的相應的激活。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人淵慧科技有限公司，其通訊地址為：英國倫敦；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。