買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉杭州電子科技大學申請的專利一種基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)及方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114281954B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-09-09發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111044215.X，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)一種基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)及方法是由林菲;錢朝輝;張聰設計研發(fā)完成，并于2021-09-07向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)及方法在說明書摘要公布了：本發(fā)明屬于自然語言生成的計算機人工智能領(lǐng)域，公開了一種基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)及方法。包括：獲取多輪對話輸入內(nèi)容進行預處理，獲得每輪話語自身語義信息表示，再對每輪話語語句語義信息進行編碼，從而得到對話上下文的語義表示；接著采用圖注意力網(wǎng)絡捕獲多輪對話中的自相關(guān)性以及對話者之間的相關(guān)特征，并且在圖注意力網(wǎng)絡中引入關(guān)系位置編碼來說明包含話語的序列信息，從而得到圖編碼層的高級語義表示；最后將對話上下文語義信息表示和關(guān)系圖注意力編碼的高級語義表示作為輸入，使用GRU模型進行解碼生成最終的對話回復輸出表示。本發(fā)明顯著地提高了多輪對話回復生成的質(zhì)量，使得生成的回復更加連貫且有意義。

本發(fā)明授權(quán)一種基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)及方法在權(quán)利要求書中公布了：1.一種利用基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)進行多輪對話回復生成的方法，所述基于關(guān)系圖注意力網(wǎng)絡的多輪對話回復生成系統(tǒng)，包括語句輸入編碼層、圖編碼層以及解碼層，其特征在于，所述語句輸入編碼層包括詞級別編碼器和話語級別編碼器；所述詞級別編碼器對模型輸入的每輪話語中的詞進行編碼，從而獲取該輪話語自身的語義表示；所述話語級別編碼器對模型的話語自身語義表示進行編碼，從而獲取整個對話上下文語義信息表示；所述圖編碼層首先采用圖注意力網(wǎng)絡捕獲多輪對話中話語的自相關(guān)性以及對話者之間的相關(guān)性特征，其次引入關(guān)系位置編碼來說明話語之間包含的序列信息；所述解碼層根據(jù)輸入的上下文語義信息表示和圖編碼層的高級語義表示生成響應回復；其特征在于，所述方法包括如下步驟： 步驟一：獲取多輪對話輸入內(nèi)容進行預處理，將每輪話語中的詞語義信息通過預訓練的BERT模型轉(zhuǎn)化為對應的向量表示，從而獲得每輪話語自身語義表示，再通過Bi-GRU模型對每輪話語語句語義信息進行編碼，從而得到對話上下文語義信息表示； 步驟二：采用圖注意力網(wǎng)絡捕獲多輪對話中的自相關(guān)性以及對話者之間的相關(guān)性特征，并且在圖注意力網(wǎng)絡中引入關(guān)系位置編碼來說明話語之間包含的序列信息，從而得到圖編碼層的高級語義表示； 獲得圖編碼層的高級語義表示包括如下步驟： 對多輪對話中M條語句構(gòu)建有向圖并進行以下定義： 將多輪對話中每條語句定義為節(jié)點每條語句之間的關(guān)系依賴信息定義為邊r，vi,r,vj∈ε,其中邊的權(quán)重定義為 1首先將上下文編碼層所輸出的上下文語義表示作為節(jié)點vi的初始向量表示； 2基于節(jié)點構(gòu)建信息邊r，將信息邊r的類型進行如下4種區(qū)分定義：a信息邊r＝1：self-before類型:目標話語與該話語發(fā)出者之前的話語關(guān)系依賴類型信息；b信息邊r＝2：inter-before類型:目標話語與除該話語發(fā)出者以外的之前話語關(guān)系依賴類型信息；c信息邊r＝3：self-after類型:目標話語與該話語發(fā)出者之后的話語關(guān)系依賴類型信息；d信息邊r＝4：inter-after類型:目標話語與除該話語發(fā)出者以外的之后話語關(guān)系依賴類型信息； 3使用關(guān)系位置編碼的方法來捕獲這四種類型信息邊話語之間時序信息； 關(guān)系位置編碼過程由以下公式表示： 其中PEijr表示在關(guān)系類型r＝1、2、3、4下目標話語ui與其相鄰話語uj之間的關(guān)系距離，最大關(guān)系值介于[b,a]之間，b與a為目標話語與其他話語的前后滑動窗口值，表示在關(guān)系類型r＝1、2、3、4下目標話語ui的鄰域； 4計算相關(guān)信息邊的權(quán)重，其公式表示如下： 其中αijr表示在關(guān)系類型r下目標話語ui與其相鄰話語uj之間的邊權(quán)重值，Wr為注意力機制下的參數(shù)化加權(quán)矩陣，ar為參數(shù)化權(quán)向量，·T代表轉(zhuǎn)置，LRL為LeakyReLU激活函數(shù)； 5通過聚合鄰域的信息來更新每個節(jié)點的向量表示圖傳播機制編碼過程由以下公式表示： 其中為可訓練參數(shù)加權(quán)矩陣，L為卷積層數(shù)，最后輸出得到圖編碼層的高級語義表示 步驟三：將對話上下文語義信息表示和關(guān)系圖注意力編碼的高級語義表示作為輸入，使用GRU模型進行解碼生成最終的對話回復輸出表示。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人杭州電子科技大學，其通訊地址為：310018 浙江省杭州市下沙高教園區(qū)2號大街；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。