買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉浙江大學申請的專利一種布局和任務感知的文本提示零樣本文檔圖片問答方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116775822B 。

龍圖騰網通過國家知識產權局官網在2025-09-05發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310607370.0，技術領域涉及：G06F16/3329；該發明授權一種布局和任務感知的文本提示零樣本文檔圖片問答方法是由張寅;王文瑾;羅聰;李昀昊設計研發完成，并于2023-05-26向國家知識產權局提交的專利申請。

本一種布局和任務感知的文本提示零樣本文檔圖片問答方法在說明書摘要公布了：本發明公開了一種布局和任務感知的文本提示零樣本文檔圖片問答方法。本發明包括如下步驟：1根據文檔圖片包含的內容構造包含布局信息的文檔內容提示文本；2根據具體的任務需求構造任務描述提示文本模板；3根據任務描述提示文本模板以及內容提示文本和具體的問題生成完整的提示文本，將其輸入大語言模型得到最后的問答結果。和現有技術相比，本發明通過人為精心設計提示文本有效利用了指令微調大語言模型強大的能力，實現了對文檔圖片的零樣本問答，并且取得了與預訓練微調范式下同類型模型相當的性能。

本發明授權一種布局和任務感知的文本提示零樣本文檔圖片問答方法在權利要求書中公布了：1.一種布局和任務感知的文本提示零樣本文檔圖片問答方法，其特征在于，步驟如下： S1：對文檔圖片進行OCR處理，提取出文檔圖片中包含的所有文本片段和每個文本片段對應的文本框坐標； S2：將S1中提取的所有文本片段按照對應的文本框坐標判斷在文檔圖片中所處的原始行，并通過加空格和換行符的方式將所有文本片段組合成文檔內容提示文本；且組合過程中，所有文本片段按照對應的原始行進行排序，處于同一原始行中的文本片段繼續放置于文檔內容提示文本的同一行中，且上下兩行之間通過添加換行符進行換行，而同一行的相鄰文本片段之間通過添加空格來保證其橫向間距與兩者在文檔圖片中的原始布局一致，從而使組合后的文檔內容提示文本保留原始文檔中的布局信息； S3：讀取針對目標問答任務設計的任務描述提示文本模板，該模板中包含具體任務描述、含有布局信息的文檔內容提示占位符和具體問題占位符，將S2中組合形成的文檔內容提示文本和用戶輸入的具體問題替換模板中相應的占位符，得到最終的任務描述提示文本并將其輸入指令微調后的語言模型中，通過模型解碼輸出最后的問答結果； 所述S2中，通過加空格和換行符的方式將所有文本片段組合成文檔內容提示文本的具體方法如下： S21、首先根據每個文本片段的提取文本框的坐標，按照從上到下、從左到右的順序對所有文本片段進行排列，記錄在文檔圖片中處于同一原始行的文本片段以及其對應的文本框坐標，然后將單行中的所有文本框寬度之和除以這一行中的總字符數量，得到單個字符的平均字符寬度； 計算單個字符的平均字符寬度時，先查找到字符數量最多的行，然后以這一行作為基準計算平均字符寬度，進而表征整個文檔圖片中所有行的平均字符寬度； S22、然后將在文檔圖片中處于同一原始行的文本片段按照各自在文檔圖片中的橫向空間順序進行組合，相鄰兩個文本片段之間通過添加空格來維持其橫向布局信息，且添加的空格數量由兩個文本片段對應的文本框最小水平間距除以所述平均字符寬度得到； S23、將每一行組合文本按照其在文檔圖片中的豎向空間順序從上到下排列，相鄰兩行組合文本之間通過添加換行符進行分隔。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江大學，其通訊地址為：310058 浙江省杭州市西湖區余杭塘路866號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。