清華大學深圳國際研究生院;北京三快在線科技有限公司鄭海濤獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網獲悉清華大學深圳國際研究生院;北京三快在線科技有限公司申請的專利一種用于神經網絡訓練的大規模POI數據處理和加載方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN118796966B 。
龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411096264.1,技術領域涉及:G06F16/29;該發明授權一種用于神經網絡訓練的大規模POI數據處理和加載方法是由鄭海濤;劉漢卿;謝睿;江勇;夏樹濤;肖喜設計研發完成,并于2024-08-12向國家知識產權局提交的專利申請。
本一種用于神經網絡訓練的大規模POI數據處理和加載方法在說明書摘要公布了:本發明提出一種用于神經網絡訓練的大規模POI數據處理和加載方法,包括以下步驟:S1:定義基本參數;S2:輔助文件構建;S3:數據加載,即為系統實際使用時的工作過程,對步驟S1中的輔助文件進行逐步解析以得到結果。采用本方法,POI相關數據的處理高效且磁盤和內存占用低;隨機讀取高效,復雜度為O1,內存占用低;分割為訓練、驗證和測試集的過程高效、計算資源消耗低。
本發明授權一種用于神經網絡訓練的大規模POI數據處理和加載方法在權利要求書中公布了:1.一種用于神經網絡訓練的大規模POI數據處理和加載方法,其特征在于,包括以下步驟: S1:定義基本參數,包括POI數據表格的結構定義; S2:輔助文件構建:對數據進行預處理并將處理結果存儲在伴隨文件中;構建查找文件和映射文件,其中所述查找文件用于記錄POI數據在原始文件中的位置和處理結果,所述映射文件用于提供數據快速定位; S3:數據加載:在實際使用時,系統先根據所述映射文件找到POI數據在所述查找文件中的位置,然后打開所述查找文件,根據所述映射文件指示的偏移量讀取相應的數據行;其中,所述伴隨文件中的處理結果可提供參考以對讀取的數據進行進一步的處理和利用; 步驟S1具體為:定義POI數據表格,包括若干數據表格文件,為表格個數,所述POI數據表格有4個字段,分別為POI標識符POIID,行標識符ITEMID,數據字段1:,數據字段2:;所述數據表格文件為文本形式,其中每一個POI在所述POI數據表格中對應的一系列行連續且處于同一數據表格文件中,同一數據表格文件中存在若干POI; 步驟S2包括以下步驟: S2-1:數據處理,處理結果以伴隨文件的形式存儲;數據處理過程可以多次進行,其結果文件分別記為,其中為處理次數,表示對表格的第i次處理所得的伴隨文件;對應于表格的一次處理所得的伴隨文件記為,中包含兩個字段,狀態字段和ITEMID字段,其中狀態字段表示該行的處理結果,字段存儲對應的用于校驗;中的第行與中的第行對應; S2-2:根據處理后的數據構建加載所需的相關輔助文件; 步驟S3包括以下步驟: S3-1:根據映射文件定位所需POI所在的查找文件及其位于該查找文件的位置; S3-2:根據S3-1步驟中得到的定位信息,打開對應的查找文件,將文件指針偏移個字節,讀取一行,得到對應POI的一組數據; S3-3:根據偏移字節數和數據處理結果讀取原始文件中的數據; S3-4:利用數據處理結果根據需求選擇數據利用方式。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人清華大學深圳國際研究生院;北京三快在線科技有限公司,其通訊地址為:518071 廣東省深圳市南山區桃源街道麗水路2279號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。