買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉蘇州浪潮智能科技有限公司申請的專利一種文本數據集清洗方法、裝置及介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114647731B 。

龍圖騰網通過國家知識產權局官網在2025-09-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210324649.3，技術領域涉及：G06F16/35；該發明授權一種文本數據集清洗方法、裝置及介質是由張榮國設計研發完成，并于2022-03-29向國家知識產權局提交的專利申請。

本一種文本數據集清洗方法、裝置及介質在說明書摘要公布了：本發明公開了一種文本數據集清洗方法、裝置及介質，屬于計算機數據技術領域，方法包括：接收待清洗的文本數據集；對第一格式文本數據集和第二格式文本數據集進行中文過濾操作，以分別形成第一格式第一文本數據集和第二格式第一文本數據集；將所述第二格式第一文本數據集轉換為第一格式第二文本數據集；將所述第一格式第一文本數據集以及所述第一格式第二文本數據集進行編碼格式轉換，以形成第一格式第三文本數據集；對所述第一格式第三文本數據集進行數據清洗操作。本發明實現了基于Bash腳本和Spark開源集群運算框架的高效的數據分類清洗方案，能夠在短時間內處理TB級別的互聯網文本數據集，提高了清洗效率。

本發明授權一種文本數據集清洗方法、裝置及介質在權利要求書中公布了：1.一種文本數據集清洗方法，其特征在于，所述方法包括： 接收待清洗的文本數據集； 基于Bash腳本將所述待清洗的文本數據集分類成第一格式文本數據集和第二格式文本數據集； 對所述第一格式文本數據集和第二格式文本數據集進行中文過濾操作，以分別形成第一格式第一文本數據集和第二格式第一文本數據集； 將所述第二格式第一文本數據集轉換為第一格式第二文本數據集； 將所述第一格式第一文本數據集以及所述第一格式第二文本數據集進行編碼格式轉換，以形成第一格式第三文本數據集； 對所述第一格式第三文本數據集進行數據清洗操作，其中所述數據清洗操作包括：通過消息摘要算法對所述第一格式第三文本數據集進行計算并進行內容去重操作； 所述對所述第一格式文本數據集和第二格式文本數據集進行中文過濾操作，以分別形成第一格式第一文本數據集和第二格式第一文本數據集，包括： 根據所述第一格式文本數據集中各文本數據的全路徑中是否包括第一預設詞匯來判斷所述文本數據是否為中文文本數據，若是，則刪除；若否，則保留；和或根據所述第一格式文本數據集中各文本數據的前一百行是否包括中文字符來判斷所述文本數據是否為中文文本數據，若是，則保留；若否，則刪除，以形成第一格式第一文本數據集； 根據所述第二格式文本數據集中各文本數據的全路徑中是否包括第一預設詞匯來判斷所述文本數據是否為中文文本數據，若是，則刪除；若否，則保留，以形成第二格式第一文本數據集； 其中，所述第一格式文本數據集為TXT格式的電子書；第二格式文本數據集為EPUB格式的電子書；第一格式第三文本數據集為中文的UTF-8格式的TXT電子書。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人蘇州浪潮智能科技有限公司，其通訊地址為：215168 江蘇省蘇州市吳中經濟開發區郭巷街道官浦路1號9幢；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。