焦點(diǎn)科技股份有限公司沈浩獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉焦點(diǎn)科技股份有限公司申請(qǐng)的專利一種基于規(guī)則引擎和Clickhouse的流量數(shù)倉(cāng)建設(shè)方法獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN116594982B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-08-26發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202310589190.4,技術(shù)領(lǐng)域涉及:G06F16/21;該發(fā)明授權(quán)一種基于規(guī)則引擎和Clickhouse的流量數(shù)倉(cāng)建設(shè)方法是由沈浩;成俊杰設(shè)計(jì)研發(fā)完成,并于2023-05-24向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本一種基于規(guī)則引擎和Clickhouse的流量數(shù)倉(cāng)建設(shè)方法在說(shuō)明書摘要公布了:本發(fā)明公開了一種基于規(guī)則引擎和Clickhouse的流量數(shù)倉(cāng)建設(shè)方法。其特征在于:通過(guò)對(duì)SDK的封裝拓展,形成一套集多端用戶行為數(shù)據(jù)采集的埋點(diǎn)SDK,其中應(yīng)用端為Nginx,包括一層中轉(zhuǎn)Nginx用于匯總服務(wù)器日志;流量數(shù)倉(cāng)使用第二天離線數(shù)倉(cāng)的數(shù)據(jù)覆蓋當(dāng)天實(shí)時(shí)數(shù)倉(cāng)的數(shù)據(jù);所有分析場(chǎng)景的SQL查詢基于ClickHouse,包括業(yè)務(wù)數(shù)理統(tǒng)計(jì);預(yù)設(shè)數(shù)據(jù)治理系統(tǒng)對(duì)埋點(diǎn)進(jìn)行全量校驗(yàn)和實(shí)時(shí)驗(yàn)收,反饋驗(yàn)收失敗的埋點(diǎn)給開發(fā)人員;規(guī)則引擎集成在埋點(diǎn)管理系統(tǒng),分離業(yè)務(wù)決策邏輯和技術(shù)決策。達(dá)到實(shí)現(xiàn)高效的流量數(shù)倉(cāng)建設(shè),能夠準(zhǔn)確采集用戶行為數(shù)據(jù)并進(jìn)行實(shí)時(shí)處理和分析,以提高數(shù)據(jù)處理效率和準(zhǔn)確性的效果。
本發(fā)明授權(quán)一種基于規(guī)則引擎和Clickhouse的流量數(shù)倉(cāng)建設(shè)方法在權(quán)利要求書中公布了:1.一種基于規(guī)則引擎和Clickhouse的流量數(shù)倉(cāng)建設(shè)方法,其特征在于,包括以下步驟: 步驟1:基于開源的埋點(diǎn)SDK進(jìn)行各應(yīng)用端SDK的封裝,SDK上報(bào)的數(shù)據(jù)發(fā)送到各業(yè)務(wù)應(yīng)用端,使用flume采集各個(gè)應(yīng)用端日志進(jìn)行解析分析,并對(duì)日志進(jìn)行打印; 步驟2:將打印的日志通過(guò)flume采集落盤至hdfs文件并同時(shí)發(fā)送到kafka,作為流量數(shù)倉(cāng)的數(shù)據(jù)源,所述流量數(shù)倉(cāng)采用lambda架構(gòu),包括基于Spark的離線數(shù)倉(cāng),用于解析、處理T+1數(shù)據(jù),和基于Flink的實(shí)時(shí)數(shù)倉(cāng),用于解析、梳理當(dāng)天實(shí)時(shí)數(shù)據(jù),使用集成在埋點(diǎn)管理系統(tǒng)中的規(guī)則引擎來(lái)處理數(shù)據(jù)解析邏輯,將流量數(shù)倉(cāng)處理形成的結(jié)構(gòu)化數(shù)據(jù)存入ClickHouse; 步驟3:基于ClickHouse的物化視圖功能,針對(duì)數(shù)據(jù)分析場(chǎng)景生成開發(fā)報(bào)表,提供實(shí)時(shí)查詢接口; 步驟4:對(duì)步驟2中存入ClickHouse的數(shù)據(jù)進(jìn)行T+1數(shù)據(jù)的全量校驗(yàn)與實(shí)時(shí)埋點(diǎn)數(shù)據(jù)上報(bào)驗(yàn)收,并將驗(yàn)收結(jié)果返回給開發(fā); 步驟5:對(duì)于步驟2,使用規(guī)則引擎新增或更新lambda架構(gòu)中的業(yè)務(wù)邏輯;所述步驟5中:所述規(guī)則引擎集成在埋點(diǎn)管理系統(tǒng),所述規(guī)則引擎為Drools,在離線和實(shí)時(shí)的預(yù)處理時(shí)映射成方法傳入,在更新預(yù)處理邏輯時(shí)不改動(dòng)etl本身任務(wù),離線Spark任務(wù)在第二天運(yùn)行時(shí)自動(dòng)讀取預(yù)處理規(guī)則表,實(shí)時(shí)Flink任務(wù)在初始化時(shí)讀取預(yù)處理規(guī)則表,存入狀態(tài)中,在任務(wù)運(yùn)行中定時(shí)讀取規(guī)則表,更新狀態(tài)中預(yù)處理規(guī)則的內(nèi)容,用以分離業(yè)務(wù)決策者的業(yè)務(wù)決策邏輯和應(yīng)用開發(fā)者的技術(shù)決策。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人焦點(diǎn)科技股份有限公司,其通訊地址為:210032 江蘇省南京市江北新區(qū)麗景路7號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 索尼半導(dǎo)體解決方案公司星野和弘獲國(guó)家專利權(quán)
- 麥克賽爾株式會(huì)社平冢幸惠獲國(guó)家專利權(quán)
- 高通股份有限公司陳萬(wàn)士獲國(guó)家專利權(quán)
- 上海云拿智能科技有限公司李庭濤獲國(guó)家專利權(quán)
- 根馬布私人有限公司F.貝烏爾肯斯獲國(guó)家專利權(quán)
- 姚蘇栩獲國(guó)家專利權(quán)
- 愛(ài)思開海力士有限公司李宰承獲國(guó)家專利權(quán)
- 愛(ài)德華茲生命科學(xué)公司D·S·帕特爾獲國(guó)家專利權(quán)
- 蘋果公司A·G·馬賽厄斯獲國(guó)家專利權(quán)
- 華為技術(shù)有限公司王靜獲國(guó)家專利權(quán)


熱門推薦
- 富通麥迪資產(chǎn)二有限公司馬修斯·亨德里克·路易斯·西森獲國(guó)家專利權(quán)
- W.L.戈?duì)柤巴使煞萦邢薰維·澤羅獲國(guó)家專利權(quán)
- AGC株式會(huì)社村山優(yōu)獲國(guó)家專利權(quán)
- 寧波舜宇光電信息有限公司蔣恒獲國(guó)家專利權(quán)
- 吉林麥達(dá)斯鋁業(yè)有限公司王立臣獲國(guó)家專利權(quán)
- IDAC控股公司葉春宣獲國(guó)家專利權(quán)
- 亞歷克西斯·達(dá)科斯塔亞歷克西斯·達(dá)科斯塔獲國(guó)家專利權(quán)
- II-VI有限公司W(wǎng)-Q·許獲國(guó)家專利權(quán)
- 英特爾公司A.科克獲國(guó)家專利權(quán)
- 華為技術(shù)有限公司于健獲國(guó)家專利權(quán)