
全球熱消息:解剖屎山,尋覓黃金之第二彈
大家好,我3y啊。由于去重邏輯重構(gòu)了幾次,好多股東直呼看不懂,于是我今天再安排一波對代碼的解析吧。austin支持兩種去重的類型:N分鐘相同內(nèi)容達(dá)到N次去重和一天內(nèi)N次相同渠道頻次去重。
在最開始,我的第一版實(shí)現(xiàn)是這樣的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//運(yùn)營總規(guī)則去重(一天內(nèi)用戶收到最多同一個渠道的消息次數(shù))Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(資料圖片僅供參考)
那時(shí)候很簡單,基本主體邏輯都寫在這個入口上了,應(yīng)該都能看得懂。后來,群里滴滴哥表示這種代碼不行,不能一眼看出來它干了什么。于是怒提了一波pull request重構(gòu)了一版,入口是這樣的:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把構(gòu)建去重參數(shù)和選擇具體的去重服務(wù)給封裝起來了,在最外層的代碼看起來就很簡潔了。后來又跟他聊了下,他的設(shè)計(jì)思路是這樣的:考慮到以后會有其他規(guī)則的去重就把去重邏輯單獨(dú)封裝起來了,之后用策略模版的設(shè)計(jì)模式進(jìn)行了重構(gòu),重構(gòu)后的代碼 模版不變,支持各種不同策略的去重,擴(kuò)展性更高更強(qiáng)更簡潔
確實(shí)牛逼。
我基于上面的思路微改了下入口,代碼最終演變成這樣:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到這,應(yīng)該大多數(shù)人還能跟上吧?在講具體的代碼之前,我們先來簡單看看去重功能的代碼結(jié)構(gòu)(這會對后面看代碼有幫助)
去重的邏輯可以統(tǒng)一抽象為:在X時(shí)間段內(nèi)達(dá)到了Y閾值,還記得我曾經(jīng)說過:「去重」的本質(zhì):「業(yè)務(wù)Key」+「存儲」。那么去重實(shí)現(xiàn)的步驟可以簡單分為(我這邊存儲就用的Redis):
通過Key從Redis獲取記錄判斷該Key在Redis的記錄是否符合條件符合條件的則去重,不符合條件的則重新塞進(jìn)Redis更新記錄為了方便調(diào)整去重的參數(shù),我把X時(shí)間段和Y閾值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有兩種去重的具體實(shí)現(xiàn):
1、5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容,則應(yīng)該被過濾掉
2、一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次,則應(yīng)該被過濾掉
從配置中心拿到配置信息了以后,Builder就是根據(jù)這兩種類型去構(gòu)建出DeduplicationParam,就是以下代碼:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了類似的寫法(在子類初始化的時(shí)候指定類型,在父類統(tǒng)一接收,放到Map里管理)
而統(tǒng)一管理著這些服務(wù)有個中心的地方,我把這取名為DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的業(yè)務(wù)Key,是在AbstractDeduplicationService的子類下構(gòu)建的:
而具體的去重邏輯實(shí)現(xiàn)則都在LimitService下,{一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次}是在SimpleLimitService中處理使用mget和pipelineSetEX就完成了實(shí)現(xiàn)。而{5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容}是在SlideWindowLimitService中處理,使用了lua腳本完成了實(shí)現(xiàn)。
LimitService的代碼都來源于@caolongxiu的pull request,建議大家可以對比commit再學(xué)習(xí)一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、頻次去重采用普通的計(jì)數(shù)去重方法,限制的是每天發(fā)送的條數(shù)。
2、內(nèi)容去重采用的是新開發(fā)的基于redis中zset的滑動窗口去重,可以做到嚴(yán)格控制單位時(shí)間內(nèi)的頻次。
3、redis使用lua腳本來保證原子性和減少網(wǎng)絡(luò)io的損耗
4、redis的key增加前綴做到數(shù)據(jù)隔離(后期可能有動態(tài)更換去重方法的需求)
5、把具體限流去重方法從DeduplicationService抽取出來,DeduplicationService只需設(shè)置構(gòu)造器注入時(shí)注入的AbstractLimitService(具體限流去重服務(wù))類型即可動態(tài)更換去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是當(dāng)前的時(shí)間戳
針對滑動窗口去重,有會引申出新的問題:limit.lua的邏輯?為什么要移除時(shí)間窗口的之前的數(shù)據(jù)?為什么ARGV[4]參數(shù)要唯一?為什么要expire?
A: 使用滑動窗口可以保證N分鐘達(dá)到N次進(jìn)行去重?;瑒哟翱诳梢曰仡櫹耇CP的,也可以回顧下刷LeetCode時(shí)的一些題,那這為什么要移除,就不陌生了。
為什么ARGV[4]要唯一,具體可以看看zadd這條命令,我們只需要保證每次add進(jìn)窗口內(nèi)的成員是唯一的,那么就不會觸發(fā)有更新的操作(我認(rèn)為這樣設(shè)計(jì)會更加簡單些),而唯一Key用雪花算法比較方便。
為什么expire?,如果這個key只被調(diào)用一次。那就很有可能在redis內(nèi)存常駐了,expire能避免這種情況。
推薦項(xiàng)目最后再叨叨吧,很多人可能會發(fā)一段截圖,跑來問我為什么要這樣寫,為什么要以這種方式實(shí)現(xiàn),能不能以這種方式實(shí)現(xiàn)。這時(shí)候,我更想看到的是:你已經(jīng)實(shí)現(xiàn)了第二種方式了,然后探討你寫的這種方案好不好,現(xiàn)有的代碼差在哪里。
畢竟問問題很簡單,我又不是客服,總不能沒誠意的問題我都得一一回答吧。
如果想學(xué)Java項(xiàng)目的,我還是強(qiáng)烈推薦我的開源項(xiàng)目消息推送平臺Austin,可以用作畢業(yè)設(shè)計(jì),可以用作校招,可以看看生產(chǎn)環(huán)境是怎么推送消息的。
倉庫地址(可點(diǎn)擊閱讀原文跳轉(zhuǎn)):https://gitee.com/zhongfucheng/austin
我開通了股東服務(wù)內(nèi)容,感興趣可以點(diǎn)擊下方看看,主要針對的是項(xiàng)目喲
VIP服務(wù)
標(biāo)簽:
-
22
2023-04全球熱消息:解剖屎山,尋覓黃金之第二彈
大家好,我3y啊。由于去重邏輯重構(gòu)了幾次,好多股東直呼看不懂,于是我今天再安排一波對代碼的解析吧。aust -
22
2023-04沉重的代步車:權(quán)威解讀“合規(guī)”電動三四輪車
可能隨時(shí)改變一個人命運(yùn)的,還有違規(guī)車輛,比如違規(guī)電動三四輪車,也被很多人稱為老年代步車,可是這種違規(guī) -
22
2023-04英諾激光: 最新情況請查閱后續(xù)披露的定期報(bào)告-動態(tài)焦點(diǎn)
英諾激光(301021)04月22日在投資者關(guān)系平臺上答復(fù)了投資者關(guān)心的問題。 -
22
2023-04怎么查別人通話記錄清單_查別人通話記錄清單
1、只能說理論上可以查詢,登錄手機(jī)號碼所屬電信運(yùn)營商網(wǎng)上營業(yè)廳即可查詢,不過查詢需要密碼。2、服務(wù)密碼 -
22
2023-04慰藉的意思用一句話來解釋(慰藉的意思)_環(huán)球今熱點(diǎn)
慰藉的意思用一句話來解釋,慰藉的意思這個很多人還不知道,現(xiàn)在讓我們一起來看看吧!1、意思:安慰,欣慰。 -
22
2023-04你認(rèn)同嗎?內(nèi)維爾:拉姆斯代爾還不如德赫亞 他的傳球甚至沒給到隊(duì)友
北京時(shí)間4月22日訊,英超第32輪,阿森納在主場被南安普頓3-3逼平,這樣一來,阿森納在多賽2場的情況下只領(lǐng) -
22
2023-04焦點(diǎn)資訊:2023青島馬拉松冠亞季軍誕生,山東姑娘登上領(lǐng)獎臺(附高清圖)
半島全媒體記者吳璟4月22日,海爾·2023青島馬拉松順利完賽,肯尼亞選手桑米和埃塞俄比亞的格拉妮分獲男女 -
22
2023-04能源企業(yè)搶跑新型儲能黃金賽道
當(dāng)前,儲能市場的熱度有目共睹。除了傳統(tǒng)能源企業(yè)加大布局力度外,還吸引了家電企業(yè)、科技公司、環(huán)保企業(yè)等 -
22
2023-04全球速看:匿名高管:湖人可能追求吹楊 他跟老詹共用經(jīng)紀(jì)人
匿名高管:湖人可能追求吹楊他跟老詹共用經(jīng)紀(jì)人,湖人,勒布朗詹姆斯,老鷹,喬丹,威少 -
22
2023-04歐冠-曼城1-1拜仁總比分4-1進(jìn)四強(qiáng) 哈蘭德失點(diǎn)后破門_世界新資訊
歐冠:曼城1-1拜仁總比分4-1進(jìn)四強(qiáng) -
22
2023-04好于上年全年、好于全國、好于中部 一季度湖北經(jīng)濟(jì)“開門紅”“開門好”
和春天一起到來的,還有湖北經(jīng)濟(jì)的回暖復(fù)蘇。4月21日,省政府召開新聞發(fā)布會,介紹全省一季度經(jīng)濟(jì)運(yùn)行情況 -
22
2023-04賽點(diǎn)!掘金成為西部唯一3-0領(lǐng)先的球隊(duì),其他三組均為2-1-全球獨(dú)家
今日森林狼對陣掘金的系列賽第三場已經(jīng)結(jié)束,掘金客場120-111輕取森林狼,系列賽3-0領(lǐng)先。掘金成為西部唯一


蘋果考慮將iPhone系列進(jìn)一步延伸 2024年上市?

卷出一塊好曲屏 真我10系列新品發(fā)布會舉行
英國猴痘病例數(shù)預(yù)計(jì)將大幅上升
上海:視情適當(dāng)延長畢業(yè)生在校生身份時(shí)間
國家電網(wǎng)確定新型電力系統(tǒng)科技攻關(guān)十大重點(diǎn)項(xiàng)目
比亞迪發(fā)布CTB電池車身一體化技術(shù)
商務(wù)部:堅(jiān)定致力于實(shí)現(xiàn)全面、高水平的亞太自貿(mào)區(qū)
中辦國辦印發(fā)《意見》 推進(jìn)實(shí)施國家文化數(shù)字化戰(zhàn)略
初夏看市場:“菜籃子”產(chǎn)品生產(chǎn)供應(yīng)充足 蔬菜在田面積達(dá)9877.2萬畝
上海浦東重點(diǎn)生產(chǎn)企業(yè)復(fù)工復(fù)產(chǎn)超1100家
-
1
Intel最新處理器Arrow-S曝光 最高可達(dá)24核
-
2
配置拉滿的電競神機(jī) 雷神ZERO2023大黃蜂發(fā)布
-
3
真我10Pro系列發(fā)布 首發(fā)量產(chǎn)2160Hz超高頻調(diào)光技術(shù)
-
4
阿富汗塔利班組建正規(guī)軍
-
5
薩赫勒地區(qū)反恐形勢面臨新變數(shù)
-
6
北約北擴(kuò)加劇歐洲安全風(fēng)險(xiǎn)
-
7
貴州畢節(jié)七星關(guān)區(qū)百所學(xué)校創(chuàng)辦百個“紅軍班”
-
8
湖北省孝感軍分區(qū)組織軍地聯(lián)合應(yīng)急救援研究性演練
-
9
青藏高原等區(qū)域?qū)⑿略O(shè)一批國家公園
-
10
河北省承德軍分區(qū)退役軍人擔(dān)綱教練主力
-
Win12原型系統(tǒng)的用戶界面曝光 微軟正測試下代桌面操作系統(tǒng)
2023-03-28
-
微信Mac版迎來2023年首次更新 正式發(fā)布3.7.0升級
2023-02-09
-
微軟更新Windows官方文檔 音頻同步Bug影響視頻錄制應(yīng)用
2022-11-14
-
習(xí)言道 | 治國必治邊、治邊先穩(wěn)藏
2022-05-24
-
學(xué)習(xí)關(guān)鍵詞丨為有源頭活水來
2022-05-24
- Win12原型系統(tǒng)的用戶界面曝光 微軟正測試下代桌面操作系統(tǒng)
- 微信Mac版迎來2023年首次更新 正式發(fā)布3.7.0升級
- 微軟更新Windows官方文檔 音頻同步Bug影響視頻錄制應(yīng)用
- 習(xí)言道 | 治國必治邊、治邊先穩(wěn)藏
- 學(xué)習(xí)關(guān)鍵詞丨為有源頭活水來
- 如何加快推進(jìn)氣象現(xiàn)代化建設(shè)——權(quán)威解讀《氣象高質(zhì)量發(fā)展綱要(2022-2035年)》
- 上海:有序恢復(fù)老人新冠疫苗和兒童計(jì)劃免疫接種服務(wù)
- 交通銀行:全力護(hù)航滬上企業(yè)復(fù)工復(fù)產(chǎn)
- 中國文化節(jié)活動在莫斯科舉行
- 專訪:金磚合作助益新型全球化——訪俄羅斯金磚國家研究國家委員會專家沃爾洪斯基