電商案例 “國(guó)民級(jí)”連鎖零售商如何與爬蟲(chóng)作斗爭(zhēng),電商行業(yè)的典型案例分析

電商案例全國(guó)連鎖零售商如何對(duì)抗爬蟲(chóng)

規(guī)模效應(yīng)能帶來(lái)各種收益是不言而喻的，但相應(yīng)的價(jià)值和風(fēng)險(xiǎn)往往是并存的。任何系統(tǒng)的規(guī)模越大，價(jià)值越高，隨之而來(lái)的安全風(fēng)險(xiǎn)就越大。對(duì)于互聯(lián)網(wǎng)上的數(shù)字資產(chǎn)，如大型數(shù)字平臺(tái)、用戶(hù)個(gè)人信息等，價(jià)值與風(fēng)險(xiǎn)并存的問(wèn)題更加突出。超市和零售商就是這種情況。

名副其實(shí)的“國(guó)家級(jí)”零售商

一家知名的海外連鎖超市和零售商，主要銷(xiāo)售生鮮食品、服裝和家居用品，擁有超過(guò)3350家實(shí)體店，每周服務(wù)近2900萬(wàn)顧客。開(kāi)展電子商務(wù)業(yè)務(wù)后，經(jīng)過(guò)一段時(shí)間的發(fā)展，他們的注冊(cè)在線(xiàn)會(huì)員數(shù)已經(jīng)達(dá)到1230萬(wàn)，電子商務(wù)網(wǎng)站的日點(diǎn)擊量高達(dá)8億次。

生意紅火固然可喜，但隨之而來(lái)的煩惱也著實(shí)讓人頭疼。

網(wǎng)絡(luò)爬蟲(chóng)防不勝防

自疫情爆發(fā)以來(lái)，大量用戶(hù)開(kāi)始通過(guò)電子商務(wù)服務(wù)購(gòu)買(mǎi)日常所需。該零售商的電子商務(wù)業(yè)務(wù)取得了大幅增長(zhǎng)，注冊(cè)用戶(hù)數(shù)量和網(wǎng)站點(diǎn)擊量都有顯著增長(zhǎng)。據(jù)統(tǒng)計(jì)，自疫情發(fā)生以來(lái)，他們的網(wǎng)絡(luò)流量增長(zhǎng)了200%以上。

面對(duì)流量的突然增加，零售商并沒(méi)有在意，開(kāi)始考慮流量是不是真正的客戶(hù)帶來(lái)的。他們懷疑部分流量可能來(lái)自各種帶有一些惡意目的的計(jì)算機(jī)程序。這種被稱(chēng)為Bot的計(jì)算機(jī)程序會(huì)自動(dòng)訪(fǎng)問(wèn)網(wǎng)站頁(yè)面，并執(zhí)行一些惡意操作。但由于缺乏合適的工具，他們無(wú)法通過(guò)技術(shù)手段驗(yàn)證自己的猜測(cè)。

為了省事，很多人在注冊(cè)各種網(wǎng)站時(shí)習(xí)慣使用同一個(gè)用戶(hù)名和密碼，而一旦某個(gè)網(wǎng)站的這些信息泄露，用戶(hù)在其他所有網(wǎng)站注冊(cè)的賬號(hào)都會(huì)受到威脅。攻擊者使用爬蟲(chóng)試圖通過(guò)這些泄露的賬號(hào)憑證逐一登錄不同的網(wǎng)站，這就是所謂的數(shù)據(jù)庫(kù)碰撞。一旦找到可用賬戶(hù)，然后將賬戶(hù)內(nèi)的余額、積分等有價(jià)值的資產(chǎn)進(jìn)行消費(fèi)或轉(zhuǎn)移，甚至直接使用賬戶(hù)捆綁的支付方式進(jìn)行“盜取”。

懷疑存在這種威脅，但缺乏驗(yàn)證和查證的技術(shù)手段，自然對(duì)各種交通流的具體情況缺乏進(jìn)一步的了解，難以采取有針對(duì)性的防范措施。

不僅如此，這種疑似惡意爬蟲(chóng)還對(duì)公司的合規(guī)運(yùn)營(yíng)提出了挑戰(zhàn)。根據(jù)相關(guān)法律法規(guī)的要求，企業(yè)必須充分保護(hù)客戶(hù)數(shù)據(jù)。一旦不慎泄露客戶(hù)信息，將承擔(dān)極其嚴(yán)重的后果和高額罰款。

除了安全和合規(guī)問(wèn)題，一些爬蟲(chóng)還會(huì)給零售商的業(yè)務(wù)運(yùn)營(yíng)帶來(lái)麻煩。經(jīng)理還懷疑自己的網(wǎng)站被競(jìng)爭(zhēng)對(duì)手的數(shù)據(jù)抓取了，對(duì)方自動(dòng)抓取了產(chǎn)品價(jià)格、庫(kù)存數(shù)量等信息。因?yàn)樗麄兘?jīng)常發(fā)現(xiàn)有幾個(gè)固定的IP地址會(huì)定期訪(fǎng)問(wèn)他們的網(wǎng)站，而且都是會(huì)造成非常大的流量，這看起來(lái)根本不像是普通客戶(hù)的行為。但由于缺乏證據(jù)，他們目前只是持懷疑態(tài)度。

可能很多人不太了解，但其實(shí)這種Bot爬蟲(chóng)已經(jīng)成為現(xiàn)代互聯(lián)網(wǎng)Web應(yīng)用面臨的最大公敵之一。根據(jù)Akamai的統(tǒng)計(jì)，2021年Q2有700億次賬號(hào)濫用攻擊，Q/Q增長(zhǎng)了15%。而這種攻擊是WAF無(wú)法緩解的。更令人擔(dān)憂(yōu)的是，Akamai多次檢測(cè)到日峰值超過(guò)10億次的惡意登錄行為。

除了數(shù)量越來(lái)越多，爬蟲(chóng)攻擊的形式也越來(lái)越豐富，撞庫(kù)攻擊、銀行卡攻擊、囤積股票、薅羊毛、禮品卡攻擊等都是常見(jiàn)的形式和目標(biāo)。而且爬蟲(chóng)攻擊越來(lái)越智能化、分布式，可以模擬人類(lèi)的行為特征，繞過(guò)常見(jiàn)的Web安全設(shè)備和檢測(cè)機(jī)制(如“驗(yàn)證碼”)。

機(jī)器人經(jīng)理，固若金湯

面對(duì)爬行動(dòng)物帶來(lái)的各種風(fēng)險(xiǎn)，零售商有三個(gè)主要需求:

希望增強(qiáng)爬蟲(chóng)的可見(jiàn)性，通過(guò)詳細(xì)的數(shù)據(jù)分析和結(jié)論，更準(zhǔn)確地評(píng)估和緩解爬蟲(chóng)的風(fēng)險(xiǎn)。

希望盡可能避免競(jìng)爭(zhēng)對(duì)手的數(shù)據(jù)抓取行為。

更好地保護(hù)客戶(hù)數(shù)據(jù)，滿(mǎn)足相關(guān)政府和行業(yè)法律法規(guī)的合規(guī)性要求。

Akamai Bot Manager以靈活的服務(wù)模式和強(qiáng)大的功能滿(mǎn)足了這家零售商的需求。

在可見(jiàn)性方面，Bot Manager有一個(gè)自動(dòng)管理的已知爬蟲(chóng)列表，它已經(jīng)覆蓋了超過(guò)1，500個(gè)已知爬蟲(chóng)。此外，它還可以使用AI模型來(lái)檢測(cè)未知的爬蟲(chóng)，分析用戶(hù)行為，識(shí)別瀏覽器指紋。通過(guò)這種方式，零售商可以獲得實(shí)時(shí)的整體趨勢(shì)、行業(yè)洞察和爬蟲(chóng)流量的詳細(xì)分析，從而做出更有針對(duì)性的防御措施。

Bot管理人在防止惡意競(jìng)爭(zhēng)方口罩有出色的監(jiān)控能力。結(jié)合Akamai全球化平臺(tái)，Bot Manager每天可以收集115億次爬蟲(chóng)請(qǐng)求和2.8億次爬蟲(chóng)登錄，可以從豐富的數(shù)據(jù)分析中得出精準(zhǔn)的洞察。該零售商尚未開(kāi)始正式部署，但僅處于概念驗(yàn)證階段。Bot Manager已經(jīng)幫助他們成功發(fā)現(xiàn)了某全球知名電商網(wǎng)站抓取自己網(wǎng)站的證據(jù)，甚至分析出了對(duì)this 基礎(chǔ)的攻擊的行為特征，包括源地址、攻擊時(shí)間、定向抓取價(jià)格的行為特征等。

在合規(guī)運(yùn)營(yíng)方面，由于能夠準(zhǔn)確獲取與惡意爬蟲(chóng)行為相關(guān)的洞察，并針對(duì)不同行為和目的的爬蟲(chóng)采取針對(duì)性的對(duì)策，零售商期望在Bot Manager的幫助下能夠更好地防止撞庫(kù)和憑證濫用，并利用Akamai強(qiáng)大的machine 學(xué)習(xí)算法和全局規(guī)模及洞察來(lái)改善其安全合規(guī)運(yùn)營(yíng)狀況。

根據(jù)Ponemon Institute的統(tǒng)計(jì)，每年與庫(kù)沖突相關(guān)的總成本(包括欺詐相關(guān)的損失、運(yùn)營(yíng)安全、應(yīng)用程序停機(jī)和客戶(hù)流失)可能達(dá)到600萬(wàn)美元至5400萬(wàn)美元。Akamai自己的觀察和統(tǒng)計(jì)也發(fā)現(xiàn)，爬蟲(chóng)已經(jīng)占到網(wǎng)站總流量的30%70%之多。

Akamai network每天處理全球網(wǎng)絡(luò)流量的很大一部分，包括世界上一些最大和最常被攻擊的網(wǎng)站。Akamai具有獨(dú)特的優(yōu)勢(shì)，能夠深入了解合法應(yīng)用程序的使用情況以及惡意爬蟲(chóng)不斷演變的攻擊行為。它擁有最新的爬蟲(chóng)檢測(cè)技術(shù)，已被證明能夠識(shí)別當(dāng)今最復(fù)雜的爬蟲(chóng)程序。

而且，Bot Manager還利用多種專(zhuān)利技術(shù)，在爬蟲(chóng)首次接觸網(wǎng)站時(shí)，盡早對(duì)其進(jìn)行檢測(cè)和防御，防止其進(jìn)入網(wǎng)站。通過(guò)Akamai長(zhǎng)期不斷的檢測(cè)和改進(jìn)，即使威脅在不斷發(fā)展變化，也能讓用戶(hù)得到妥善的保護(hù)。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表ESG跨境電商觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問(wèn)題請(qǐng)于作品發(fā)表后的30日內(nèi)與ESG跨境電商聯(lián)系。