0
A：快到平安夜、圣誕節(jié)、跨年夜了，準(zhǔn)備去哪？
B：想去香港，前兩天看到有低價(jià)票，泰國也不錯(cuò)，最近也有低價(jià)票，國內(nèi)就算了，沒看到什么打折活動。
A：搶得到嗎？我沒有一次搶到低價(jià)票的。
B：試試唄，我家網(wǎng)還行。
結(jié)果 B 小姐深夜敷著面膜準(zhǔn)備發(fā)大招搶的特價(jià)機(jī)票被秒光，她氣得砸鍵盤，“對面和我搶票的什么鬼？”
她有所不知的是，同她搶票的不是鬼，是爬蟲。
“賣票賣票！北京往返大阪的往返機(jī)票只需2599元！”
類似出現(xiàn)在朋友圈中的賣票信息很是常見，大多用戶在查詢到航企 APP 中票價(jià)已翻數(shù)倍時(shí)情不自禁剁了手。殊不知航企每每發(fā)出的特價(jià)票幾乎都被這些機(jī)票代理人利用“爬蟲”技術(shù)搶占一空，所以搶不到低價(jià)票不要再怪網(wǎng)絡(luò)問題了。
具體來說，這一技術(shù)利用了航企訂票、購票流程中的帳期，即訂票后可能有10-30分鐘或者更多的支付時(shí)間。自動化的爬蟲技術(shù)正是抓住了這一時(shí)間差，利用虛擬身份進(jìn)行訂票。此時(shí)雖未付錢，但此票已歸屬該虛擬身份，在賬期內(nèi)票務(wù)方將這些低價(jià)票掛在自有網(wǎng)站、APP、微店、淘寶店或朋友圈等平臺高價(jià)轉(zhuǎn)賣，謀取差價(jià)。若在賬期內(nèi)沒有賣出此票，爬蟲也可在限定時(shí)間內(nèi)取消訂單或在訂單失效后馬上續(xù)訂，保證此票一直在手。
而普通用戶在航企官網(wǎng)查看時(shí)卻顯示低價(jià)票已售盡。
爬蟲程序（crawler/spider），又稱，蜘蛛程序。雖然以多足動物命名但其起源卻是搜索引擎，即按照一定的規(guī)則，自動地抓取互聯(lián)網(wǎng)信息的程序或者腳本。
而隨之漫長的進(jìn)化，這一物種也被用于各大互聯(lián)網(wǎng)金融、電商平臺，以及社交領(lǐng)域等。在上述搶票環(huán)節(jié)，爬蟲不僅抓取航企官網(wǎng)的機(jī)票價(jià)格，在發(fā)現(xiàn)特價(jià)機(jī)票后更充當(dāng)“偽裝者”，仿冒真人用戶搶訂機(jī)票。
事實(shí)上，航企投放的低價(jià)機(jī)票很少被普通用戶買到，據(jù)業(yè)內(nèi)人士估計(jì)，80% 以上低價(jià)機(jī)票被票務(wù)公司的爬蟲搶走。
爬蟲肆虐到底是何原因？
“利益驅(qū)動，這是一切事情最原始的出發(fā)點(diǎn)?！?。浙江邦盛科技技術(shù)總監(jiān)李白對雷鋒網(wǎng)如此說。
如果說利益是起點(diǎn)，那提直降代、行業(yè)競爭、網(wǎng)站獲客則為爬蟲肆虐填了一把火。
提直降代，航空公司被迫加入爬蟲之戰(zhàn)
2015 年上半年，國資委要求幾家國有航空公司未來三年內(nèi)直銷比例要提升至50%，同時(shí)代理費(fèi)要在2014年的基礎(chǔ)上下降 50%。
一場“提直降代”大戰(zhàn)被推向制高點(diǎn)，有業(yè)內(nèi)人士介紹稱，直銷比例每提高 10%，航空公司就可以從代理人手中節(jié)約近10億元的分銷費(fèi)用。相反代理渠道出票占比下降，低價(jià)票、退改簽、捆綁保險(xiǎn)及其他產(chǎn)品等“傳統(tǒng)盈利空間”被打壓。利潤下降催生了票務(wù)公司轉(zhuǎn)型，通過爬蟲賺取差價(jià)。
行業(yè)競爭促生爬蟲肆虐
任何一個(gè)行業(yè)都存在競爭，各大航空公司除了不斷優(yōu)化飛機(jī)設(shè)施以及服務(wù)態(tài)度來增加用戶體驗(yàn)，也需要技術(shù)手段。
舉例來說，A、B 兩家航企皆開通了北京到馬來西亞航線，如果 A 航企通過爬蟲技術(shù)占據(jù)了 B 公司大部分票源，造成其無票可售后，乘客自然轉(zhuǎn)向B公司購票。又或者利用爬蟲技術(shù)占據(jù)經(jīng)濟(jì)艙座位，面對貴賓區(qū)高昂的價(jià)格多數(shù)乘客會選擇更換平臺購票。
而遭受虛擬占座導(dǎo)致資源浪費(fèi)，賣不出票的 A 公司會善罷甘休嗎？
當(dāng)然不會，互爬大戲就此掀開。
OTA 網(wǎng)站吸引用戶
如同程、攜程、驢媽媽、去哪兒之類的 OTA 網(wǎng)站如何通過推廣手段，獲取更多的客戶？
降低票價(jià)吸引客戶，自然最有效的手段。但如何定價(jià)才能既不傷害自己的利潤又略低于他家則是最關(guān)鍵的問題。要做到這一點(diǎn)勢必先了解其他友商、同行普遍票價(jià)，此時(shí)便用到了爬蟲技術(shù)。這似乎變成了行業(yè)潛規(guī)則，你爬我，我爬你，造成爬蟲流量占據(jù)平臺總流量 95% 的奇景很是平常。
看似常見的機(jī)票爬蟲實(shí)則造成了一系列連鎖反應(yīng)，用戶信息泄露，平臺流量崩潰，機(jī)票詐騙，最初幾塊骨牌的傾斜引發(fā)的是整排多米諾骨牌的傾塌。
爬蟲與反爬蟲是博弈的過程，在此過程中無論是道高一尺還是魔高一丈都會引發(fā)不同的碰撞。
常規(guī)“反爬蟲”技術(shù)包括IP限頻限次、識別控制代理IP、祭出各類復(fù)雜驗(yàn)證碼等。其中，IP 來源單一、從未成交過訂單且行動異常的IP、訪問頻次過高等容易被識別出的“爬蟲”，會被封掉IP。而對于航企來說，這遠(yuǎn)遠(yuǎn)不夠。
航空公司下一步應(yīng)該做什么？
李白告訴雷鋒網(wǎng)，航企可以從兩方面考慮，其一是從業(yè)務(wù)場景上改進(jìn)。
比如關(guān)于時(shí)間差問題，以往訂票后的賬期內(nèi)已鎖定某座位，其他人不能再定這張票。而目前國內(nèi)三大航企已著手修改這一支付規(guī)則，必須付款后才會鎖定座位，若是沒有付款，這一座位仍可以被其他乘客購買。相當(dāng)于提升了攻方的占座成本。
但是這一招數(shù)卻相當(dāng)于傷敵一千，自毀五百，因?yàn)闀褂脩趔w驗(yàn)下降，且降低了用戶的轉(zhuǎn)化率。
其二從技術(shù)手段上來說，航企的目標(biāo)是要提升爬蟲搶票行為識別的準(zhǔn)確率，只有提升了準(zhǔn)確率，才能精準(zhǔn)打擊，減少誤差。
如何提升準(zhǔn)確率呢？
可以從客戶端和服務(wù)端上融合實(shí)現(xiàn)?？蛻舳税踩赣脼g覽器、APP購票的時(shí)候，在設(shè)備上進(jìn)行環(huán)境的檢測，檢測出來對方是否自動化爬蟲工具占票。同時(shí)再用人機(jī)識別（結(jié)合全網(wǎng)大數(shù)據(jù)分析的行為識別）。另外不但環(huán)境要是安全的，用戶行為也必須是合理的，真實(shí)用戶購票過程一定不會直接買票，而是有瀏覽軌跡或者頁面跳轉(zhuǎn)，如果沒有這些動作則被視為潛在風(fēng)險(xiǎn)用戶。
在服務(wù)端，可以基于對外部訂票網(wǎng)站的全流量進(jìn)行大數(shù)據(jù)的分析和智能決策，針對一個(gè) IP或者設(shè)備 結(jié)合多要素進(jìn)行綜合分析決策，譬如其中間的點(diǎn)擊，訪問軌跡，包括其訪問網(wǎng)站時(shí)對靜態(tài)資源（圖片、CSS）的訪問豐富度等等，因?yàn)檎５挠脩粢欢ㄒ?zhí)行這些東西，但是直接通過報(bào)文模擬他就不會去做。
而智能分析決策平臺是如何搭建的呢？
李白告訴雷鋒網(wǎng)，這個(gè)決策的過程就得通過專家，對整個(gè)票務(wù)領(lǐng)域的場景理解，針對的性給出一些專家規(guī)則，甚至我們也可以基于本地化的流量，再結(jié)合我們在云端的全網(wǎng)數(shù)據(jù)的分析，兩者相結(jié)合，通過機(jī)器學(xué)習(xí)不斷的優(yōu)化我們這個(gè)規(guī)則，或者說給出一些樹模型、神經(jīng)網(wǎng)絡(luò)的模型。在線預(yù)測的這種機(jī)制，可以更進(jìn)一步的提升準(zhǔn)確率，和查全率，既要查的準(zhǔn)，又要抓的多。
當(dāng)然上述決策往往建立在封IP的基礎(chǔ)上， 但這種既可能誤傷真實(shí)用戶，對于攻方來說，一個(gè)IP不能訪問那就換一個(gè)。所以守方也開始考慮，控制手段除了封閉，是否可以考慮加入動態(tài)的驗(yàn)證碼，或者限速、限流、延遲到達(dá)等等。
比如某些網(wǎng)絡(luò)爬蟲采用先訂票不支付，直到訂單截止的前一秒取消訂單并馬上重新訂票。若被識別出來，完全可以讓原本計(jì)劃的無縫銜接的二次搶占行為延遲幾分鐘到票務(wù)網(wǎng)站，在對方處于無感知狀態(tài)下發(fā)現(xiàn)到手的票沒了。除此之外，也可以在識別出機(jī)器人爬蟲后將購票頁面跳轉(zhuǎn)到虛假網(wǎng)頁，讓其竹籃打水。
總之，“反爬蟲”并非一朝一夕，這場攻防戰(zhàn)必定是漫長的過程。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
