當前位置:外匯行情大全網 - 期貨行情 - 什麽是網絡爬蟲?具體要學什麽?

什麽是網絡爬蟲?具體要學什麽?

簡單來說,爬蟲就是探測機器。它的基本操作就是模擬人的行為,去各種網站,點擊按鈕,查數據,或者把看到的信息背出來。就像壹只不知疲倦地在大樓裏爬來爬去的蟲子。

妳可以簡單的想象每壹只爬行動物都是妳的“化身”。就像孫悟空拔了壹撮毛,吹出來壹堆猴子。

妳天天用的百度,其實就是用的這種爬蟲技術:每天都有無數的爬蟲發布到各個網站,檢索它們的信息,然後團隊淡妝等著妳去檢索。

搶票軟件相當於攤開了無數個分身,每個分身幫妳不斷刷新12306網站上的火車票。壹旦找到票,馬上拿走,對妳喊:土豪來交錢。

那麽,像這樣的爬蟲技術壹旦用於作惡,到底有多可怕呢?

就在上周末,黑客朋友余楓神秘地給我發了壹本《中華爬蟲》。這家夥主要負責在騰訊雲鼎實驗室加班,順便和同事開發了很多黑科技。例如,他們建立了壹個威脅情報系統,聲稱可以探測到世界各地的“爬行動物”在做什麽。

我吹著口哨打開繪本,但是壹分鐘後,我就徹底病了。

我看到了另壹個“平行世界”:

在我們身邊的網絡上,有很多種網絡爬蟲。他們善惡不同,各有所思。而且越是大家的切身利益,爬行動物越多。

最後發現這不是中國爬蟲繪本,明明是壹本中國焦慮繪本。

我們今天要講的就是和這些app有關的。

壹、爬行動物的“騷術”

爬行動物也有善惡之分。

像Google這樣的搜索引擎爬蟲每隔幾天就掃描壹次全網的網頁供大家查看,掃描到的網站大多都很開心。這個物種被定義為“善意爬行動物”。

但是,像搶票軟件這種爬蟲,恨不得在12306每秒扇幾萬下。鐵總覺得不太開心。這個物種被定義為“惡意爬行動物”。(註意,搶到票妳覺得開心也沒用。如果被掃描的網站覺得不開心,那就是惡意的。)

我給妳看壹張照片:

這張圖顯示的是各行各業被“打擾”的比例。註意,這張圖展示的是整個世界,而不是整個中國。每壹個色塊背後都是壹條真實而強大的利益鏈。

接下來鐘哥就給大家科普壹下裏面的騷操作。

1,排名第壹的是旅行。

爬行類在旅遊行業中占比最高(20.87%)。在出行的爬蟲中,89.02%的流量指向12306。這並不奇怪。它是中國唯壹的火車票銷售商。

還記得王和白百何在12306推出的“史上最坑圖片驗證碼”嗎?

這些東西不是為了為難老老實實賣票的人,只是為了阻止爬蟲(也就是搶票軟件)點擊。就像我剛才說的,爬行動物只會機械地點擊。它不認識白百何,所以大量爬行動物被擋在門外。

妳可能會說,不會吧,我現在用搶票軟件還能搶到票。

沒錯。搶票軟件也不是吃素的。他們正在與鐵總經理“對質”。

有個東西叫“編碼平臺”。可以了解壹下。

編碼平臺雇傭了很多大叔大媽。他們在電腦屏幕前不做別的,幫人識別驗證碼。那邊的搶票軟件遇到驗證碼,系統會自動把這些驗證碼傳給大叔大媽們,他們會手動選擇哪個是白百何,哪個是王羅丹,然後把結果傳回來。整個過程不到幾秒鐘。

當然,這樣的編碼平臺也有記憶功能。如果叔叔阿姨已經將這張圖片標記為鍋鏟,下次出現這張圖片時系統會直接判斷為鍋鏟。時間久了,12306系統裏的圖片都會被標註出來,機器本身也能知道,大叔大媽們也能坐在壹旁鬥地主。

妳可能會問:為什麽12306這麽挑剔?慷慨的讓爬行動物隨意爬行會死嗎?

答:我會死的。

知道每年過年前12306訂什麽嗎?公開數據顯示,“高峰時1天瀏覽量達到81.3.4億次,最高點擊量1小時59.3億次,平均每秒1.64.8萬次。這還是加了驗證碼保護後的數據。可想而知外面攔截了多少爬行動物。

另外,這裏沒有討論。像我們父母這種不會搶票的人被搶票軟件搶了,公平嗎?

鐵路被爬蟲“點開”已經夠糟了,但它還有壹個他是我兄弟,就是航空。

航空方面,受影響最大的不是國航、海航、東航。但是亞航。

航空爬行動物的分布比例。

很多人可能沒坐過亞航。這是壹家馬來西亞廉價航空公司,基本上從中國各地飛往東南亞的旅遊景點。連礦泉水都要在飛機上自費買,成為屌絲窮X假期的首選。

爬蟲為什麽這麽喜歡亞航?因為便宜。沒錯,因為它經常給便宜的票。

本來亞航的初衷是隨機放出壹些廉價機票來吸引遊客,但是黃牛有利可圖。

據我所知,他們是這樣玩的:

技術宅黃牛利用爬蟲不斷刷新亞航的購票界面。壹旦有便宜票,不管三七二十壹,先出手。

亞航有個規定,拍了半個小時(具體時間記不清了)不補票就自動回到票池繼續賣。但是黃牛在爬蟲腳本裏寫了準確的時間,到了半個小時,不是壹毫秒,他又把票拍下來了,以此類推。直到有人從黃牛手裏訂了這張票,黃牛然後用程序在亞航系統裏放棄了這張票,然後0.00001秒後在妳名下給妳訂了這張票。

“我是中間人,我要有所作為!這波騷操作堪稱完美。

2,排名第二的是社交。

社交爬蟲的重災區是妳愛看愛聽的微博。

我給妳看壹張照片:

這是爬蟲經常光顧的微博地址。

  • 上一篇:碳酸鋰期貨交割的是工業級還是電池級
  • 下一篇:無限簡單的pythongo可以回測嗎?
  • copyright 2024外匯行情大全網