第一種是集中式網(wǎng)絡蜘蛛

集中式網(wǎng)絡蜘蛛的工作原理是:首先通過初始設定的種子URL爬取其所對應的Web頁面,通過蜘蛛的解析模塊從Web頁面中提取內容以及新的URL鏈接,保存新獲取的URL鏈接到指定URL集合中,以進行后續(xù)抓取任務。其突出特點是運行在某臺主機之上,從而開始訪問互聯(lián)網(wǎng)進行網(wǎng)頁抓取任務。早期實現(xiàn)的網(wǎng)絡蜘蛛大多采用這種工作方式,但是如今,隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹,集中式的網(wǎng)絡蜘蛛往往受限于軟硬件資源的限制,其釆集效率往往難以滿足業(yè)務的需求。

 

第二是分布式網(wǎng)絡蜘蛛

分布式網(wǎng)絡蜘蛛的工作運行原理實際上可以看作是多個集中式蜘蛛的協(xié)同合作,進而彌補了集中式網(wǎng)絡蜘蛛所存在的缺陷。分布式網(wǎng)絡蜘蛛包含多個子網(wǎng)絡蜘蛛,其分布性體現(xiàn)在這些蜘蛛可以分布在不同的地理位置,每個子蜘蛛在執(zhí)行抓取任務的過程中與單個集中式蜘蛛基本一致,同樣是從互聯(lián)網(wǎng)上下載Web頁面,并將網(wǎng)頁數(shù)據(jù)保存到本地文件系統(tǒng)中,從頁面中解析出新的URL,并按照這些URL的指向繼續(xù)爬行,從而不斷抓取頁面。分布式蜘蛛需要額外處理的是分割下載任務,并將分割的下載任務分配給各個子蜘蛛執(zhí)行,然后控制不同爬行器之間的數(shù)據(jù)交換,協(xié)調各個子蜘蛛的抓取進度。