蜘蛛對于網(wǎng)站的抓取頻率受網(wǎng)站更新周期影響，若網(wǎng)站定期定量更新，那么蜘蛛會(huì)規(guī)律進(jìn)入網(wǎng)站中進(jìn)行爬行和抓取，什么叫規(guī)律更新：即按照一定的規(guī)律在網(wǎng)站內(nèi)更新文章，例如：一天一篇或一天兩篇，很多人不知道更新幾篇為好，建議：按照網(wǎng)站內(nèi)部的欄目數(shù)量來更新文章的數(shù)量為佳。


蜘蛛每次爬行都會(huì)把頁面數(shù)據(jù)存儲(chǔ)起來，如果第二次爬行發(fā)現(xiàn)頁面與前一次收錄的完全一樣，說明頁面沒有更新，多次抓取后蜘蛛后蜘蛛會(huì)對頁面更新頻率有所了解，不經(jīng)常更新的頁面，蜘蛛也就沒有必要經(jīng)常抓取，如果頁面內(nèi)容經(jīng)常更新，蜘蛛就會(huì)更加頻繁的訪問這種頁面，頁面上出現(xiàn)的新連接，也自然會(huì)被蜘蛛快速的抓取，因此，在優(yōu)化網(wǎng)站是，應(yīng)該定期定量的更新內(nèi)容，增加網(wǎng)站被抓取的頻率。


搜索引擎蜘蛛抓取的頁面存入原始數(shù)據(jù)庫中，搜索引擎會(huì)對原始數(shù)據(jù)庫中的頁面進(jìn)行相應(yīng)的處理即常說的預(yù)處理。


預(yù)處理：蜘蛛抓取的原始頁面并不能直接用于排名，需要對其進(jìn)行一定的處理，這個(gè)處理的過程稱為預(yù)處理。搜索引擎預(yù)處理 環(huán)節(jié)是在后臺(tái)提前完成的，用戶搜索時(shí)感覺不到這個(gè)過程，搜索引擎預(yù)處理，涉及到網(wǎng)站優(yōu)化中的多個(gè)環(huán)節(jié)，因此，掌握搜索引擎預(yù)處理的原理，可以快速的理解網(wǎng)站優(yōu)化的各個(gè)因素。

搜索引擎預(yù)處理一共分為六步驟


1. 提取文字：搜索引擎以文字內(nèi)容為基礎(chǔ)，從網(wǎng)頁文件中去除標(biāo)簽、程序，剔除可以用于排名的網(wǎng)頁文字內(nèi)容，同時(shí)在優(yōu)化網(wǎng)站時(shí)，頁面內(nèi)容盡量以文字為主，方便蜘蛛提取用于排名的內(nèi)容


2. 中文分詞：搜索引擎將抓取到的頁面中的文字提取出來后，需要對提取出來的文字進(jìn)行拆分重組，這個(gè)過程稱為中文分詞?，F(xiàn)在的搜索引擎檢索標(biāo)題時(shí)也用上了中文分詞算法，所以取一個(gè)好的標(biāo)題尤為重要（中文分詞算法后面會(huì)有會(huì)有詳細(xì)的舉例說明）


3. 去除重復(fù)頁面：將分詞后的頁面進(jìn)行對比，去除重復(fù)的頁面，同一片文章經(jīng)常會(huì)重復(fù)出現(xiàn)不同網(wǎng)站及同一個(gè)網(wǎng)站的不同網(wǎng)址上，搜索引擎并不喜歡重復(fù)的也難內(nèi)容，用戶搜索時(shí)，如果在搜索引擎結(jié)果頁排名靠前的位置看到的都是來自不同網(wǎng)站但都是同一篇文章，用戶體驗(yàn)會(huì)很差，搜索引擎是很在乎用戶體驗(yàn)的，對于搜索引擎而言，更傾向于高質(zhì)量的文章內(nèi)容


4. 計(jì)算網(wǎng)頁的重要度：搜索引擎會(huì)根據(jù)網(wǎng)頁的被指向鏈接數(shù)及頁面的原創(chuàng)性兩個(gè)因素綜合判斷，計(jì)算出頁面的重要程度，所以提供高質(zhì)量的原創(chuàng)文章給搜索引擎，網(wǎng)頁的重要程度與頁面得分會(huì)越高，那么網(wǎng)頁的排名就越高，網(wǎng)站的權(quán)重也會(huì)隨之增長


5. 建立索引：建立索引，是建立關(guān)鍵詞與網(wǎng)頁之間的對應(yīng)關(guān)系，其好處在于能快速的獲取對應(yīng)的數(shù)據(jù)，簡單來說，依靠的就是提前對頁面建立了索引


6. 分析鏈接：鏈接關(guān)系是預(yù)處理中很重要的一步，主流搜索引擎排名因?yàn)槎及W(wǎng)頁之間的鏈接信息，需要計(jì)算出頁面上有哪些鏈接指向哪些其他頁面，形成了網(wǎng)站和頁面的鏈接權(quán)重，鏈接式用來傳遞權(quán)重的。