新聞視線

搜索引擎每天處理著數(shù)以億計的查詢請求，每個查詢請求都代表了一個用戶對于某種資源的特定需求。多數(shù)時候，通過查詢返回的網(wǎng)頁結(jié)果，這些需求被滿足了，我們可以認(rèn)為結(jié)果中的某些頁面對特定用戶的特定需求產(chǎn)生了價值。那么對于搜索引擎而言，頁面的價值是指什么，我們?yōu)槭裁匆�研究頁面價值?帶著這些疑問我們一起來看下下面的文章：

首先，互聯(lián)網(wǎng)上的頁面是無窮盡的，而搜索引擎的硬件資源是有限的，想用有限的資源去覆蓋無窮盡的互聯(lián)網(wǎng)，我們就需要對頁面價值做出判斷，不收錄那些無檢索價值的頁面，少收錄那些檢索價值低的頁面。這是頁面價值在收錄控制方面的應(yīng)用。

二，搜索引擎spider的抓取能力是有限的，出于訪問友好性的考慮，對于一個網(wǎng)站或一個IP抓取速率需要有一個抓取速率的上限。在這一限制下，抓取或頁面更新就需要有一個先后順序，而這一排序的主要參考依據(jù)就是頁面價值，或者說對頁面價值的預(yù)測(未抓取時)。這是頁面價值在spider調(diào)度方面的應(yīng)用。

三，對于某些頁面，頁面內(nèi)容發(fā)生變化，導(dǎo)致它的檢索價值從有到無，典型的就是變?yōu)椤八梨湣�，或者“被黑”。對于這些頁面，好的搜索引擎會在一時間將其排除出索引，或在檢索時對其進(jìn)行屏蔽，以保證返回給用戶的結(jié)果是更多檢索價值高的“好頁面”。對于另一些頁面，它不僅具有很高的檢索價值，而且有很強的“時效性”，能夠一時間讓用戶檢索到這些頁面對搜索體驗有很大的提升。對搜索引擎而言，越快的收錄和索引頁面意味著越多的額外資源開銷，以多快的速度收錄和以多短的周期更新索引，需要通過頁面價值的分析來指導(dǎo)。這兩方面是頁面價值在死鏈率和時效性兩大搜索引擎指標(biāo)提升上的應(yīng)用。

后，普遍意義上的頁面價值高低對搜索引擎返回給用戶的結(jié)果排序上也存在著指導(dǎo)意義。理想情況下搜索引擎的結(jié)果是按照與查詢請求的相關(guān)性進(jìn)行排序的，在相關(guān)性大體相當(dāng)?shù)那闆r下，用戶更傾向與瀏覽普遍意義上頁面價值高的網(wǎng)頁。這是頁面價值在ranking方面的應(yīng)用。

可以說，頁面檢索價值的研究是搜索引擎中的一項較為基礎(chǔ)的工作，對頁面價值的認(rèn)識和判斷的準(zhǔn)確程度直接影響著搜索引擎的覆蓋率、死鏈率、時效性等幾大主要指標(biāo)。

上面已經(jīng)介紹了頁面價值的含義，研究的意義與價值判斷的方法。后我們再看一下，從技術(shù)角度上，這一方向的研究中的方向。對頁面價值的研究工作主要致力于三方面：

對頁面價值體系的認(rèn)識。我們目前對頁面價值的認(rèn)識是來源于前文所述的四個維度，這個認(rèn)識是否全，對于不斷變化的互聯(lián)網(wǎng)環(huán)境與用戶需求，這些維度應(yīng)該如何擴展與變化才能更好的服務(wù)于整體的搜索體驗提升，是一個很重要問題。

對于反映頁面價值的頁面特征提取。巧婦難為無米之炊，挖掘更多的頁面特征，更準(zhǔn)確合理的特征提取是頁面價值判定準(zhǔn)確率提升的基礎(chǔ)。對各種頁面特征的組合策略(機器學(xué)習(xí))。針對不用的應(yīng)用方向，需要利用相應(yīng)的特征通過合理的策略擬合出頁面價值的終評價結(jié)果。