來(lái)源:本站日期:2017-7-10
搜索引擎每天處理著數(shù)以?xún)|計(jì)的查詢(xún)請(qǐng)求,每個(gè)查詢(xún)請(qǐng)求都代表了一個(gè)用戶對(duì)于某種資源的特定需求。多數(shù)時(shí)候,通過(guò)查詢(xún)返回的網(wǎng)頁(yè)結(jié)果,這些需求被滿足了,我們可以認(rèn)為結(jié)果中的某些頁(yè)面對(duì)特定用戶的特定需求產(chǎn)生了價(jià)值。那么對(duì)于搜索引擎而言,頁(yè)面的價(jià)值是指什...
一、什么頁(yè)面價(jià)值
前面我們說(shuō)了,某個(gè)頁(yè)面滿足了某一用戶的特定需求,就體現(xiàn)了這個(gè)頁(yè)面對(duì)用戶的價(jià)值。那么對(duì)搜索引擎而言,價(jià)值體現(xiàn)在哪些方面呢?一個(gè)簡(jiǎn)單的推論,所有可能會(huì)對(duì)用戶產(chǎn)生價(jià)值的頁(yè)面都是對(duì)搜索引擎有價(jià)值的,將這些頁(yè)面建入搜索引擎的索引中能夠滿足最終檢索到它們用戶的需求,我們稱(chēng)這種價(jià)值為檢索價(jià)值。只要是能解決某個(gè)用戶信息需求的,并且是可以通過(guò)某些正常檢索需求到達(dá)的,那么就是有檢索價(jià)值的。
小學(xué)生張三喜歡在qzone上寫(xiě)日記,寫(xiě)他前天吃了什么,今天玩了什么。這些內(nèi)容,是有價(jià)值的。它們對(duì)張三的家長(zhǎng)、同學(xué)、老師,以及其他小學(xué)生,和對(duì)小學(xué)生日記感興趣的人來(lái)說(shuō),都是有價(jià)值的。對(duì)于這個(gè)信息體來(lái)說(shuō),“張三”這個(gè)名字是檢索的“key”。
有一些信息單元,只有“瀏覽”價(jià)值,而沒(méi)有到達(dá)該信息的檢索途徑,那么該資源可能是有價(jià)值的,但檢索價(jià)值就很低。比如一張百度大廈附近的地圖,從瀏覽角度,是有價(jià)值的;但是如果沒(méi)有任何周邊文字說(shuō)明(或者link的anchortext),只有一張光禿禿的地圖,就沒(méi)有檢索價(jià)值。當(dāng)然,如果圖片的內(nèi)容識(shí)別技術(shù),有朝一日能自動(dòng)識(shí)別出這個(gè)是“百度大廈附近地圖”,或者能夠自動(dòng)分析出地圖內(nèi)的各種大廈、街道、餐館等的名稱(chēng),那么這張圖一樣變得有檢索價(jià)值了。
二、為什么要研究頁(yè)面價(jià)值
首先,互聯(lián)網(wǎng)上的頁(yè)面是無(wú)窮盡的,而搜索引擎的硬件資源是有限的,想用有限的資源去覆蓋無(wú)窮盡的互聯(lián)網(wǎng),我們就需要對(duì)頁(yè)面價(jià)值做出判斷,不收錄那些無(wú)檢索價(jià)值的頁(yè)面,少收錄那些檢索價(jià)值低的頁(yè)面。這是頁(yè)面價(jià)值在收錄控制方面的應(yīng)用。
第二,搜索引擎spider的抓取能力是有限的,出于訪問(wèn)友好性的考慮,對(duì)于一個(gè)網(wǎng)站或一個(gè)IP抓取速率需要有一個(gè)抓取速率的上限。在這一限制下,抓取或頁(yè)面更新就需要有一個(gè)先后順序,而這一排序的主要參考依據(jù)就是頁(yè)面價(jià)值,或者說(shuō)對(duì)頁(yè)面價(jià)值的預(yù)測(cè)(未抓取時(shí))。這是頁(yè)面價(jià)值在spider調(diào)度方面的應(yīng)用。
第三,對(duì)于某些頁(yè)面,頁(yè)面內(nèi)容發(fā)生變化,導(dǎo)致它的檢索價(jià)值從有到無(wú),典型的就是變?yōu)?ldquo;死鏈”,或者“被黑”。對(duì)于這些頁(yè)面,好的搜索引擎會(huì)在第一時(shí)間將其排除出索引,或在檢索時(shí)對(duì)其進(jìn)行屏蔽,以保證返回給用戶的結(jié)果是更多檢索價(jià)值高的“好頁(yè)面”。對(duì)于另一些頁(yè)面,它不僅具有很高的檢索價(jià)值,而且有很強(qiáng)的“時(shí)效性”,能夠第一時(shí)間讓用戶檢索到這些頁(yè)面對(duì)搜索體驗(yàn)有很大的提升。對(duì)搜索引擎而言,越快的收錄和索引頁(yè)面意味著越多的額外資源開(kāi)銷(xiāo),以多快的速度收錄和以多短的周期更新索引,需要通過(guò)頁(yè)面價(jià)值的分析來(lái)指導(dǎo)。這兩方面是頁(yè)面價(jià)值在死鏈率和時(shí)效性?xún)纱笏阉饕嬷笜?biāo)提升上的應(yīng)用。