提取文字

　　由于搜索引擎蜘蛛抓取的是頁面的HTML代碼，里面包含了大量的HTML標(biāo)簽、js等無法用到排名上的內(nèi)容，所以搜索引擎索引首先要做的就是把其中的HTML標(biāo)簽、js去掉，保留剩下的頁面文字內(nèi)容。

　　中文分詞

　　中文分詞是中文搜索引擎特有的步驟，英文單詞之間會(huì)有空格作分隔，而中文詞與詞之間沒有分隔符號(hào)，一個(gè)句子字與詞都是連在一起的。中文搜索引擎必須首先分辨那幾個(gè)字組成一個(gè)詞，哪些字本身就是一個(gè)詞。比如“健身方法”將被分詞為“健身”和“方法”兩個(gè)詞。

　　去停止詞

　　在頁面內(nèi)容中會(huì)存在很多對(duì)內(nèi)容沒有任何影響的詞，比如"的"、"之"、"卻"、"啊"之類。搜索引擎在索引時(shí)會(huì)把這些詞去掉，讓頁面內(nèi)容的主題更加突出。

　　去重(為什么偽原創(chuàng)弊大于利)

　　搜索引擎為了減少搜索結(jié)果中出現(xiàn)的重復(fù)內(nèi)容會(huì)選取頁面內(nèi)容中出現(xiàn)頻率最高的詞，通常會(huì)選出10個(gè)左右關(guān)于頁面的關(guān)鍵詞來計(jì)算頁面的“指紋”。

　　索引

　　經(jīng)過以上步驟之后，搜索引擎就可以提煉出可以代表一個(gè)頁面內(nèi)容的一些關(guān)鍵詞，同時(shí)記錄這些詞在頁面上的出現(xiàn)頻率、出現(xiàn)次數(shù)、格式、位置等信息。

　　鏈接關(guān)系計(jì)算

　　當(dāng)頁面中存在鏈接時(shí)，搜索引擎會(huì)計(jì)算這些鏈接都只想哪些頁面，每個(gè)頁面都有哪些導(dǎo)入鏈接，鏈接使用了什么錨文字，這些復(fù)雜的鏈接指向關(guān)系形成了網(wǎng)站和頁面的鏈接權(quán)重。這些鏈接關(guān)系也是百度計(jì)算權(quán)重的重要依據(jù)之一，至于百度權(quán)重和鏈接分析出彩科技會(huì)在以后的文章中專門介紹。

　　頁面質(zhì)量判斷

　　在這個(gè)階段，搜索引擎會(huì)對(duì)頁面內(nèi)容質(zhì)量、鏈接質(zhì)量等作出判斷，比如百度的綠蘿、石榴算法。

　　提醒的是中文搜索引擎和其他國外搜索引擎還是有一定區(qū)別的，不過大致方向上是相同的，只要牢牢掌握其中一種，學(xué)習(xí)另外的也會(huì)相對(duì)簡單很多。