百度搜索引擎的目的就是在滿足絕大部分用戶的需求下提供最精確最豐富的搜索結(jié)果，對于搜索引擎而言，用戶停留時間越短，越說明搜索引擎的高效性和準確性，不管是百度的輕應(yīng)用、知心搜索，還是谷歌的語義搜索、蜂鳥算法，或是360的我的搜索，都是為了能夠幫助人們更方便的找到所求。

而對于搜索引擎而言，想要給用戶最需求的就需要去判斷用戶搜索詞的意圖。而搜索引擎盡管非常高效，數(shù)據(jù)庫非常龐大，但它畢竟不是那么智能，不能直接判斷出搜索詞的意思，盡管谷歌已公布可以借助更加復(fù)雜的搜索請求更好的理解人類語言的概念，而不是一些零散的單詞，這樣的搜索能提供更加精準的結(jié)果，即整句搜索。但這只是一小步，搜索引擎不論是進行索引還是網(wǎng)頁排序仍需要對文本進行切分，即中文分詞。分詞仍然是最基礎(chǔ)也是最重要的。而在中文分詞過程中文本粒度起到關(guān)鍵性的作用。

文本粒度

所謂文本粒度，對于搜索引擎而言：粒度是衡量文本所含信息量的大小。文本含信息量越多，粒度就越大，反之就小。有人會說那簡單啊，當然詞越長含有的信息量就越大，你確定？那木木SEO告訴你一個小玩意：肌聯(lián)蛋白是目前已知的最大蛋白質(zhì)，名字足足有189819個字母，是名副其實最大的單詞。這個單詞的信息量是有多大？閑話不多說，先來看下面幾組詞中，哪些的粒度大，哪些的粒度小。

蘿卜、葡萄、乒乓

龍井、籃球、紅色、橡皮檫

踢球、拔河、談戀愛、登山

高清電視機、南非雙人游、呼叫中心系統(tǒng)

第一組詞由兩個字組成，但是僅表達一個意思，這些詞的粒度是小的。而第二組詞雖然也基本由兩個字組成，也只有一個意思，但這些詞還可以拆分，如籃和球、橡皮和檫、踢和球等，這類詞粒度要稍微大一些。而后面的第四組，不要說粒度就更大了。

標簽： 百度搜索引擎 中文分詞 文本粒度 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。