英語專用名詞鑒別一些英文簡寫是字母符號混和,或是是數(shù)字數(shù)據(jù)混和,這一分詞起來就無法依照空格符號那樣切分了,針對字母符號混和的如 U.S.A 。 中文分詞作用中文未登錄詞鑒別盤古分詞能夠?qū)σ恍]有字典中的未登錄詞自動檢索高頻詞優(yōu)先選擇盤古分詞能夠依據(jù)高頻詞來處理分詞的分歧難題多元化分詞盤古分詞給予多種輸出處理分詞粒度分布和分詞精密度衡量的難題中文姓名鑒別鍵入: “張三說確實確實理”分詞結果:張三/說/的/的確/在理/鍵入 “李三購買了一張三角餐桌”分詞結果:李三/買/了/一張/三角/餐桌/強制性一元分詞鍵入 “張三說確實確實理”分詞結果: 張(0,1)/張三(0,5)/三說的(1,盤古分詞,1)/三(1,1)/說(2,5)/的(3,5)/確(4,1)/的確(4,5)/實(5,1)/在(6,1)/在理(6,5)/理(7,1) ...