基於知網義原資訊量的詞語相似度的計算方法
基於知網義原資訊量的詞語相似度的計算方法
基於知網義原資訊量的詞語相似度的計算方法
摘要：國內利用知網計算中文詞語相似度通常採用基於義原距離的方法，這些方法依賴於公式設計和引數選取。根據資訊理論中計算兩個事物相似度的思想，利用知網的分類體系來計算詞語所包含的義原資訊量，將義原及其角色關係的資訊量作為詞語相似度計算的基本單位，透過計算兩個詞語的共有義原及其角色關係的資訊量和所有義原及其角色關係的資訊量的比值來綜合計算詞語的相似度。實驗結果證明，該方法合理可行。
關鍵詞：義原資訊量；角色關係；詞語相似度；資訊處理
中圖分類號：TP391
作者簡介作者簡介：李國佳（1986-），男，山西大同人，碩士，華北水利水電大學軟體學院助教，研究方向為自然語言處理；楊喜亮（1981-），男，河南鄭州人，碩士，華北水利水電大學現代教育技術中心助教，研究方向為智慧資訊處理。
0 引言
本文從整體性角度出發，給出一種基於義原資訊量計算中文詞語相似度的方法。基於知網的分類體系（Taxonomy），將義原及其角色關係整體作為詞語相似度計算的基本單位，保留了描述詞語概念的各個義原間的關係，並依據資訊理論中計算兩個事物相似度的思想[4]，用兩個詞語共有義原及其角色關係的資訊量和所有義原及其角色關係的資訊量來綜合計算詞語的相似度。
1 知網義原資訊量
1.1 義原資訊量
其中，P（A）表示義原A在某個語料庫樣本空間中出現的機率。計算語料庫樣本空間中某個義原出現的機率很困難。知網作為一個以各類概念及關係為描述物件的知識系統，其分類體系本身可以看作是各個義原出現的一個樣本空間，那麼僅依賴知網分類體系本身而不需其它語料庫，作為計算義原出現機率的樣本空間也是合理的。本文給出一種根據知網的分類體系來計算義原資訊量的方法。
由義原組成的知網分類體系是一棵概念分類樹，在每類義原樹狀層次結構（以下簡稱為義原樹）中，根結點義原是分類類別，是最大的分類，其它義原都是根結點義原的子孫。可以認為，分支結點義原包含越多的.子孫結點，其資訊量越小。葉子結點是最小的分類，所有葉子結點的資訊量是相同的。
在知網的知識詞典中，每個詞語由DEF來描述其概念。將DEF分為兩部分：主類義原和特性描述部分。
定義1：義原及其角色關係。
在詞語概念DEF的特性描述部分中，將義原及動態角色與特徵（Event Role and Features）[9]的層次結構的組合稱為義原及其角色關係。
定義2：主類義原。
在詞語概念DEF中，把描述詞語概念最左邊的第一個義原稱為主類義原，也稱為第0層義原及其角色關係。
例如詞語“病菌”的一個概念：DEF={bacteria|微生物：domain={medical|醫}，modifier={able|能：scope={ResultIn|導致：result={disease|疾病}}}}。在“病菌”的DEF中，將“bacteria|微生物”稱為主類義原，其它部分是特性描述部分。在特性描述部分中，將“domain={medical|醫}”、“modifier={able|能 }”稱為DEF的第一層義原及其角色關係，其中包含兩個本層義原“medical|醫”和“medical|醫”；把“scope={ResultIn|導致}”稱為第二層義原及其角色關係，包含一個本層義原“ResultIn|導致”，將“result={disease|疾病}”稱為第三層的義原及其角色關係，包含一個本層義原“disease|疾病”，依次類推。
其中，I（pj）表示r所包含的第j個義原pj的資訊量。
例如在詞語“病菌”的DEF中，每層的義原及其角色關係中包含的本層義原資訊量均為3.346，根據式（4）可得“病菌”的義原及其角色關係的總資訊量為7.946。
1.3 共有義原及其角色關係的資訊量
2 實驗結果及分析
綜合來看，本文方法的結果整體表現更加合理，能夠反映出詞語間語義的相似性和差異，與人的判斷結果比較一致，計算也簡單。
3 結語
基於知網義原資訊量計算中文詞語相似度的方法根據資訊理論中計算兩個事物相似度的思想，利用知網的分類體系來計算義原資訊量，並根據知網這一關係系統的特性，從保留義原間關係的角度出發，將義原及其角色關係作為計算概念相似度的基本單位，更能全面反映詞語語義的相似性和差異。基於知網透過義原及其角色關係的資訊量來綜合計算詞語的相似度，計算量較少，計算結果合理可行。在詞語相似度計算基礎上，進一步研究句子間相似度計算方法，則有待下一步研究。
參考文獻：
[2] 劉群，李素建.基於《知網》的詞彙語義相似度的計算[C]. 臺北：第三屆漢語詞彙語義學研討會，2002，7（2）：5976.
[3] 董振東，董強，郝長伶.《知網》的理論發現[J].中文資訊學報，2007，21（4）：39.
[6] 夏天.漢語詞語語義相似度計算研究[J].計算機工程，2007， 33（6）：191194.
[8] 王小林，王義.改進的基於知網的詞語相似度演算法[J].計算機應用，2011，31（11）：7590.