WPS程序資源中多國(guó)文字一致性智能判定的研究與實(shí)現(xiàn)

論文字?jǐn)?shù):20624,頁(yè)數(shù):41  有開(kāi)題報(bào)告，任務(wù)書(shū)

摘    要
 本文針對(duì)WPS多國(guó)語(yǔ)言版本的語(yǔ)言一致性測(cè)試中遇到的問(wèn)題進(jìn)行了研究，定義了多國(guó)語(yǔ)言一致性判定的概念，將多國(guó)語(yǔ)言的一致性分為三個(gè)級(jí)別：字符、詞、語(yǔ)義。在這三個(gè)級(jí)別中，根據(jù)Unicode編碼規(guī)則結(jié)合各種語(yǔ)言獨(dú)有的多字節(jié)字符集的編碼規(guī)則實(shí)現(xiàn)了字符級(jí)別一致性的判定；在字符一致性的基礎(chǔ)上，利用分詞技術(shù)將文本分詞，然后通過(guò)查找詞典的方法實(shí)現(xiàn)了詞級(jí)別的一致性判定；在分詞的基礎(chǔ)上，建立一個(gè)N-Gram統(tǒng)計(jì)語(yǔ)言模型，將文本分詞后與該模型進(jìn)行匹配實(shí)現(xiàn)了語(yǔ)義級(jí)別的一致性判定。
 最后，我們根據(jù)本文提出的方法實(shí)現(xiàn)了一個(gè)WPS的中、英文一致性判定的自動(dòng)化工具。對(duì)于英文，本文采用了基于詞典查找的拼寫(xiě)檢查方法使一致性判定達(dá)到了詞的級(jí)別；對(duì)于中文，本文采用統(tǒng)計(jì)語(yǔ)言模型進(jìn)行一致性檢查使一致性判定達(dá)到了語(yǔ)義級(jí)別。利用這個(gè)工具在WPS的三個(gè)項(xiàng)目中共找出了有效的英文錯(cuò)誤33處、中文錯(cuò)誤15處。試驗(yàn)結(jié)果證明了本文的方法是可行的，統(tǒng)計(jì)語(yǔ)言模型是能夠應(yīng)用到多國(guó)文字一致性判定中去的。
 
關(guān)鍵詞：一致性判定，n-gram，統(tǒng)計(jì)語(yǔ)言模型，分詞，多國(guó)文字

 The research and realization that multilateral languages consistency
 intelligence judgment for the WPS program Source
                                
Abstract
 The paper researches the problems in the multi-language conformance testing of WPS, and defines the consistency judgment that includes three levers: character, word, semantic. The rule of coding Unicode and the character set of the given language is used to realize the character lever. Then it segments the sentence to words, and compares the words with standard dictionary to realize the word lever. Thirdly the paper builds an N-gram language model segmentation-based, and use this model to realize the semantic lever.
 Finally, we developed a tool for English and Chinese consistency judgment by the method in this paper in WPS. For English, there adopted the method of looking up dictionary based spelling to realize the word consistency in sentences. For Chinese, there used the Statistical language model, which could express the frequency of word pair, to realize the semantic consistency in sentences. Three projects of WPS are examined using this tool. As a result it finds 33 errors in English edition, 15 errors in Chinese edition. It proves that the method in this paper is feasible and the Statistical language model is useful in the multilateral languages consistency judgment.
 
 Key Words：Consistency Judgment,N-Gram,Language Model, Participle,
              Multilateral Languages
目  錄
1. 緒論 1
1.1 課題的背景及目的 1
1.2 國(guó)內(nèi)外研究狀況 1
1.3 課題研究方法 3
1.4 論文研究?jī)?nèi)容 3
2. 字符編碼簡(jiǎn)介 5
2.1 從ASCII到Unicode 5
2.2 Unicode、UCS和UTF 6
2.3 中日韓統(tǒng)一表意文字 6
2.3.1. CJK的發(fā)展 6
2.3.2.字源分離原則 7
2.3.3. CJK編碼區(qū)間 8
2.4 Unicode與GB2312在本文中的作用 8
3. 分詞介紹及語(yǔ)言統(tǒng)計(jì)模型 10
3.1 中文分詞簡(jiǎn)介 10
3.1.1  最大正向匹配法 11
3.1.2  逆向最大匹配法 12
3.1.3  最少切分法 12
3.1.4  雙向匹配法 12
3.1.5  中文分詞中的難題 13
3.2 統(tǒng)計(jì)語(yǔ)言模型 14
3.2.1 統(tǒng)計(jì)語(yǔ)言模型簡(jiǎn)史 14
3.2.2 統(tǒng)計(jì)語(yǔ)言模型的發(fā)展 14
3.2.3 建立一個(gè)簡(jiǎn)單的統(tǒng)計(jì)語(yǔ)言模型 15
3.3 N_Gram統(tǒng)計(jì)語(yǔ)言模型 16
3.3.1 N-Gram語(yǔ)言模型概述[2] 16
3.3.2 建立一個(gè)BiGram模型[6] 16
3.3.3 N-Gram的數(shù)據(jù)稀疏問(wèn)題 18
3.3.4 N-Gram的數(shù)據(jù)平滑處理 18
4. WPS程序資源中多國(guó)語(yǔ)言一致性智能判定的實(shí)現(xiàn) 22
4.1 提取資源字符串 22
4.2 英文一致性判定的實(shí)現(xiàn) 23
4.2.1 英文字符一致性判定的實(shí)現(xiàn) 23
4.2.2 英文詞、語(yǔ)法一致性的判定的實(shí)現(xiàn) 24
4.3 中文一致性判定的實(shí)現(xiàn) 27
4.3.1 中文字符一致性判定的實(shí)現(xiàn) 27
4.3.2 中文詞、語(yǔ)法一致性的判定的實(shí)現(xiàn) 27
4.4 實(shí)驗(yàn)結(jié)果與分析 29
結(jié)論與展望 32
致    謝 34
參考文獻(xiàn) 35