發(fā)布時間：2023-09-21 16:52:54
序言：寫作是分享個人見解和探索未知領(lǐng)域的橋梁，我們?yōu)槟x了8篇的神經(jīng)網(wǎng)絡文本分類樣本，期待這些樣本能夠為您提供豐富的參考和啟發(fā)，請盡情閱讀。
Yi Wan，Luo Jing，Li Yong，Guo Shaoying （College of computer science and Information Engineering， Tianjin University of Science & Technology， Tianjin 300222， China） Abstract： According to user search history， the user information of interest by Title Classification， the auto-encoder neural network feature extraction value. Set the learning sample heading up to 25 Chinese characters， coding mode is adopted Chinese characters machine code （GBK code）. Use the MATLAB tool for deep learning， will feature in the original space representation is transformed into a new feature space. Key words： Text feature; The auto-encoder neural network; Deep learning; Matlab
基于自編碼神經(jīng)網(wǎng)絡建立搜索信息模型的目的是根據(jù)用戶搜索信息的歷史，推斷出網(wǎng)頁中的內(nèi)容是用戶關(guān)注的信息并即時顯示。首先將用戶關(guān)注的歷史信息按標題分類，通過自編碼神經(jīng)網(wǎng)絡建立標題特征值數(shù)據(jù)庫。當自編碼神經(jīng)網(wǎng)絡搜索信息模型工作時，按照用戶提供的關(guān)鍵詞順序，打開用戶經(jīng)常瀏覽的網(wǎng)頁，讀入標題文本，若具有數(shù)據(jù)庫中的標題特征，則將該標題的文本內(nèi)容即時顯示。
直接解析網(wǎng)頁中的標題文本，面臨的基本問題是文本的表示。如果把標題文本所有的詞都作為特征項，那么太多的特征向量維數(shù)導致計算量太大。例如50個標題，每個標題25個漢字，特征項將有50×25=1250個。如果將標題中的某個關(guān)鍵詞作為特征詞，將會有幾千個包含關(guān)鍵詞的標題，從而導致讀入分析量過于巨大。本文采用自編碼神經(jīng)網(wǎng)絡，用映射變換的方法把原始文本特征變換為較少的新特征，提高信息搜索效率。
1 自編碼神經(jīng)網(wǎng)絡
1.1 自編碼神經(jīng)網(wǎng)絡理論
Auto-Encoder（自編碼）[1]，自編碼算法是一種基于神經(jīng)網(wǎng)絡算法的無監(jiān)督學習算法，與神經(jīng)網(wǎng)絡算法的不同之處是將輸入值作為輸出節(jié)點的輸出。自編碼算法的另一個特征是隱藏層節(jié)點的個數(shù)一般少于輸入輸出節(jié)點的個數(shù)。這樣的意義是將輸入的特征通過神經(jīng)網(wǎng)絡的非線性變換到節(jié)點數(shù)更少的隱藏層。因此，可以通過自編碼神經(jīng)網(wǎng)絡對給定的樣本進行訓練學習，從而得到輸入數(shù)據(jù)降維后的特征，即為隱藏層的節(jié)點數(shù)，省去了人工特征提取的麻煩。
自編碼神經(jīng)網(wǎng)絡結(jié)構(gòu)示意圖如圖1所示[2]。這是一種深度學習的神經(jīng)網(wǎng)絡，包含了多個隱含層，整個網(wǎng)絡是一種對稱的結(jié)構(gòu)，中心層的神經(jīng)元的個數(shù)最少。網(wǎng)絡通過對樣本的訓練可以得到一組權(quán)值系數(shù)，而輸入數(shù)據(jù)通過這組權(quán)值系數(shù)表達成低維形式，從而達到了用降維后的特征表示出輸入的數(shù)據(jù)。
圖1 自編碼神經(jīng)網(wǎng)絡的結(jié)構(gòu)
Fig.1 The structure of auto-encoder neural network
1.1.1 預訓練
（1） 輸入?yún)?shù)的確定：標題是作者給出的提示文章內(nèi)容的短語，標題一般都簡練、醒目，有不少縮略語，與報道的主要內(nèi)容有著重要的聯(lián)系。如登陸我的鋼鐵網(wǎng)站，搜索鋼管熱點資訊，顯示的標題有“我國自主研制*****油管成功替代進口”，學習樣本選擇50組標題，每個標題不超過25個漢字，如表1所示。
表1 學習樣本
Tab. 1 Learning samples
1
我國自主研制高端耐熱鋼無縫鋼管成功替代進口
2
我國自主研制K55石油套管成功替代進口
3
我國自主研制J55稠油熱采套管成功替代進口
4
我國自主研制專用耐高溫防火船舶用套管成功替代進口
5
我國自主研制20G高壓鍋爐管成功替代進口
6
我國自主研制特殊用途低溫用管成功替代進口
7
我國自主研制起重機臂架無縫鋼管成功替代進口
8
我國自主研制精密合金4J36船用管材成功替代進口
9
我國自主研制高強韌性高抗擠毀套管成功替代進口
10
我國自主研制三種極限規(guī)格管線管成功替代進口
…
……
50
我國自主研制醫(yī)藥化工用管成功替代進口
（2） 語句預處理[3]：學習樣本句子進行預處理是把句子中的每一個漢字變換成自編碼神經(jīng)網(wǎng)絡模型能接受的數(shù)字化形式。為了使神經(jīng)網(wǎng)絡能接受外部數(shù)據(jù)，首先要對句子中的漢字進行編碼，編碼方式是采用漢字的計算機內(nèi)碼（GBK碼）。每個漢字機內(nèi)碼有16位二進制，如：“我國自主研制”的二進制碼為
1100111011010010 我（GBK碼）
1011100111111010 國（GBK碼）
1101011111010100 自（GBK碼）
1101011011110111 主（GBK碼）
1101000111010000 研（GBK碼）
1101011011000110 制（GBK碼）
將16位二進制數(shù)轉(zhuǎn)換為十進制數(shù)并進行線性變換，映射到實數(shù)[0 1]之間，作為輸入神經(jīng)元初值。變換公式如下：
式中：maxi和mini;tmax和tmin分別為x（p）i，t（p）量程范圍的最大值和最小值。
（3）預訓練：幾個獨立的RBM構(gòu)成“堆?！睒?gòu)成了預訓練部分，而RBM是BM （boltzmannmachine）的一種特殊連接方式。圖2即為RBM的網(wǎng)絡構(gòu)成。它是一種隱含層神經(jīng)元無連接，并且只有可見層和隱含層兩層神經(jīng)元。
圖2 RBM網(wǎng)絡構(gòu)成
Fig. 2 Construction of restricted boltzmannmachine
BM的權(quán)值調(diào)整公式為[4]
（1）
式中：在第t步時神經(jīng)元i、j間的連接權(quán)值為wij（t）;η為學習速率;T為網(wǎng)絡溫度;<uihj>+、<uihj>-分別為正向平均關(guān)聯(lián)和反向平均關(guān)聯(lián)。
在RBM中，可見層神經(jīng)元的輸出和隱含層神經(jīng)元輸出的乘積即為平均關(guān)聯(lián)。系數(shù)ε由η和T統(tǒng)一合并而成，迭代步長即由權(quán)值調(diào)整公式ε表示。
圖3 RBM網(wǎng)絡結(jié)構(gòu)圖
Fig. 3 RBM network structure diagram
（4）MATLAB實現(xiàn)：
本文建立的BP神經(jīng)網(wǎng)絡模型結(jié)構(gòu)為
[25，15，25]，[15，12，15]，[12，10，12]，[10，8，10]，[8，5，8]
設(shè)定網(wǎng)絡隱含層的激活函數(shù)為雙曲正切S型函數(shù)tansig，輸出層的激活函數(shù)為線性激活函數(shù)purelin，網(wǎng)絡的訓練函數(shù)為Levenberg-Marquardt算法訓練函數(shù)trainlm。因此對應的MATLAB神經(jīng)網(wǎng)絡工具箱的程序語句為
net=newff（minmax（P），[25，25]，{‘tansig’，’purelin’}， ’trainlm’）;
net=newff（minmax（P），[15，15]，{‘tansig’，’purelin’}，’trainlm’）;
net=newff（minmax（P），[12，12]，{‘tansig’，’purelin’}，’trainlm’）;
net=newff（minmax（P），[10，10]，{‘tansig’，’purelin’}，’trainlm’）;
net=newff（minmax（P），[8，8]，{‘tansig’，’purelin’}，’trainlm’）;
設(shè)定學習速率為0.01，最大訓練步數(shù)為300，目標誤差為0.00001。
（5）預訓練結(jié)果：
預訓練結(jié)果如表2所示。
表2 預訓練結(jié)果
Tab. 2 The results of pre training
誤差
學習速率
步長
[25，15，25]
0.003248
0.01
150
[15，12，15]
0.0022809
0.01
125
[12，10，12]
0.0025866
0.01
100
[10，8，10]
0.0039575
0.01
75
[8，5，8]
0.013529
0.01
50
1.1.2 展開
如圖4所示，將各個RBM連接，得到自編碼神經(jīng)網(wǎng)絡。預訓練所得到的權(quán)值，將作為整個自編碼神經(jīng)網(wǎng)絡的初始權(quán)值，參與整個網(wǎng)絡的微調(diào)訓練。
圖4 RBM展開圖
Fig. 4 Development of RBM network structure
1.1.3 微調(diào)
微調(diào)訓練是在預訓練得到初始權(quán)值的基礎(chǔ)上，對權(quán)值進一步調(diào)整。采用以交叉熵為目標函數(shù)[5]的BP算法完成網(wǎng)絡的微調(diào)訓練。交叉熵是用來度量兩個概率分布間差異性的，它是一個非負數(shù)，兩個分布越相似，其越小。原始的交叉熵定義為
（4）
式中：x為隨機變量;q（x）為已知概率分布;p（x）為估計概率分布。
對于隨機變量x，當用q（x）估計p（x）時，通過調(diào)整受x影響的p（x）來最小化交叉熵D（pq），用于自編碼神經(jīng)網(wǎng)絡權(quán)值調(diào)整的BP算法交叉熵函數(shù)形式為
（5）
式中：ti目標概率分布;yi實際概率分布。
整個網(wǎng)絡訓練的目的是調(diào)整權(quán)值以使交叉熵函數(shù)達到最小，權(quán)值調(diào)整公式為
根據(jù)上面的權(quán)值調(diào)整公式，可以完成網(wǎng)絡的微調(diào)訓練。訓練結(jié)果如表3所示。
表3 微調(diào)訓練結(jié)果
1.1.4 特征提取
50組標題（每個標題不超過25個漢字）的學習訓練，通過自編碼網(wǎng)絡的逐層特征變換，將樣本數(shù)據(jù)約1250（50×25）個漢字編碼，在原空間的特征表示變換到一個新特征空間。其中網(wǎng)絡最深隱含層的輸出值（5個）和權(quán)值矩陣W6（5×8=40個），共計45個，為提取標題文本1250個漢字編碼的特征值。
2 實 例
本文選取10組標題文本見表4，分別輸入自編碼神經(jīng)網(wǎng)絡。預測結(jié)果表示基本符合要求。
表4 預測結(jié)果
Tab. 4 The prediction results
序號
樣本輸入
結(jié)果顯示
1
我國自主研制的蛟龍?zhí)柹钏綔y器成功替代進口
無
2
我國自主研制首臺3.6萬噸垂直擠壓機擠合格鋼管成功替代進口
我國自主研制首臺3.6萬噸垂直擠壓機擠合格鋼管成功替代進口
3
我國自主研制的超級計算機系統(tǒng)成功替代進口
無
4
我國自主研發(fā)的1000MPa高壓共軌管成功替代進口
我國自主研發(fā)的1000MPa高壓共軌管成功替代進口
5
我國自主研制超臨界電站無縫鋼管T92、P92成功替代進口
我國自主研制超臨界電站無縫鋼管T92、P92成功替代進口
6
我國自主研制重載火車頭下線成功替代進口
無
7
我國自主研制成功特高壓交、直流套管成功替代進口
我國自主研制成功特高壓交、直流套管成功替代進口
8
我國自主研制的Q355GNH系列耐候鋼成功替代進口
我國自主研制的Q355GNH系列耐候鋼成功替代進口
9
我國自主研制的渦槳支線飛機成功替代進口
無
10
我國自主研制釩微合金L290管線鋼成功替代進口
我國自主研制釩微合金L290管線鋼成功替代進口
3 結(jié) 語
本文按照標題文本分類檢索信息，解決了直接按照關(guān)鍵詞搜索信息，網(wǎng)頁中經(jīng)常顯示幾千條包含關(guān)鍵詞內(nèi)容的標題本文，從而導致讀入分析信息量過于巨大的問題。通過自編碼神經(jīng)網(wǎng)絡提取文本特征，在不損傷文本核心信息的情況下盡量減少要處理的單詞數(shù)，以此來降低向量空間維數(shù)，簡化計算，提高了文本處理的速度和效率。
關(guān)鍵詞：文本分類；支持向量機；核函數(shù)
中圖分類號： TP391; TP18 文獻標識碼：B文章編號：1672-5913（2007）02-0072-04
支持向量機（Support Vector Machine，簡稱SVM）是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。傳統(tǒng)統(tǒng)計模式識別的方法都是在樣本數(shù)目足夠多的前提下進行研究，所提出的各種方法只有在樣本數(shù)趨于無窮大時其性能才有理論上的保證,而在多數(shù)實際應用中，樣本數(shù)目通常是有限的，很多傳統(tǒng)方法都難以取得理想的效果。Vapnik等人早在20世紀60年代就開始研究有限樣本情況下的機器學習問題。20世紀90年代，有限樣本情況下的機器學習理論研究逐漸成熟起來，形成了一個較完善的理論體系――統(tǒng)計學習理論(Statistical Learning Theory)。1992年到1995年，在統(tǒng)計學習理論的基礎(chǔ)上發(fā)展出了一種新的模式識別方法――支持向量機。隨著WWW的迅猛發(fā)展，文本分類成為處理和組織大量文檔數(shù)據(jù)的關(guān)鍵技術(shù)。SVM是繼k-近鄰、神經(jīng)網(wǎng)絡、相素貝葉斯等方法之后被用于文本分類，并且是在Reuter語料（包括21450版本和Apte給出的集合）上能取得非常好的結(jié)果的文本分類算法之一。
本文重點研究SVM在兩個不同的語料集上，選擇不同的特征維數(shù)，采用四種不同的核函數(shù)的分類性能比較。實驗結(jié)果表明，這種方法削弱了訓練樣本分布的不均勻性對分類性能的影響，可以將微平均準確率提高大約1%～2%。
本文第1節(jié)將闡述支持向量機算法的基本思想；第2節(jié)介紹目前廣泛應用的三種核函數(shù)；第3節(jié)給出了在著名的英文語料集Reuters-21578上的實驗結(jié)果與分析；第4節(jié)是結(jié)論和進一步工作展望。
1統(tǒng)計學習理論與支持向量機
統(tǒng)計學習理論就是研究小樣本統(tǒng)計估計和預測的理論,具有很好的泛化能力，為解決有限樣本學習問題提供了一個統(tǒng)一的框架。它能將很多現(xiàn)有方法納入其中,有望幫助解決許多原來難以解決的問題（比如神經(jīng)網(wǎng)絡結(jié)構(gòu)選擇問題、局部極小點問題等）；同時,在這一理論基礎(chǔ)上發(fā)展了一種新的通用學習方法――支持向量機（SVM) 。
SVM是一種建立在統(tǒng)計學習理論基礎(chǔ)上的機器學習方法，有較好的推廣性能和較高的分類準確率。該算法基于結(jié)構(gòu)風險最小化原理，將數(shù)據(jù)集合壓縮到支持向量集合(通常為前者的3％～5％），學習得到分類決策函數(shù)。其基本思想是構(gòu)造一個超平面作為決策平面，使正負模式之間的間隔最大。
SVM方法是從線性可分情況下的最優(yōu)分類面提出的。如圖1所示，圓圈和實心點分別代表兩類的訓練樣本，H為把兩類沒有錯誤地分開的分類線，H1、H2分別為過各類樣本中離分類線最近的點且平行于分類線的直線，H1和H2之間的距離叫做兩轉(zhuǎn)類的分類間隔（Margin）。支持向量與超平面之間的距離為1/ω,則支持向量間距為2/ω尋找超平面的問題，可化為求解以下二次規(guī)劃問題：
3.3實驗結(jié)果與分析
為了考察算法的效果，我們采用了VC++6.0實現(xiàn)本文算法，部分源代碼采用復旦大學計算機與信息技術(shù)系李榮陸提供的文本分類器系統(tǒng)源代碼。實驗分為三個階段。
表1、表2實驗結(jié)果表明，不論是在英文語料集還是中文語料集，使用SVM分類系統(tǒng)均能達到較好的分類效果，而實驗中采用多項式核函數(shù)和Sigmoid函數(shù)進行比較，經(jīng)證明，在多數(shù)情況下前者優(yōu)于后者。
4結(jié)束語
本文就文本分類的過程和關(guān)鍵技術(shù)進行了論述，并就不同核函數(shù)下文本分類的效果進行了實驗驗證，證明SVM是一種行之有效的文本分類方法。在今后的研究中，如何提高SVM算法的效率將是工作的重點。
參考文獻：
[1] V. Vapnik. The nature of Statistical Learning Theory[J]. Springer, New York, 1995.
[2] Therson Joachims. Text Categorization with Support Vector Machines: Learning with Many Relevant Features. In European Conference on Machine Learning(ECML)[J]. Springer,Berlin, 1998.
關(guān)鍵詞：自動分類；現(xiàn)狀；類型；文檔分類；方法
中圖分類號：TP391文獻標識碼：A文章編號：1009-3044(2009)04-1020-02
自動分類技術(shù)是利用計算機系統(tǒng)對文本集按照一定的分類體系或標準進行自動類別標記，分類工具根據(jù)文檔的信息將其分配到已經(jīng)存在的類別中，也稱“主題”。
隨著網(wǎng)絡的迅猛發(fā)展，網(wǎng)頁、電子郵件、數(shù)據(jù)庫、聊天室和數(shù)字圖書館等電子文本成幾何級數(shù)不斷增長，處理這些海量數(shù)據(jù)的一個重要方法就是將它們分類。當我們?yōu)g覽一個網(wǎng)站查找信息時，如果網(wǎng)頁凌亂的堆積在一起沒有類別供我們查找，會使我們很難找到自己所需的信息?，F(xiàn)在，大型網(wǎng)站都將網(wǎng)頁分類，以方便人們?yōu)g覽。比如，Yahoo就將網(wǎng)頁放在一個巨大的層次分類結(jié)構(gòu)中，通過組裝維護這些類別，可以幫助人們查找知識和信息。網(wǎng)頁自身并沒有類型區(qū)分，這就需要人工分類，將網(wǎng)頁、郵件等各種格式的文檔經(jīng)過文法分析都可以轉(zhuǎn)化為純文本，而自動文本分類系統(tǒng)可以幫助人們檢查文本、判斷文本所屬類別。
1 自動分類技術(shù)的現(xiàn)狀
到目前為止，國外已在自動分類領(lǐng)域進行了較為深入的研究。已經(jīng)從最初的可行性基礎(chǔ)研究經(jīng)歷了實驗性研究進入實用階段，并在郵件分類、電子會議、信息過濾等方面取得了較為廣泛的應用[1]。
國內(nèi)對自動分類技術(shù)的研究相對較晚。1986年，上海交通大學電腦應用技術(shù)研究所開發(fā)的中文科技文獻（計算機類）實驗性分類系統(tǒng)。1995年，清華大學電子工程系研制的漢語語料自動分類系統(tǒng)。1998年，東北大學計算機系的新聞語料漢語文本自動分類模型。1999年，由鄒濤等人開發(fā)的中文技術(shù)文本分類系統(tǒng)CTDS。除此之外，國內(nèi)眾多學者對中文文本分類算法也進行了深入研究，黃萱箐等提出的基于機器學習的、獨立于語種的文本分類模型[3]，周永庚等研究的隱含語義索引在中文文本處理中的應用[4]，李榮陸等的最大熵模型[5]，張劍等提出的一種以WordNet語言本體庫為基礎(chǔ)，建立文本的概念向量空間模型作為文本特征向量的特征提取方法[6]，朱靖波等將領(lǐng)域知識引入文本分類，利用領(lǐng)域知識作為文本特征，提出一種基于知識的文本分類方法等[7]。
從20世紀90年代以來，基于機器學習的文本分類逐漸成為文本分類的主流技術(shù)。近年來文本分類技術(shù)取得了很大的進展，提出了多種特征抽取方法和分類方法，如回歸模型、支持向量機、最大熵模型等，建立了OHSUMED，Reuters等開放的分類語料庫。
2 自動分類技術(shù)的類型
根據(jù)目的性，信息自動分類包括自動聚類和自動歸類兩種類型。
2.1 自動聚類
由計算機系統(tǒng)對待分類文本進行分析并提取有關(guān)的特征，然后對提取的特征進行比較，根據(jù)一定規(guī)則將具有相同或相近特征的對象定義為一類。自動聚類的目的是在已有信息中定義符合實際情況的類。在網(wǎng)站的非主要分類體系中，也可以用自動聚類的方法自動生成欄目內(nèi)的類別。
2.2 自動歸類
計算機系統(tǒng)對分類文本提取有關(guān)特征，然后與既定分類系統(tǒng)中對象所具有的公共特征進行相關(guān)性比較。將對象歸入其特征最相近的類中。自動歸類的目的是把各種信息納入已建立的分類系統(tǒng)中，用于搜索引擎或網(wǎng)站導航系統(tǒng)的管理和數(shù)據(jù)更新。根據(jù)使用的技術(shù)，自動歸類通常分為基于詞的自動分類（詞典法）和基于專家系統(tǒng)的自動分類（知識法）兩大類，也有人將界于兩種技術(shù)之間的稱為基于信息的自動分類。
3 文檔分類關(guān)鍵技術(shù)分類及方法
現(xiàn)有的文本分類技術(shù)主要采用3 種方法:基于連接的方法、基于規(guī)則的方法和基于統(tǒng)計的方法。
3.1 基于連接的文本分類方法
基于連接的方法主要是利用人工神經(jīng)網(wǎng)絡來模擬人腦神經(jīng)網(wǎng)絡，并期望其能像大腦一樣地運作，一樣地學習，從而產(chǎn)生智慧。這種方法可以實現(xiàn)信息的分布存取,運算的全局并行，并且可在進行非線性處理的同時具有高容錯性等特點,適用于學習一個復雜的非線性映射。但是使用他學習所形成的知識結(jié)構(gòu)是人所難以理解的，系統(tǒng)本身也不具有良好的透明性。
3.2 基于規(guī)則的文本分類方法
基于規(guī)則的方法本質(zhì)上是一種確定性的演繹推理方法。其優(yōu)點在于他能根據(jù)上下文對確定性事件進行定性描述，并且能充分利用現(xiàn)有的語言學成果。其成立的前提是有大量的知識，而這些知識必須是人類專家總結(jié)出來的。由于必須有人的參與，這種方法側(cè)重于知識的可理解性和可讀性,對于有些統(tǒng)計方法無法解決的問題,利用基于規(guī)則的方法可以很容易地解決。但是，這種方法在不確定性事件的描述、規(guī)則之間的相容性等方面存在一些缺陷和限制。常用的基于規(guī)則的方法有決策樹、關(guān)聯(lián)規(guī)則等。
3.3 基于統(tǒng)計的文本分類方法
基于統(tǒng)計的方法本質(zhì)上是一種非確定性的定量推理方法?；诮y(tǒng)計的方法的優(yōu)勢在于他的全部知識是通過對大規(guī)模語料庫分析得到的，可以取得很好的一致性和非常高的覆蓋率，對語言處理提供了比較客觀的數(shù)據(jù)依據(jù)和可靠的質(zhì)量保證。但由于其是基于概率的一種方法，因此必然會對小類別文本即小概率事件造成忽視。常用的基于統(tǒng)計的方法有KNN、樸素貝葉斯、類中心向量、回歸模型、支持向量機、最大熵模型等。
3.4 經(jīng)典文本分類方法
3.4.1 KNN算法
KNN算法即k- Nearest Neighbor 分類方法，是一種穩(wěn)定而有效的文本分類方法。采用KNN 方法進行文檔分類的過程如下：對于某一給定的測試文檔d,在訓練集中，通過相似度找到與之最相似的k個訓練文檔。在此基礎(chǔ)上，給每個文檔類打分，分值為k個訓練文檔中屬于該類的文檔與測試文檔之間的相似度之和。也就是說, 如果在這k個文檔中，有多個文檔屬于一個類，則該類的分值為這些文檔與測試文檔之間的相似度之和。對這k個文檔所屬類的分值統(tǒng)計完畢后，即按分值進行排序。還應當選定一個閾值，只有分值超過閾值的類才予考慮。測試文檔屬于超過閾值的所有類。形式化表示為:
■（1）
其中，dj∈ci時y(dj,ci)=1；dj?埸ci時y(dj,ci) 。
bi為閾值，Sim(d,dj)為文檔d和dj的相似度，score(d,ci)為測試文檔d屬于ci類的分值。一般的，bi是一個有待優(yōu)化的值可以通過一個驗證文檔集來進行調(diào)整。驗證文檔集是訓練文檔集的一部分，根據(jù)公式(1)可確定測試文檔的類別。很顯然,對于每一個測試文檔，必須求解其和訓練文檔庫中所有文檔的相似度。因此, KNN方法的時間復雜度為o(|D|ni)。其中，|D|和ni分別為訓練文檔總數(shù)和測試文檔總數(shù)。
3.4.2 SVM
支持向量機（Support Vector Machine，SVM）是在統(tǒng)計學習理的基礎(chǔ)上發(fā)展而來的一種機器學習方法, 該模型是基于結(jié)構(gòu)風險最小化原理的方法，把原始數(shù)據(jù)集合壓縮為支持向量集合，其基本思想是構(gòu)造出一個超平面作為決策平面，使正負模式之間的空白為最大化。在解決小樣本、非線性及高維模式識別問題中SVM表現(xiàn)出了許多特有的優(yōu)勢, 并在很大領(lǐng)域得到了成功的應用，如：人臉識別、手寫字體識別、文本分類等。其中，SVM在文本分類方面的表現(xiàn)尤為突出。
SVM 的基本思想可用圖1的兩維情況進行說明。圖1中，圓形實心點和菱形實心點代表2類樣本，H為分類線，H1，H2分別為過各類中離分類線最近的樣本且平行于分類線的直線,他們之間的距離叫做分類間隔。所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓練錯誤率為0)，而且使分類間隔最大。分類線方程為：
x?w+b=0
在此可以對他進行歸一化，使得對線性可分的樣本集：
(xi,yi),i=1,…,n,x∈R4,y∈{+1,-1}
滿足：yi[(w.xi)+b]-1≥0 i=1,2,…n
此時分類間隔等于2/w, 使間隔最大等價于使w2最小。滿足式且使間距為w/2的分類面就叫做最優(yōu)分類面, H1 , H2上的訓練樣本點就稱作支持向量。
基本的SVM是針對兩類分類問題的，為了實現(xiàn)對多個類別的識別，需要對SVM進行擴展。常用的SVM多類分類方法有One-vs-Res, One-vs-One，ECOC( Error Correcting Output Coding)、DAGSVM和二叉樹等方法。實驗結(jié)果表明DAGSVM 方法要優(yōu)于其他2 種方法。Weston和Watkins[2]對SVM的理論進行了擴充，使其一次就可以完成多類分類，但是實驗結(jié)果顯示其分類查準率要低于One-vs-Rest 和One-vs-One方法。
4 技術(shù)的發(fā)展趨勢與展望
本文介紹了文本分類的研究背景，國內(nèi)外關(guān)于文本分類技術(shù)研究的最新動態(tài)，總結(jié)了近年來文本分類研究的關(guān)鍵技術(shù)。文本分類技術(shù)有著廣泛的應用，逐漸趨于實用。
但隨著自動分類技術(shù)相關(guān)應用的發(fā)展，及對其需求的不斷提升，文本分類技術(shù)仍有非常多的問題值得研究：可靠、有效及快速的在線分類；基于語義度量的數(shù)據(jù)模型和分類方法；緩解樣本標注瓶頸以及樣本數(shù)據(jù)分布帶來的影響等。隨著數(shù)據(jù)挖掘領(lǐng)域和機器學習理論、技術(shù)研究的不斷深入, 針對解決不同實際應用和數(shù)據(jù)特征的問題將成為文本分類相關(guān)研究，及其應用的主要突破方向和攻克難點。
參考文獻：
[1] 李榮陸.文本分類及相關(guān)技術(shù)研究[D].上海:復旦大學,2005.
[2] 李應紅.慰詢楷. 劉建勛.支持向量機的工程應用[M].北京:兵器工業(yè)出版社,2004.
[3] 黃萱菁,吳立德,石崎洋之,等. 獨立于語種的文本分類方法[J].中文信息學報,2000,14(6):1-7.
[4] 周水庚,關(guān)佶紅,胡運發(fā). 隱含語義索引及其在中文文本處理中的應用研究[J].小型微型計算機系統(tǒng),2001,22(2):239-244.
[5] 李榮陸,王建會,陳曉云,胡運發(fā)等. 使用最大熵模型進行中文文本分類[J].計算機研究與發(fā)展.2005,42(1):94-101.
[6] 張劍,李春平. 基于WordNet概念空間模型的文本分類[J].計算機工程與應用.2006(4):174-178.
[關(guān)鍵詞]中文分詞 分詞算法 歧義消除 未登錄詞 分詞系統(tǒng)
[分類號]G354
中文分詞是文本分類、信息檢索、信息過濾、文獻自動標引、摘要自動生成等中文信息處理中的關(guān)鍵技術(shù)及難點。經(jīng)過廣大學者共同努力，過去2D多年中文分詞取得可喜進步，黃昌寧、趙?！谒姆矫婵偨Y(jié)了取得的成績。筆者利用CNKI全文期刊數(shù)據(jù)庫，以“中文and分詞”、“漢語and分詞”、“自動and分詞”等為檢索條件，檢索時段為1987年1月1日～2010年9月1l日，進行篇名檢索，經(jīng)篩選分別得到相關(guān)研究論文214、191、165篇，通過文獻歸納總結(jié)出該領(lǐng)域研究現(xiàn)狀、研究內(nèi)容、研究熱點與難點，并展望其發(fā)展。
1 中文分詞基礎(chǔ)理論研究
中文分詞理論研究可歸結(jié)為：三種主要分詞算法及組合算法研究、中文分詞歧義消除、未登錄詞識別與分詞與詞性標注評測研究。
1.1 分詞算法研究
衡量分詞算法優(yōu)劣標準是分詞速度與精度，各種算法圍繞精度與速度展開。目前分詞算法很多，大致可歸納為：詞典分詞方法、理解分詞方法、統(tǒng)計分詞方法、組合分詞算法。
1.1.1 詞典分詞方法
?算法。詞典分詞方法按照一定策略將待分析漢字串與詞典中的詞條進行匹配，若在詞典中找到某個字符串，則匹配成功，該方法需要確定三個要素：詞典、掃描方向、匹配原則。比較成熟的幾種詞典分詞方法有：正向最大匹配法、逆向最大匹配法、雙向最大匹配法、最少切分等。實際分詞系統(tǒng)，都是把詞典分詞作為一種初分手段，再通過各種其他的語言信息進一步提高切分的準確率。
詞典分詞方法包含兩個核心內(nèi)容：分詞算法與詞典結(jié)構(gòu)，算法設(shè)計可從以下幾方面展開：①字典結(jié)構(gòu)改進；②改進掃描方式；③將詞典中的可按由長到短遞減順序逐字搜索整個待處理材料，一直到分出全部詞為止。
?詞典結(jié)構(gòu)。同典結(jié)構(gòu)是詞典分詞算法關(guān)鍵技術(shù)，直接影響分詞算法的性能。三個因素影響詞典性能：①詞查詢速度；②詞典空間利用率；③詞典維護性能。Hash表是設(shè)計詞典結(jié)構(gòu)常用方式，先對GB2312～1980中的漢字排序(即建立Hash表)，然后將其后繼詞(包括詞的屬性等信息)放在相應的詞庫表中。
孫茂松等設(shè)計并實驗考察了三種典型的分詞詞典機制：整詞二分、TRIE索引樹及逐字二分，著重比較它們的時間、空間效率。姚興山提出首字Hash表、詞次字Hash表、詞次字結(jié)構(gòu)、詞3字Hash表、詞3字結(jié)構(gòu)、詞4字Hash表、詞4字結(jié)構(gòu)、詞索引表和詞典正文的詞典結(jié)構(gòu)，該結(jié)構(gòu)提高查詢速度，但增大存儲開銷。陳桂林等介紹了一種高效的中文電子詞表數(shù)據(jù)結(jié)構(gòu)，它支持首字Hash和標準的二分查找，且不限詞條長度，并給出利用近鄰匹配方法來查找多字詞，提高了分詞效率。目前文獻看，圍繞詞典結(jié)構(gòu)提高分詞性能的主流思想是設(shè)計Hash表，表數(shù)目隨結(jié)構(gòu)不同而不同，數(shù)目越多，空間開銷越大，但查詢速度也相應提高，具體設(shè)計需要在時間與空間之間權(quán)衡。
1.1.2 理解分詞方法 基本思想是分詞同時進行句法、語義分析；利用句法信息和語義信息來處理歧義現(xiàn)象，理解分詞方法需要使用大量語言知識和信息。
?人工智能技術(shù)。人工智能技術(shù)主要包括專家系統(tǒng)、神經(jīng)網(wǎng)絡和生成一測試法三種。分詞專家系統(tǒng)能充分利用詞法知識、句法知識、語義知識和語用知識進行邏輯推理，實現(xiàn)對歧義字段的有效切分。何克抗等深入分析了歧義切分字段產(chǎn)生的根源和性質(zhì)，把歧義字段從性質(zhì)上劃分為四類，并給出消除每一類歧義切分字段的有效方法。王彩榮設(shè)計了一個分詞專家系統(tǒng)的框架：將自動分詞過程看作是基于知識的邏輯推理過程，用知識推理與語法分析替代傳統(tǒng)的“詞典匹配分詞+歧義校正的過程?！鄙窠?jīng)網(wǎng)絡摸擬人腦神經(jīng)元工作機理設(shè)計，將分詞知識所分散隱式的方法存入神經(jīng)網(wǎng)內(nèi)部，通過自學習和訓練修改內(nèi)部權(quán)值，以達到正確的分詞結(jié)果。林亞平、尹鋒利等用BP神經(jīng)網(wǎng)絡設(shè)計了一個分詞系統(tǒng)，進行大量仿真實驗，取得不錯分詞效果。
采用神經(jīng)網(wǎng)絡與專家系統(tǒng)的人工智能分詞算法與其他方法相比具有如下特點：①知識的處理機制為動態(tài)演化過程；②字詞或抽象概念與輸入方式對應，切分方式與輸出模型對應；③能較好地適應不斷變化的語言現(xiàn)象，包括結(jié)構(gòu)的自組織和詞語的自學習；④新知識的增加對系統(tǒng)處理速度影響不大，這與一般機械匹配式分詞方法有很大區(qū)別；⑤有助于利用句法信息和語義信息來處理歧義現(xiàn)象，提高理解分詞的效果。作為智能分詞技術(shù)的一種探討，將神經(jīng)網(wǎng)絡與專家系統(tǒng)思想引入中文分詞，是一種有益嘗試，為后續(xù)智能自動分詞技術(shù)取得更多進展打下良好基礎(chǔ)。
黃祥喜提出“生成一測試”法，通過詞典的動態(tài)化、分詞知識的分布化、分詞系統(tǒng)和句法語義系統(tǒng)的協(xié)同工作等手段實現(xiàn)詞鏈的有效切分和漢語句子切分與理解的并行。該方法具有通用性，實現(xiàn)容易，分詞和理解能力強。
由于漢語語言知識的籠統(tǒng)、復雜性，難以將各種語言信息組織成機器可直接讀取的形式，因此目前基于理解的分詞系統(tǒng)還處在試驗階段。
?統(tǒng)計模型技術(shù)。蘇菲等提出基于規(guī)則統(tǒng)計模型的消歧方法和識別未登錄詞的詞加權(quán)算法，通過詞頻統(tǒng)計、加權(quán)技術(shù)與正向逆向最大匹配進行消歧與未登錄詞識別。張茂元等提出基于馬爾可夫鏈的語境中文切分理論，進而提出一種語境中文分詞方法，該方法建立在詞法和句法基礎(chǔ)上，從語境角度分析歧義字段，提高分詞準確率。
1.1.3 統(tǒng)計分詞方法 統(tǒng)計方法思想基礎(chǔ)是：詞是穩(wěn)定的漢字的組合，在上下文中漢字與漢字相鄰共現(xiàn)的概率能夠較好地反映成同的可信度。因此對語料中相鄰共現(xiàn)的漢字的組合頻度進行統(tǒng)計，計算他們的統(tǒng)計信息并作為分詞的依據(jù)。常用統(tǒng)計量有如詞頻、互信息、t-測試差，相關(guān)分詞模型有最大概率分詞模型、最大熵分詞模型、N-Gram元分詞模型、有向圖模型等。孫茂松等提出了一種利用句內(nèi)相鄰字之間的互信息及t－測試差這兩個統(tǒng)計量解決漢語自動分詞中交集型歧義切分字段的方法，并進一步提出將兩者線性霍加的新的統(tǒng)計量md，并引入“峰”和“谷”的概念，設(shè)計了一種無詞表的自動分詞算法。王思力等提出一種利用雙字耦合度和t-測試差解決中文分詞中交叉歧義的方法。孫曉、黃德根提出基于最長次長匹配的方法建立漢語切分路徑有向圖，將漢語自動分詞轉(zhuǎn)換為在有向圖中選擇正確的切分路徑。
三種主流方法各有優(yōu)缺點，其具體比較見表1。
1.1.4 組合方法 單個方法有優(yōu)點，但也存在不足，
實際分詞算法設(shè)計時需要組合幾種方法，利用各自優(yōu)點，克服不足，以更好解決分詞難題。
?字典與統(tǒng)計組合。翟鳳文等提出了一種字典與統(tǒng)計相結(jié)合的分詞方法，首先利用字典分同方法進行第一步處理，然后利用統(tǒng)計方法處理第一步所產(chǎn)生的歧義問題和未登錄詞問題。該算法通過改進字典的存儲結(jié)構(gòu)，提高了字典匹配的速度；通過統(tǒng)計和規(guī)則相結(jié)合提高交集型歧義切分的準確率，并且一定條件下解決了語境中高頻未登錄詞問題。
?分詞與詞性標注組合。詞性標注是指對庫內(nèi)語篇中所有的單詞根據(jù)其語法作用加注詞性標記。將分詞和詞類標注結(jié)合起來，利用豐富的詞類信息對分詞決策提供幫助，并且在標注過程中又反過來對分詞結(jié)果進行檢驗、調(diào)整，從而極大地提高切分的準確率。白拴虎將自動分詞和基于隱馬爾可夫鏈的詞性自動標注技術(shù)結(jié)合起來，利用人工標注語料庫中提取出的詞性二元統(tǒng)計規(guī)律來消解切分歧義。佟曉筠等設(shè)計N-最短路徑自動分詞和詞性自動標注一體化處理的模型，在分詞階段召回N個最佳結(jié)果作為候選集，最終的結(jié)果會在未登錄詞識別和同性標注之后，從這N個最有潛力的候選結(jié)果中選優(yōu)得到。姜濤等對Kit提出基于實例的中文分詞一詞性標注模型，通過理論上定性分析和實驗證明得出如下優(yōu)點：①對于訓練語料相關(guān)的文本(即與訓練語料相同、相似或同領(lǐng)域的文本)，EBST系統(tǒng)的分詞一詞性標注結(jié)果具有極高的準確率；②EBST系統(tǒng)的分詞一詞性標注結(jié)果與訓練語料中的分詞一詞性標注具有很好的一致性。
1.2 歧義消除研究
1.2.1 歧義類型 歧義是指同一個字符串存在不止一種切分形式。歧義字段分為交集型歧義字段(交叉歧義)、組合型歧義字段(覆蓋歧義)兩種。據(jù)統(tǒng)計交叉歧義字段占到了總歧義字段的86％，所以解決交叉歧義字段是分詞要解決的重點與難點。
1.2.2 消歧方法 目前解決歧義消除的典型方法有：
?窮舉法。找出待分析字串所有可能的詞，該方法簡單，但時間開銷大，實用性不強。多數(shù)時候采用雙向匹配算法，正向匹配結(jié)果與逆向匹配結(jié)果一致，分詞正確，否則分詞有歧義。
?聯(lián)想一回溯法。李國臣等提出聯(lián)想一回溯法，先將待切分的漢字符號串序列依特征詞詞庫分割為若干子串，每個子串或為詞或為詞群(幾個詞組合而成的線性序列)，然后利用實詞詞庫和規(guī)則庫再將詞群細分為詞。分詞時，利用了一定語法知識。聯(lián)想和回溯機制同時作用于分割和細分兩個階段，旨在有效解決歧義組合結(jié)構(gòu)的切分問題。
?詞性標注。白拴虎利用馬爾可夫鏈的詞性標注技術(shù)結(jié)合分詞算法消解切分歧義，其他學者也有類似成果出現(xiàn)。
?EM(Expectation Maximization)法。王偉等提出基于EM思想，每個句子所對應的所有(或一定范圍內(nèi))的分詞結(jié)果構(gòu)成訓練集，通過這個訓練集和初始的語言模型可以估計出一個新的語言模型，最終的語言模型通過多次迭代而得到。EM是極大似然原則下的建模方法，存在過度擬合問題。
?短語匹配與語義規(guī)則法。姚繼偉、趙東范在短語結(jié)構(gòu)文法的基礎(chǔ)上，提出一種基于局部單一短語匹配和語義規(guī)則相結(jié)合的消歧方法。通過增加短語問的右嵌套規(guī)則和采用有限自動機的實現(xiàn)方式，解決了短語規(guī)則中存在冗余項的問題，提高了短語匹配效率和歧義消除類型的針對性。
1.3 未登錄詞研究
1.3.1 未登錄詞類型 未登錄詞大致包含兩大類：①新涌現(xiàn)的通用詞或?qū)I(yè)術(shù)語等；②專有名詞，如中國人名、外國譯名、地名、機構(gòu)名(泛指機關(guān)、團體和其他企事業(yè)單位)等。未登錄詞識別指正確識別未在詞典中出現(xiàn)的詞，未登錄詞出現(xiàn)極大影響了分詞的精度，如何解決未登錄詞識別問題成為分詞準確性的一大難題。
1.3.2 未登錄詞識別 識別第一類未登錄詞一般是先根據(jù)某種算法自動生成一張候選詞表(無監(jiān)督的機器學習策略)，再人工篩選出其中的新詞并補充到詞表中。該方法需要大規(guī)模語料庫支持。第二種常用辦法是：首先依據(jù)從各類專有名詞庫中總結(jié)出的統(tǒng)計知識(如姓氏用字及其頻度)和人工歸納出的專有名詞的某些結(jié)構(gòu)規(guī)則，在輸入句子中猜測可能成為專有名詞的漢字串并給出其置信度，之后利用對該類專有名詞有標識意義的緊鄰上下文信息如稱謂，以及全局統(tǒng)計量和局部統(tǒng)計量參見下文，進行進一步鑒定。
歸納起來，未登錄詞解決方案有兩大類：專用方法與通用方法。專用方法主要針對特定領(lǐng)域的未登錄詞如中文人名、中文地名、中文機構(gòu)名等識別，此類方法主要基于專有詞庫與規(guī)則展開。通用方法則重在解決所有類別的未登錄詞識別問題，前面列舉的機械分詞、理解分詞、統(tǒng)計分詞方法就是一種通用方法。
?專有名詞庫。對中文人名、地名、機構(gòu)名等分別建立詞庫，該方法需要搜集特定資源并制定特定算法，信息集成難度大。
?啟發(fā)式規(guī)則。通過前后綴的修飾詞發(fā)現(xiàn)人名等未登錄詞。如“先生張三”，前面“先生”就是一個特定的修飾詞，一般后面緊接著是人名。鄭家恒將中文姓氏用字進行歸類，并利用分類信息建立規(guī)則以識別“小張”、“老李”之類的人名，并且有效地區(qū)分出“張”“李”等字的量詞用法。
?通用解決方案。不針對特定的未登錄詞設(shè)計算法，適用于各種類型的未登錄詞。前述三種主流分詞及組合算法則屬于通用解決方案。另外，呂雅娟等對中同人名、中國地名、外國譯名進行整體識別為目標，采用分解處理策略降低了整體處理難度，并使用動態(tài)規(guī)劃方法實現(xiàn)了最佳路徑的搜索，較好地解決了未登錄詞之間的沖突問題。秦文、苑春法提出了決策樹的未登錄詞識別方法，適用各種未登錄詞識別。
1.4 分詞與詞性標注評測
各種算法優(yōu)劣需要在真實文本上以較大規(guī)模、客觀、定量的方式進行公開公正評測，它是推動中文信息處理研究的重要手段。楊爾弘等介紹了2003年“863中文與接口技術(shù)”漢語自動分詞與詞性標注一體化評測內(nèi)容、評測方法、測試試題的選擇與產(chǎn)生、測試指標以及測試結(jié)果，各種測試結(jié)果以精確率、召回率、F值度量，并對參評系統(tǒng)的切分和標注錯誤進行了總結(jié)。
2 分詞系統(tǒng)研究
中文分詞系統(tǒng)是利用計算機對中文文本進行詞語自動識別的系統(tǒng)。一個高效的、性能優(yōu)良的中文分詞系統(tǒng)應該具備幾個基本要素：分詞精度、分詞速度、系統(tǒng)可維護性、通用性、適應性。基于分詞系統(tǒng)特點，將分詞系統(tǒng)研究分為早期自動分詞系統(tǒng)與現(xiàn)代分詞系統(tǒng)研究兩部分。
2.1 早期自動分詞系統(tǒng)
20世紀80年代初有學者開始研究自動分詞系統(tǒng)，陸續(xù)有一些實用性系統(tǒng)出現(xiàn)。典型的有：CDWS分詞系統(tǒng)、漢語自動分詞系統(tǒng)-NEWS L321、書面漢語自動分詞專家系統(tǒng)等。由于受硬件條件及分詞技術(shù)影響，早期分詞實用系統(tǒng)在分詞速度與精度上還不夠理想，實用性不高。但這些實用分詞系統(tǒng)的出現(xiàn)為后續(xù)分詞系統(tǒng)設(shè)計打下了良好基礎(chǔ)。
2.2 現(xiàn)代分詞系統(tǒng)
2.2.1 中國科學院計算所漢語詞法分析系統(tǒng) ICT-CLAS ICTCLAS(Institute of Computing Technology.Chinese Lexical Analysis System)是中國科學院計算技術(shù)研究所研制，主要功能包括中文分詞，詞性標注，命名實體識別，新詞識別；支持用戶同典，繁體中文，GBK、UTF-8、UTF-7、UNICODE等多種編碼格式。目前ICTCLAS3.0分詞速度單機為996KB／s，分詞精度為98.45％，AP[不超過200KB，各種淵典數(shù)據(jù)壓縮后不到3M。
2.2.2 海量智能分詞研究版 海量智能分詞系統(tǒng)較好地解決了分詞領(lǐng)域中的兩大技術(shù)難題：歧義切分和新詞的識別，分詞準確率達到99.6％，分同效率為2000萬字／分鐘。其中組合歧義的處理一直是分詞領(lǐng)域的難點中的難點，海量分詞系統(tǒng)能對絕大多數(shù)的組合歧義進行正確的切分。在新詞的識別上，針對不同類型采用不同識別算法，其中包括對人名、音譯詞、機構(gòu)團體名稱、數(shù)量詞等新同的識別，其準確率比較高。
由于計算機硬件技術(shù)的大幅提升，分詞技術(shù)的逐步成熟，現(xiàn)在分詞系統(tǒng)在歧義消除、未登錄詞識別方面取得較大進展，分詞速度與精度明顯提高，實際性越來越強，為中文信息處理帶來極大方便。
關(guān)鍵詞：Web挖掘；文本分類；糧食輿情；輿情分析
中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2013）10-2426-03
糧食是人類生存之本，糧食安全問題已經(jīng)成為世界范圍內(nèi)關(guān)注的最重要的問題之一。糧食信息數(shù)據(jù)量大、市場供求信息不明確、技術(shù)保障不到位等因素對我國糧食安全敲響了警鐘。2009年初中國爆發(fā)了幾十年來最嚴重的一場旱災，國內(nèi)市場充斥著糧食供應可能趨緊并有可能大量進口糧油產(chǎn)品，以及全球糧油價格將由中國的大量進口而出現(xiàn)暴漲等網(wǎng)絡言論并造成了一定的影響。
因此如何引入新的技術(shù)手段對糧食情報信息實現(xiàn)有效監(jiān)管，如何在海量的糧食網(wǎng)絡資源信息中，快速有效地挖掘蘊含有巨大潛在價值的糧情知識和信息，同時過濾掉大量無用的或不相關(guān)的糧情內(nèi)容，準確地定位所需要的信息并自動分類，以保證糧食安全，已成為一項重要而迫切的研究課題。該文就基于Web挖掘在糧食情報分析中的應用進行了一些討論，并提出了一個基于Web挖掘的糧食輿情分析系統(tǒng)的框架。
1 糧食輿情系統(tǒng)模型設(shè)計
1.1 Web挖掘簡介和糧食輿情分析難點
Web挖掘是從大量Web文檔集D中發(fā)現(xiàn)隱含的模式W。如果將D看作輸入，P看作輸出，則Web文本挖掘的過程可看作從輸入到輸出的映射，即F：CP。網(wǎng)絡輿情是公眾利用互聯(lián)網(wǎng)表達或傳播的對熱點事件和問題的看法和所持觀點的較有社會影響力的態(tài)度。利用Web挖掘技術(shù)進行主題追蹤的輿情分析成為近年研究的熱點。任海果研究了主題事件的追蹤技術(shù)，實現(xiàn)了對熱點事件的發(fā)現(xiàn)、演化和趨勢分析[1]。Federico Neri等研究了1000個關(guān)于意大利公共廣播服務意見的Facebook網(wǎng)貼，得到了觀眾關(guān)注度和興趣度，并在開源情報信息和Web挖掘中得到應用[2]。Wang等利用垂直搜索技術(shù)收集互聯(lián)網(wǎng)上關(guān)于食品質(zhì)量和安全的網(wǎng)絡信息，搭建了食品安全的網(wǎng)絡輿情分析系統(tǒng)，滿足了對食品安全網(wǎng)絡輿情的有效監(jiān)管[3]。但由于糧食信息的特殊性和復雜性[4]，使得糧食輿情信息的采集不夠全面，現(xiàn)有分析系統(tǒng)的分析不夠深入，總體來說糧食網(wǎng)絡輿情挖掘扔存在著一下難點：
1） 糧食輿情影響因素復雜。糧食輿情受多種因數(shù)的影響，和糧食直接相關(guān)的有糧食產(chǎn)量、銷售價格、產(chǎn)地、供求關(guān)系等因數(shù)，此外還有氣象條件、病蟲害的等間接影響著糧食安全，目前對糧食安全因素的挖掘不夠全面。
2） 糧食輿情信息的存儲位置和方式復雜，沒有統(tǒng)一的系統(tǒng)來采集各種形式的糧食信息。如糧食產(chǎn)業(yè)信息資源，如災害史、產(chǎn)量信息、氣象條件等，并發(fā)存儲在各家統(tǒng)計機構(gòu)、管理機構(gòu)、經(jīng)營機構(gòu)的網(wǎng)絡環(huán)境中，并且沒有統(tǒng)一的數(shù)據(jù)表示形式，沒有開發(fā)出聯(lián)合采集各家機構(gòu)和組織中糧食數(shù)據(jù)的采集或者存儲方法和策略，不利于糧食輿情信息的整合和關(guān)聯(lián)分析。
3） 糧食輿情信息牽涉面廣，沒有融合各方面信息處理方面的優(yōu)勢。在糧食信息處理方面，沒有實現(xiàn)統(tǒng)計學、模式識別、人工智能以及人工神經(jīng)網(wǎng)絡等多種分析方法融合的決策策略。
4） 沒有提出預測和預防模型?，F(xiàn)在的網(wǎng)絡輿情分析往往注重于熱點的發(fā)現(xiàn)，沒有為熱點事件建立等級級別區(qū)分管理和提供預防，同時對于發(fā)現(xiàn)的災難事件，沒有定量的分析災害危害的嚴重程度和預警級別。
利于輿情分析技術(shù)實現(xiàn)對糧食輿情信息的監(jiān)控和管理成為一項緊迫的課題。為了解決以上問題，該文設(shè)計了一個糧食輿情分析架構(gòu)模型。
1.2.2 輿情信息預處理模塊
輿情信息預處理模塊的主要功能是：對采集到的相關(guān)網(wǎng)頁進行去噪處理，如對廣告、注釋等噪聲數(shù)據(jù)進行清理，然后用統(tǒng)一的結(jié)構(gòu)化的格式進行文本表示，然后利用分詞技術(shù)、特征提取技術(shù)、權(quán)重計算技術(shù)等進行特征選擇，構(gòu)建糧食數(shù)據(jù)倉庫，利用分類器實現(xiàn)文本的分類。文本分類技術(shù)是整個預處理模塊的核心，其步驟描述如下：
本模型主要包括以下三個方面功能：
第一、通過對糧食輿情主題檢測進行熱點、敏感信息的發(fā)現(xiàn)，并針對特定的糧食安全主體，如糧食價格、供求關(guān)系、氣象條件等各個主題跟蹤技術(shù)處理，同時設(shè)計融合各方面因素的分析策略，及時發(fā)現(xiàn)安全隱患，并提供預警信息。
第二、對特定糧食安全事件的公眾所持觀點和關(guān)注度的分析，掌握事件發(fā)生、發(fā)展和加強的可視化時間序列，開發(fā)基于區(qū)域性輿情的分別匯總，提供實時的空間和時間的網(wǎng)絡輿情趨勢信息保障，有利于決策者實施適當?shù)拇胧?/p>
第三、利用災害預測、分析和預防的決策系統(tǒng)，對多發(fā)性的、危害嚴重的災害構(gòu)建主動分析、及早預測和及時預警的機制，提供相關(guān)、相近主題的預防措施經(jīng)驗。同時針對災害引起的其他方面的問題進行關(guān)聯(lián)分析，比如旱災有可能引起局部供求關(guān)系失衡，災害的嚴重性導致價格波動的范圍等建立定量的數(shù)據(jù)分析方法發(fā)現(xiàn)彼此存在的聯(lián)系。
2 結(jié)論
利用Web挖掘技術(shù)實現(xiàn)對糧食信息的監(jiān)測，有利于充分海量的糧食網(wǎng)絡信息資源，能夠及時發(fā)現(xiàn)糧食熱點事件，為糧食安全提供預警服務。該文著重分析了當前糧食方面輿情分析系統(tǒng)存在的不足，提出了解決方案，構(gòu)造了一個較完善的糧食輿情分析架構(gòu)。通過各種算法的編碼和改進，實現(xiàn)本文所構(gòu)建的系統(tǒng)是進一步研究的方向。
參考文獻：
[1] 任海果. 基于主題事件的輿情分析系統(tǒng)的設(shè)計與實現(xiàn)[D].北京：北京郵電大學，2012.
[2 ] Neri F， Aliprandi C，Capeci F，et al. Sentiment Analysis on Social Media[C]. Istanbul， Turke：Advances in Social Networks Analysis and Mining，2012：919-926.
[3]Wang Su， Liang Meiyu， Gao Tian and Du Junping. Realization of Product Quality and Food Security Internet Public Opinion Supervision System[C]. Jinan， China：Proceedings of the 8th World Congress on Intelligent Control and Automation， 2010：2736-2739.
[4] 龍方. 新世紀中國糧食安全問題研究[J]. 湖南農(nóng)業(yè)大學學報：社會科學版，2007 （3）：7-14.
[5] 孫立偉，何國輝，吳禮發(fā). 網(wǎng)絡爬蟲技術(shù)的研究[J]. 電腦知識與技術(shù)，2010（15）：4112-4115.
手語的識別不但具有深遠的研究意義，而且具有廣闊的實際應用前景，至少表現(xiàn)在以下幾個方面：（1）能夠使得聾啞人，尤其是使得文件程度比較低的聾啞人，使用手語和正常人交流；（2）從認知科學的角度，研究人的視覺語言理解的機制，提高計算機對人類語言的理解水平；（3）利用手勢控制VR中的智能化；（4）機器人的示范學習；（5）虛擬現(xiàn)實系統(tǒng)中的多模式接口等。
從手語輸入設(shè)備來看，手語識別系統(tǒng)主要分為基于數(shù)據(jù)手套的識別和基于視覺（圖像）的手語識別系統(tǒng)?；跀?shù)據(jù)手套的手語識別系統(tǒng)，是利用數(shù)據(jù)手套和位置跟蹤測量手勢在空間運動的軌跡和時序信息。這種方法的優(yōu)點是系統(tǒng)的識別率高。缺點是打手語的人要穿戴復雜的數(shù)據(jù)手套和位置跟蹤器，并且輸入設(shè)備比較昂貴。利用數(shù)據(jù)手套等典型傳感設(shè)備的方法，臺灣大學的Liang等人利用單個VPL數(shù)據(jù)手套作為手語輸入設(shè)備，可識別臺灣手語課本中的250個基本詞條，識別率為90.5%。CMU的ChristopherLee和Xu在1995年完成了一個操縱機器人的手勢控制系統(tǒng)。Kadous用PowerGloves作為手語輸入設(shè)備，識別有95個孤立詞構(gòu)成的詞匯集，正確率為80%。基于視覺的手勢識別是利用攝像機采集手勢信息，并進行識別。該方法的優(yōu)點是輸入設(shè)備比較便宜，但識別率比較底，實時性較差，特別是很難用于大詞匯量的手語錄的識別。在基于視覺的方法方面，具有代表性的研究成果包括：1991年富士通實驗室完成了對46個手語符號的識別工作。Davis和Shah將戴上指間具有高亮標記的視覺手套的手勢作為系統(tǒng)的輸入，可識別7種手勢。Starner等在對美國手語中帶有詞性的40個詞匯隨機組成短句子識別率達到99.2%。Grobel和Assam從視頻錄像中是取特征，采用HMM技術(shù)識別262個孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結(jié)合用于美國手語識別，交互采用一個位置跟蹤器及三個互相垂直的攝像機作為手勢輸入設(shè)備，完成了53個孤立詞的識別，識別率為89.9%。
從識別技術(shù)來看，以往手語識別系統(tǒng)主要采用基于人工神經(jīng)網(wǎng)絡（ANN）及基于隱Markov模型（HMM）等方法。神經(jīng)網(wǎng)絡方法具有分類特性及抗干擾性，然而由于其處理時間序列的能力不強，目前廣泛用于靜態(tài)手勢的識別。著名的Fels的GloveTalk系統(tǒng)采用神經(jīng)網(wǎng)絡方法作為識別技術(shù)。對于分析區(qū)間內(nèi)的手語信號，通常采取HMM方法進行模型化。HMM是眾周知并廣泛使用的統(tǒng)計方法，一般拓撲結(jié)構(gòu)下的HMM具有非常強的描述手語信號的時空變化能力，在動態(tài)手勢識別領(lǐng)域一直占有主導地址，如卡內(nèi)基·梅隆大學的美國手語識別系統(tǒng)及臺灣大學的臺灣手語識別系統(tǒng)等均采用HMM作為系統(tǒng)的識別技術(shù)。另外，Grobel與Assam利用HMM識別由戴有色手套的用戶通過攝像機輸入的262個孤立手語詞，正確率為91.3%。然而正是由于HMM拓撲結(jié)構(gòu)的一般性，導致這種模型在分析手語信號時過于復雜，使得HMM訓練和識別計算量過大。尤其是在連續(xù)的HMM中，由于需要計算大量的狀態(tài)概率密度，需要估計的參數(shù)個數(shù)較多，使得訓練及識別的速度相對較慢。因而以往手語識別系統(tǒng)所采用的HMM一般為離散HMM。
在我國，哈爾濱工業(yè)大學的吳江琴、高文等給出了ANN與HMM的混合方法作為手語的訓練識別方法，以增加識別方法的分類特性和減少模型的估計參數(shù)的個數(shù)。將ANN-HMM混合方法應用于有18個傳感器的CyberGlove型號數(shù)據(jù)手套的中國手語識別系統(tǒng)中，孤立詞識別率為90%，簡單語句級識別率為92%。接下來高文等又選取Cyberglove型號數(shù)據(jù)手套作為手語輸入設(shè)備，并采用了DGMM（dynamicGaussianmixturemodel）作為系統(tǒng)的識別技術(shù)，即利用一個隨時間變化的具有M個分量的混合GaussianN-元混合密度來模型化手語信號，可識別中國手語字典中274個詞條，識別率為98.2%。與基于HMM的識別系統(tǒng)比較，這種模型的識別精度與HMM模型的識別精度相當，其訓練和識別速度比HMM的訓練與識別速度有明顯的改善。他們?yōu)榱诉M一步提高識別速度，識別模塊中選取了多層識別器，可識別中國手語字典中的274個詞條，識別率為97.4%。與基于單個DGMM的識別系統(tǒng)比較，這種模型的識別精度與單個DGMM模型的識別精度基本相同，但其識別速度比單個DGMM的識別速度有明顯的提高。2000年在國際上他們首次實現(xiàn)了5000詞以上的連續(xù)中國手語識別系統(tǒng)。另外，清華大學祝遠新、徐光等給出了一種基于視覺的動態(tài)孤立手勢識別技術(shù)，借助于圖像運動的變階參數(shù)模型和魯棒回歸分析，提出一種基于運動分割的圖像運動估計方法?；趫D像運動參數(shù)，構(gòu)造了兩種表現(xiàn)變化模型分別作為手勢的表現(xiàn)特征，利用最大最小優(yōu)化算法來創(chuàng)建手勢參考模板，并利用基于模板的分類技術(shù)進行識別。對12種手勢的識別率超過90%。在進一步研究中，他們又給出了有關(guān)連續(xù)動態(tài)手勢的識別，融合手勢運動信息和皮膚顏色信息，進行復雜背景下的手勢分割；通過結(jié)合手勢的時序信息、運動表現(xiàn)及形狀表現(xiàn)，提出動態(tài)手勢的時空表現(xiàn)模型，并提出基于顏色、運行以及形狀等多模式信息的分層融合策略抽取時空表觀模型的參數(shù)。最后，提出動態(tài)時空規(guī)整算法用于手勢識別。對12種手勢，平均識別率高達97%。
盡管已經(jīng)實現(xiàn)了一些手語識別系統(tǒng)，但中國手語識別仍然面臨許多挑占性課題，如手勢不變特征的提取、手勢之間的過度模型、手語識別的最小識別基于、自動分割識別基元、詞匯量可擴展的
識別方法、手語識別的輔助信息、非特定人的手語識別問題、混合手指語和手勢語的手語識別以及中國手勢語語法等。
2手語的合成
手語的合成是使聾啞人理解正常語言表達的最有效手段，在手語合成中涉及以下幾個方面的問題：本文輸入部分、文本切分部分、文本的分析與手語碼轉(zhuǎn)換、手語庫的建立與基于手語詞的手語合成和手語的顯示。
文本輸入部分的功能是編輯輸入漢語句子。文本的切分將句子分成詞，標點符合單獨成詞。系統(tǒng)的分詞過程首先采用最大匹配發(fā)切分，然后利用第一步分詞結(jié)果通過查找詞條的歧義標志位調(diào)用詞規(guī)則，進而進行歧義校正。文本分析與手語碼轉(zhuǎn)換是手語合成的重要部分。雖然中國手語是參考漢語制定的，但是兩種語言的差別主要體現(xiàn)在四個方面：語言表達形態(tài)、基本詞匯、句子結(jié)構(gòu)和構(gòu)詞方法。在語言表達形態(tài)上：漢語是靠語音/聽覺交際的有聲語言。中國手語是一種靠動作/視覺交際的可視化語言。在基本詞匯上：漢語的詞匯大約有近五萬多個字組成，總的詞匯量可達十萬多個。中國手語的詞匯僅由3330個手勢語組成。中國手語的手勢詞語與漢語的詞語不完全存在一一對應的關(guān)系。在句子的語法結(jié)構(gòu)上：手語句子與漢語句子的詞序有所不同，此外還省略了日常語言的某些詞如量詞。因此從漢語轉(zhuǎn)換到中國手語，主要解決的基本詞匯上的差別，同時考慮部分詞匯的差別。手語詞庫記錄了每個手語詞的手語運動信息，是手語合成的重要基礎(chǔ)。建立手語詞庫不僅工作量大，而且其質(zhì)量也直接影響合成手語的結(jié)果。目前建立手語詞庫的方法有兩種：運動跟蹤方法和手工編輯方法。也有人綜合使用這兩種方式。運動跟蹤的方法是對腕關(guān)節(jié)及各手指關(guān)節(jié)的運動由數(shù)據(jù)手套獲取，肩關(guān)節(jié)與肘關(guān)節(jié)的運動由位置跟蹤傳感器獲取。而手工的方法是通過手工實驗來獲取手勢的參數(shù)。手語是一種可視語言，合成的手語只有顯示出來，觀察者才能“讀”取手語的信息與意義。手語的合成與顯示的實現(xiàn)的方法是：在VRML中有一部分是專門用于描述三維人體模型H-Anim標準，根據(jù)此標準對虛擬人的定義，一個虛人有47關(guān)節(jié)96個自由度，只要確定這96個自由度的角度值，應用運動學的方法和計算機圖形學的方法，就可以計算出虛擬人每個肢體的位置和方向，由此確定虛擬人的一個姿態(tài)。一個手語運動是一個人體手勢的序列，按照預定的時間間隔連續(xù)顯示一個手語運動中的每一個手勢，既可以生成對應的手語運動。
3手語的網(wǎng)絡通訊
當今，網(wǎng)絡通訊已經(jīng)成為一種重要的通訊手段。研究啞語通訊，使聾啞人更好地融入網(wǎng)絡社會，感受科技的進步，更好地為他們服務并且方便了他們的生活。而手語作為一種動作語言，從廣義上講，它的應用不僅僅局限于聾啞人之間，聾啞人與非聾啞人之間，以及異語種間健常人的交流都可能應用到動作語言。從這個意義上，研究啞語的表達與通訊，具有更加廣泛的社會意義和實際應用前景。
更實現(xiàn)手語的網(wǎng)絡通訊，必須采用一種恰當?shù)募夹g(shù)，它既能完成手語圖像動畫表示，它既能完成手語圖像的三維動畫表示，產(chǎn)生的數(shù)據(jù)、文件應該盡可能地短小，且便于壓縮，以利于網(wǎng)絡傳輸，提高網(wǎng)絡傳輸速度，避免網(wǎng)絡擁塞，實現(xiàn)實時反應。可以使用三維動畫技術(shù)來實現(xiàn)手語動畫，但一般的三維動畫技術(shù)形成的圖像雖然可能滿足生動逼真的要求，卻不適合網(wǎng)絡應用。因為它們用于圖像和動畫的文件格式是基于像素的，大小和行為都是固定的，為了得到特體的三維印象，至少需要兩幅圖解，這使傳輸量巨大且不能實現(xiàn)交互。同時，基于HTTP、HTML標準的WWW只能表示和傳遞二維信息，不能滿足對三維環(huán)境和三維顯像具有特定要求的應用需求。鑒于這種應用的特殊要求，提出采用VRML技術(shù)。VRML（VirtualRealityModelingLanguage）是一種可以在WWW上操作的三維圖形可視化工具，VRML2.0于1996年8月，它能夠靈活有效的方式，將二維、三維圖形和動畫、影片、聲響和音樂等多種效果調(diào)和在一起，形成一個綜合性的單一媒體，在環(huán)球網(wǎng)上創(chuàng)建動態(tài)世界。VRML本身不是一種傳統(tǒng)的編程語言，它是一種建模語言，有它自己的文件格式，人們可以用它描述三維場景。它不但能滿足圖像質(zhì)量的要求，而且存儲和傳輸?shù)闹皇俏锢淼娜S坐標，圖像本身是在本地生成的，這就大大減少了網(wǎng)絡傳輸量，也便于進行交互操作。同時，使用VRML技術(shù)生成的文件格式是ASCII碼，能被有效地壓縮，這就進一步減輕了網(wǎng)絡壓力，提高了傳輸效率，能夠?qū)崿F(xiàn)手語圖像在網(wǎng)絡上高速傳輸。
另外，日本北海道大學的青木由直教授是研究手語通訊的倡導者，他通過建立一個不同語言的手語翻譯字典在Internet實現(xiàn)了日語和韓語的手語的聊天系統(tǒng)，進一步又研究了日本與中國的手語變換，手語手成的二維及三維動畫，以及帶有面部表情和嘴唇形狀的日語和韓語的手語聊天系統(tǒng)等。
4手的運動約束
人手的組成是一個非常復雜的結(jié)構(gòu)。手是由骨頭，連接骨頭的韌帶，作為拉力動力服務的肌肉，運動時連接肌肉與骨頭的腱，以及覆蓋著保護的軟組織和皮膚。骨頭通過關(guān)節(jié)連接起來并且不能改變大小，肌肉產(chǎn)生扭矩和關(guān)節(jié)通過拉力運動都存在一塊或更多的肌肉群為其服務。因此，手的運動極其復雜的。由于真實手的生理特點，手的運動受到一些限制和約束。分析手的運動約束，就可以更好研究虛擬三維人手的運動。這樣一來就可以在有關(guān)手的動畫片中避免一些不真實的動作，使其更加擬人化。
機器學習作為人工智能的核心內(nèi)容而存在。簡單來講就是在模擬人類行為的基礎(chǔ)上，通過學習來使計算機獲得更多的新技能、新知識，變得更加聰明更加智能，以此來實現(xiàn)其組織結(jié)構(gòu)性能上的不斷優(yōu)化。而機器學習作為一項極為智能化的過程，具體該如何實現(xiàn)屬于機器的特有“學習”行為呢？關(guān)于這一點，不同專業(yè)學者基于自身專業(yè)研究內(nèi)容的不同，因此眾說紛紜，但總結(jié)來講，機器學習與推理過程之間的緊密關(guān)系還是得到了大多數(shù)學者的一致認同，因此，我們可以將機器學習策略分為事例學習、類比學習、傳授學習、機械學習。基于計算機功能的復雜性，機器學習涉及范圍較廣，是在多種知識、技術(shù)的交叉和共同作用下的結(jié)果，如，概率論、凸分析、統(tǒng)計學、算法復雜度理論、逼近論等多專業(yè)學科都涉及其中。就機器學習的分類來講我們可以將其分為以下幾種：（1）基于學習策略分類——機械學習、示教學習、演繹學習、類比學習、基于解釋的學習、歸納學習；（2）基于所獲取知識的表示形式分類——代數(shù)表達式參數(shù)、決策樹、形式文法、產(chǎn)生式規(guī)則、形式邏輯表達式、圖和網(wǎng)絡、框架和模式、計算機程序和其它的過程編碼、神經(jīng)網(wǎng)絡、多種表示形式的組合；（3）按應用領(lǐng)域分類——自然語言、圖像識別、認知模擬、故障診斷、數(shù)據(jù)挖掘、專家系統(tǒng)、規(guī)劃和問題求解、網(wǎng)絡信息服務等領(lǐng)域；（4）綜合分類——經(jīng)驗性歸納學習、分析學習、類比學習、遺傳算法、連接學習、增強學習；（5）學習形式分類——監(jiān)督學習、非監(jiān)督學習。
2機器學習在網(wǎng)絡安全中應用的意義
從機器學習的本質(zhì)上來講，它是在大數(shù)據(jù)集中的基礎(chǔ)上通過對數(shù)學技術(shù)的引入，來構(gòu)建機器行為模型，并通過不斷輸入新的數(shù)據(jù)資料，使機器在對各時段數(shù)據(jù)進行分析、運算的基礎(chǔ)上，來實現(xiàn)對未來的科學預測。就機器學習在網(wǎng)絡安全中應用的意義來講，主要體現(xiàn)在，機器學習基于自身極強的數(shù)據(jù)分析能力，在應用的過程中，可以幫助用戶來有效的對網(wǎng)絡安全事件作出及時的響應，尤其是在團隊安全技能不足的情況下，可以通過自動執(zhí)行來替代團隊執(zhí)行一些瑣碎的系統(tǒng)安全任務，有助于切實保障用戶的網(wǎng)絡安全。同時機器學習與傳統(tǒng)電子科技產(chǎn)品的融合，有助于清除產(chǎn)品中的惡意軟件，進而達到提升產(chǎn)品安全系數(shù)和運行穩(wěn)定性的目的。
3機器學習在網(wǎng)絡安全中的應用
3.1安全入侵檢測
網(wǎng)絡安全入侵檢測是一種較早出現(xiàn)的計算機系統(tǒng)自我安全防護技術(shù)，其在不對網(wǎng)絡性能以及用戶的計算機操作構(gòu)成影響的情況下，通過對網(wǎng)絡運行數(shù)據(jù)、安全日志等信息的分析和檢測，來判斷系統(tǒng)是否受到了安全威脅，以此來實現(xiàn)對計算機系統(tǒng)的實時保護。機器學習憑借自身性能的智能化，在安全入侵檢測中的應用，能夠有效提升網(wǎng)絡安全入侵檢測反應靈敏度，使防護系統(tǒng)可以在短短的幾秒鐘內(nèi)，就準確的檢測到惡意攻擊位置，并予及時的進行準確、有效的防護，將惡意攻擊對系統(tǒng)的傷害降到最低。
3.2垃圾郵件檢測
機器學習在垃圾郵件檢測中的應用，根據(jù)其特殊的運行原理，我們可以將其看作是機器學習當中的分類問題。如，我們將郵件整體定義在{-1，1}之間，1就代表是垃圾郵件，而-1則說明是非垃圾郵件。而在對垃圾郵件進行文本分類問題定義的過程中，我們首先就需要通過一定的數(shù)值來對垃圾郵件的文本信息予以表達，并用向量來對各條消息進行表示，垃圾郵件的特征值則集中表現(xiàn)在各特征向量元素當中。同時，由于系統(tǒng)對于垃圾郵件的檢測屬于在線應用范疇，因此，機器學習對于郵件的自動識別和分類能夠極大的提升系統(tǒng)對于垃圾郵件的檢測效率，降低出錯率。
3.3域名檢測
作為互聯(lián)網(wǎng)重要的核心應用系統(tǒng)，域名系統(tǒng)基于自身對整個網(wǎng)絡安全所起到的重要意義，經(jīng)常成為被黑客和不法分子惡意攻擊的目標。以往我們多通過防火墻、黑名單攔截、域名系統(tǒng)等的作用下，來實現(xiàn)對域名惡意攻擊的檢測。以機器學習為主的域名檢測則通常是在在線模型、離線模型的雙重組合作用下，來實現(xiàn)其域名檢測和防御功能。其中，離線模型，通過對惡意域名、合法域名訓練數(shù)據(jù)集的建立，來從中提取出基于區(qū)域的特征、基于DNS應答的特征、基于域名信息的特征等，之后通過X-Means聚類算法、決策樹等模型的構(gòu)建，結(jié)合網(wǎng)站提供的已知域名數(shù)據(jù)集來對所構(gòu)建的模型予以進一步的調(diào)整和驗證。以此來判斷其是否屬于惡意域名。在線監(jiān)測模型，是在網(wǎng)絡系統(tǒng)對域名的自動查詢分析作用下，來對被檢測域名的主要特征、信息等進行獲取，其特征顯示已標記的則視為已知域名信息，進行繼續(xù)訓練操作，特征顯示無標簽的則視為未知域名，需要在分類器的作用下，對其是否屬于惡意域名進行繼續(xù)判斷。
參考文獻
[1]張蕾,崔勇,劉靜,江勇,吳建平.機器學習在網(wǎng)絡空間安全研究中的應用[J/OL].計算機學報,2018:1-35.
關(guān)鍵詞：支持向量機；信息熵；半監(jiān)督學習；去噪；歐氏距離
中圖分類號 TP181 文獻標識碼：A 文章編號：1009-3044（2013）25-5705-03
隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡上的數(shù)據(jù)呈幾何指數(shù)增長，而這些數(shù)據(jù)大部分是未標記的。已標記數(shù)據(jù)非常有限，如網(wǎng)絡上存在的新聞報道，面對海量的新聞種類，獲取有標記樣本十分困難，未標記數(shù)據(jù)不能為學習算法提供有效幫助。其他如圖像處理，文本分類，語音識別等領(lǐng)域，也存在這樣的情況。
監(jiān)督學習利用一組足夠多的已標記的樣本來發(fā)現(xiàn)屬性和類別之間的聯(lián)系，使其可以達到理想的關(guān)聯(lián)模式，并用這些模式來觀測未知數(shù)據(jù)的類別屬性，但是大量的有標記樣本是非常難獲得的。無監(jiān)督學習事先沒有明確的關(guān)聯(lián)模式，而是通過某種算法發(fā)現(xiàn)數(shù)據(jù)中存在的內(nèi)在結(jié)構(gòu)，典型的算法有聚類。半監(jiān)督[1]學習是一種新的學習問題，結(jié)合了監(jiān)督學習和無監(jiān)督學習優(yōu)點，適合已標記樣本小，具有大量未標記樣本的分類問題，它討論如何將龐大的未標記樣本和少量的已標記樣本結(jié)合起來從而提高學習器的泛化能力[2]。
現(xiàn)有的分類算法主要有支持向量機[3]、決策樹[4]、貝葉斯[5]、最近鄰[6]、神經(jīng)網(wǎng)絡[7]和基于關(guān)聯(lián)規(guī)則[8]的分類等。支持向量機是Vapnik提出的一種新學習方法，根據(jù)結(jié)構(gòu)風險最小化原則，以最大化分類間隔構(gòu)造最優(yōu)分類超平面，非常好的解決了數(shù)據(jù)中存在的非線性、高維性、局部極小點等問題。
分類后樣本可能含有噪聲數(shù)據(jù)，把這些數(shù)據(jù)加入有標識樣本重新訓練，一是會加大訓練時間，二是噪聲樣本會影響分類精度，在半監(jiān)督分類模式下，循環(huán)加入有噪聲樣本會加劇降低預測準確率。
本文采用半監(jiān)督支持向量機算法來訓練分類器，在已標記樣本少的情況下，用大量的未標記樣本提高分類器性能，并對分類后的數(shù)據(jù)提出了加權(quán)去噪的方法，建立了最優(yōu)分類器。
1 支持向量機的構(gòu)建
支持向量機通過確定最優(yōu)分類面實現(xiàn)數(shù)據(jù)分類，可分別對線性和非線性數(shù)據(jù)進行分類，對于非線性的數(shù)據(jù)，需要通過核函數(shù)把數(shù)據(jù)映射到高維空間，讓數(shù)據(jù)在高維空間線性可分，從而實現(xiàn)對數(shù)據(jù)進行類別預測，實現(xiàn)分類。
以兩個類別的訓練樣本數(shù)據(jù)為例，設(shè)給定的樣本數(shù)據(jù)集D為[（X1，Y1），（X2，Y2），…，（XD，YD）]，其中[Xi]是訓練元組，[yi]是相關(guān)聯(lián)的類標號，[yi∈{+1，-1}，i=1，2，...，n]代表樣本類別，[K（?）]為核函數(shù)。
2 噪聲過濾機制
2.1 噪聲數(shù)據(jù)的影響
由于受到噪聲的干擾，影響支持向量機的性能。為獲得高精度的分類結(jié)果，必須減少噪聲干擾，提高訓練樣本正確率，消除噪聲因素對分類結(jié)果的影響。在此基礎(chǔ)上，提出了對預測好的樣本去噪的方法，減少數(shù)據(jù)中存在的噪聲樣本數(shù)量，避免對重新生成的分類器有較大影響，提高分類準確率。
在所有算法中，新產(chǎn)生的已標識數(shù)據(jù)直接加入到已標識樣本集合中，會加入正確的數(shù)據(jù)，同樣也會給訓練集帶來噪聲數(shù)據(jù)，隨著循環(huán)次數(shù)不斷增加，積累的噪聲數(shù)據(jù)會影響更新后的分類器的性能[9]。在已標識樣本少的情況下，分類器不是最優(yōu)的，機器自動分類時，可能會錯分未標記樣本，把分類后的樣本直接加入到訓練集重新訓練，會使分類器精度下降。引入噪聲過濾機制，提高分類精度。
2.2 基于信息熵權(quán)值的確定
2.4 基于加權(quán)歐氏距離的去噪方法
每個類為一個簇，分類后結(jié)果簇內(nèi)的相似度高，而簇間的相似度低?；舅枷胧牵哼x擇[k]個對象為初始點，每個初始對象代表一個簇的中心或平均值，對于剩余的對象，用加權(quán)歐氏距離計算每個對象到簇中心的距離，最小的屬于該簇則分類正確，如果距離大于到其他簇中心的距離，則該對象不屬于該簇即分類錯誤，是噪聲數(shù)據(jù)。
傳統(tǒng)的方法中，沒有考慮對象中每個屬性所體現(xiàn)的不同作用，而是將它們等同看待，用歐氏距離只能計算數(shù)據(jù)間相隔的遠近，不能準確地表示簇間相似度，因為相似不僅依賴樣本間的相近程度，而且還依賴于樣本間的內(nèi)在性質(zhì)[10]。
3 實驗結(jié)果
實驗所用數(shù)據(jù)從UCI標準數(shù)據(jù)集中選取，選用四個數(shù)據(jù)集來進行實驗，為了避免不平衡數(shù)據(jù)對分類性能的影響，在每個數(shù)據(jù)集的類別中選取兩類樣本數(shù)據(jù)，樣本數(shù)目平衡且比較多，對構(gòu)造的支持向量機分類器訓練和測試。所用實驗詳細數(shù)據(jù)集如表1所示：
分別選取每個數(shù)據(jù)集中大致選取80%的樣本作為訓練集，剩余20%數(shù)據(jù)作為測試集。用支持向量機構(gòu)建分類器，做測試時，把每個數(shù)據(jù)集分為N等份。在80%的訓練集中首先選取20%作為初始已標識樣本用來訓練分類器，剩余60%數(shù)據(jù)分為6等分。把類標號去掉，作為訓練時的未標識樣本。數(shù)據(jù)集Abalone有1323個數(shù)據(jù)，選取324個數(shù)據(jù)作為初始訓練集，把其中800個數(shù)據(jù)分為4分作為訓練分類器時所用數(shù)據(jù)，留取200個數(shù)據(jù)作為測試集。在數(shù)據(jù)集bank有1042個數(shù)據(jù)，選取242個作為已標識樣本訓練分類器，在訓練過程中，每次對100個數(shù)據(jù)進行分類，對分類后的數(shù)據(jù)進行加權(quán)去噪后加入訓練集，直到未標識樣本分類完成。對20%的數(shù)據(jù)測試后加入人工反饋的方法，把分類錯誤的樣本數(shù)據(jù)人為的加入正確的類別。表2給出了支持向量法算法在加權(quán)去噪前后的比較。
實驗結(jié)果表明用加權(quán)去噪的半監(jiān)督支持向量機訓練方法提高了分類精度，優(yōu)于只使用支持向量機算法，初始已標記樣本少的情況下，在訓練分類器過程中用去噪的半監(jiān)督思想多次加入未標識樣本來擴大訓練集，優(yōu)化分類器性能，提高分類精度。
4 結(jié)論
該文提出一種信息熵加權(quán)去噪的方法，刪除分類有誤的數(shù)據(jù)，現(xiàn)實數(shù)據(jù)中，存在大量的未標識數(shù)據(jù)，而已標識數(shù)據(jù)較少的情況下，不利于對數(shù)據(jù)進行分類，該文用半監(jiān)督思想，先用已標識樣本訓練分類器，然后用大量的未標識樣本來提高分類器性能，由于分類后的樣本中可能存在噪聲數(shù)據(jù)，用基于加權(quán)歐氏距離算法對樣本進行去噪，選取置信度較高的樣本加入訓練集重新訓練。在四個UCI數(shù)據(jù)集上的實驗結(jié)果表明，該文提出的方法效果明顯，具有良好的預測精度。
參考文獻：
[1] David R Anderson，Dennis J Sweeney.Statistics for business and economics[M].Beijing：China Machine press，2010：327-330.
[2] 門昌騫，王文劍.一種基于多學習器標記的半監(jiān)督SVM學習方法[J].廣西師范大學學報，2008，26（1）.
[3] Zhang Xuewen，Li Yangjun. Self-adjusted particle swarm optimization algorithm based economic load dispatch of power system[J].Power System Technology，2006，30（18）：8-13.
[4] Bissantz N，Hagedorn J.Data mining [J].Business and Information Systems Engineering，2009（1）：118-122.
[5] Jing Y，Pavlovic V，Rehg J.Boosted Bayesian network classifiers[J].Machine Learning，2008，73（1）：155-184.
[6] 陳黎飛，郭躬德.最近鄰分類的多代表點學習算法[J].模式識別與人工智能，2011，24（6）.
[7] Janssens D，Wets G，Brijs T，et al.Improving the performance of a multi-agent rule-based model for activity pattern decisions using Bayesian networks[J].Journal of the Transportation Research Board，2004，1894（1）：75-83.
[8] 張揚，周子勇.基于關(guān)聯(lián)規(guī)則的面向?qū)ο蟾叻直媛视跋穹诸怺J].遙感技術(shù)與應用，2012，27（3）.
