采用LDA主題模型的多種類型文獻混合自動分類研究

李湘東，胡逸泉，黃莉

采用LDA主題模型的多種類型文獻混合自動分類研究

李湘東，胡逸泉，黃莉

探索對多種類型文獻進行混合分類組織時LDA主題模型的可行性及優越性。以圖書、期刊、網頁等不同類型的館藏文獻作為實驗對象，分別采用LDA主題模型與VSM模型對實驗材料進行建模，采用SVM算法實現文本混合自動分類。仿真實驗表明：LDA主題模型相對VSM模型具有一定優勢，混合自動分類準確率最大差距達19.9%；圖書與學術性期刊、網頁與非學術性期刊之間的混合分類效果較好，分類準確率可達72%以上。實驗證明LDA主題模型對實現多種類型文獻統一組織具有較高的可行性和適用性。

LDA模型 混合分類 多種類型文獻 數字圖書館

0 引言

圖書館館藏是對文獻進行精心選擇及嚴密組織的知識體系。隨著文獻形態的變遷，館藏文獻資源朝著多類型、多載體、多元化方向發展[1]，且文獻資源增長速度超乎人們的處理和保管速度。雖然館藏不同類型的文獻在收藏方式、出版時間，甚至行文風格、表達形式等方面都不一樣，但在內容和用詞上存在相似之處。在實際工作中，這些文獻往往需要根據其類型進行分類和整理，從而導致具有同一內容的文獻資源被分散[2]整理和組織在不同部門或機構里，無法在文獻資源組織中被統一揭示出來。此外，對不同類型的文獻在同一內容上多次整理也是重復勞動。因此，要有效利用數字圖書館中數量大、類型多的文獻資源，就須采用相應的文獻控制方法，進行統一的分類和組織。

單一文獻自動分類是指訓練集和待分類對象屬于同種類型文獻，多種類型文獻的混合自動分類是指訓練集和待分類對象取自不同類型的文獻。訓練集各個類別的組織、類別內各個文本的獲取和甄選針對不同類型的文獻具有不同的特點；而且在訓練集的組織性和文本的易獲取程度及文獻特征上，不同類型的文獻體現出不同的特點，這對自動分類產生重要影響。傳統的文本自動分類方法大多基于數理統計，忽略文本中詞項之間的語義關系，而某些類型的文獻關鍵詞少，特征稀疏，進行混合分類時很難抽取有效特征，更難以挖掘特征之間的關聯性，在一定程度上會丟失文本語義信息。相較于傳統模型，將主題概念引入文本自動分類的Latent Dirichlet Allocation模型(以下簡稱為“LDA主題模型”)[3]可通過隱含主題將文本關聯起來，克服文獻類別和樣本數目多、噪音多、各類別樣本數目不均衡等問題來考察文本相似度，從而取得更好的分類效果。將LDA主題模型引入多種類型文獻自動分類是幫助數字圖書館實現文獻組織和傳遞等基本職能的可能途徑，也期望能通過對數字圖書館多種類型文獻統一有效的分類和組織，在已取得的成果隨時被有效真實的利用的基礎上，在已經形成的數字化資源基礎上不斷總結積累，令各種信息資源實現更廣泛領域內的傳遞共享[4]。本文以圖書、網頁、學術性期刊和非學術性期刊等四種類型文獻為研究對象，分別采用LDA主題模型與VSM模型對訓練集和測試集文本建模，選取SVM算法實現自動分類，比較并分析分類結果。希望借此探索相較于傳統的VSM模型，在數字圖書館環境下對館藏文獻進行統一分類組織時LDA主題模型的表現及優越性，考察數字圖書館混合多種類型文獻的快速有效組織和整合的可行性。

1 研究現狀及意義

自動分類需要使用預先分類完畢的語料庫及其所含的文本作為訓練集讓機器分類算法學習各個類別的特點，以便針對待分類的對象實施類別確定。文本自動分類開始被應用于數字圖書館，目前已有針對多種類型文獻開展混合自動分類的研究[5-8]。近期也開始有研究將LDA主題模型應用到文本自動分類中，如將LDA主題模型用于自建的WEB語料庫，采用KNN和貝葉斯算法實現文本自動分類并分析比較結果[9]；項瓏[10]提出結合CHI特征提取和LDA主題模型的方法，選取搜狗語料庫的文本作為實驗材料度量文本之間的相似性。羅樂[11]選取20News groups和Reuters-21578兩個語料庫作為實驗語料，用實驗證明LDA+SVM算法的文本自動分類表現良好。但截至目前，將LDA主題模型應用在混合自動分類方面的研究相對較少，國外有學者PHAN等人[12]抓取Wikipedia部分領域的關鍵詞信息和MEDLINE網站的摘要信息作為實驗材料，使用LDA主題模型得到隱含主題，將實驗材料全部轉化為主題表示形式實現文本自動分類。Yang和Nigel等[13]則提出Partially Supervised Cross-Collection Topic模型，其改進后的LDA主題模型可以實現同時提取和排列來自不同類型文獻的特定隱含特征項，借此實現自動分類。

以上研究已開始將多種類型文獻作為實驗材料進行混合自動分類，也開始出現利用LDA主題模型的優勢實現多種類型文獻的文本自動分類。但這些研究的主要目的是比較分類算法或文本表示模型的優劣或評價改進程度，沒有分析不同類型文獻的特點，從LDA主題模型的角度去探索其對多種類型文獻混合自動分類的優勢和應用于數字圖書館文獻統一組織的可行性。本文正是在這樣一個背景下進行選題并開展研究，因此具有較高的應用和實用價值。

2 LDA主題模型

LDA主題模型是Blei提出的一種對離散數據集(如文檔集)建模的概率增長模型，通過對文本隱含主題的建模，能在海量互聯網數據中自動尋找出文本間語義主題，克服傳統信息檢索中文檔相似度計算方法的缺點。作為全概率生成模型，LDA主題模型的突出優點是具有清晰的層次結構；而且LDA主題模型參數空間的規模與訓練文檔數量無關，更適合處理大規模語料庫[14]。因此其一經提出便被廣泛地應用在文本分類、文本建模、圖像處理及信息檢索等領域。具體說，LDA主題模型是“文本—主題—詞”的三層貝葉斯產生式模型，將高維的文本集合映射到低維的潛在語義空間，即認為文檔是主題的混合，主題是詞空間上的分布，獲得文本間的關系。模型的建立如圖1所示[15]。

圖1 LDA概率模型圖

其中空心點表示隱含變量，實心點表示可觀察值；矩形表示重復抽樣過程，即詞包；外層矩形表示對M篇文檔生成話題分布θ，內層的矩形表示根據話題分布，對文檔中逐個生成N個特征詞。整個圖的聯合概率為：

LDA的訓練過程是求使得p(D|α，β)最大的參數α和β的值，求得α和β。其參數推導包括期望—擴散(Expectation propagation)、拉普拉斯(Laplace)近似，以及Gibbs Sampling抽樣等方法。本文采用Gibbs Sampling方法估計當前特征詞Wi的主題Zi的后驗分布。經推導，最終采樣公式如下：

式中zi表示第i特征詞對應的主題變量；-i表示剔除其中的第i項；z-i表示所有主題zk(k≠i)分配；表示特征詞t分配給主題k的個數；表示文本m中分配給主題k的特征詞次數；βt表示特征詞t的Dirichlet先驗分布。一旦獲得每個詞特征的主題標號，可以得到LDA模型中θ和φ的后驗估計值為：

最終得到的θm，k，φk，t就是對應的兩個Dirichlet分布在貝葉斯框架下的參數估計。其中θm，k表示文檔m中主題k的概率；φk，t表示主題k中特征詞t的概率。

3 實驗設置

3.1 自動分類方法選擇及評價標準

由于本研究需要分類過程的各環節透明化，以減少中間過程的不可控因素，因而選取VSM模型和LDA主題模型分別構造分類器，選取信息增益方法進行特征選擇，選取SVM算法實現自動分類。自動分類研究中對分類性能的評價通常采用分準率、分全率以及綜合指標F1值來描述，由于本研究采用均衡材料進行實驗，故選擇通用的宏平均F1綜合評價分準率和分全率，代表分類系統的整體分類準確率[16]。

3.2 實驗材料構成

數字圖書館是基于網絡環境下共建共享的可擴展的知識網絡體系[17]，數字化信息資源本身具有集聚的特性，通過把分散但相關的數據集中到一起，方便管理和應用[18]。由此，多種類型文本自動分類的最終目的正是將各種類型的數字化信息資源，如網頁、科技文獻期刊、一般性期刊、電子郵件等通過統一分類等方式組織，并在一個用戶界面下一次性完成檢索。

類目構成是圖書館等領域對信息進行組織的基礎，圖書館的信息組織需要遵循嚴格的分類體系。但在實際應用中，數字圖書館資源內容分布廣泛(跨域、分布)、數量龐大(海量)、載體類型眾多[18]，因此開展文本自動分類研究與應用時，需要清楚了解并區分各分類體系、文本類型等分類材料的特性，才能使文本自動分類的優勢在數字圖書館領域得到高效應用。本文充分考慮各種數字資源不同的存在方式，將傳統圖書館現存的各種印刷或者電子的圖書、期刊、論文等與散置在Internet上的各種文章等進行集成；將期刊文獻細分為學術性期刊文獻和非學術性期刊文獻兩種，以方便與網頁、圖書等類型文獻進行比較分析。這樣既可以對比分析專門語料庫和來自真實世界的自建語料庫的混合自動分類情況，也可以探索和研究采用業界公認的分類體系的語料庫與分散的自行確定的分類體系語料庫進行混合自動分類，以克服數字圖書館多種類型文獻混合組織的困難，且避開了將多種類型文獻不加區分地開展混合分類時，對分類準確率和效率所產生的消極影響。

本實驗材料需要同時包括四種類型的文獻，以便均衡開展混合分類研究。雖然中國知網電子期刊數據庫中的學術性和非學術性期刊文獻以及圖書文獻可以獲得《中國圖書館分類法》分類體系下基本所有的類別，但作為網頁類文獻所采用的搜狗語料庫[19]則只有汽車、體育、財經、IT、軍事、健康等類別，其中與《中國圖書館分類法》分類體系比較相近的只有IT、體育等幾個類別。此外，考慮到必須進行多次反復試驗的需要，為保證試驗要有足夠的文本數量，須符合文本自動分類測評的一般標準，且試驗過程中不得有重復文本，本文最終選擇IT、體育、軍事三大類的四種類型文獻文本，每個類型文本共600篇進行試驗。

由此，本文使用的實驗材料主要包括由學術性期刊、非學術型期刊、圖書和網頁等四種類型的文獻所構成的文本。其中，期刊類文獻分別選自中國知網電子期刊數據庫在《中國圖書館分類法》分類體系下常用的體育、計算機技術和軍事三大類的部分典型學術性和非學術性期刊。該數據庫既有面向大學等研究機構的學術性期刊，也有以報道各個領域時事新聞為主要內容的非學術性期刊。這可以從刊物的辦刊方針、讀者群、語言特點等方面得到佐證。本文主要選取有代表性的期刊，提取篇名和摘要等內容構成實驗材料的文本，以方便與圖書和網頁兩種類型的文獻進行混合自動分類效果的比較。圖書文獻取自某大學圖書館的館藏目錄OPAC，選取在《中國圖書館分類法》分類體系下體育、計算機技術和軍事三大類中部分圖書的書目信息，提取其中的書名和摘要等內容構成實驗材料的文本。網頁文獻選取搜狗語料庫中體育、IT和軍事三個類別的文本構成實驗材料。

上述方式所構建的圖書、學術性期刊和非學術型期刊三種類型文獻的實驗材料完全取自圖書館的真實數據，而網頁類文獻來自經過專家遴選的互聯網上的真實網頁，符合多種類型文獻自動分類所要處理的具體對象和應用實踐領域的要求。本研究每組實驗都是通過隨機抽取的方式對以上四種類型文獻建立多套試驗材料重復開展試驗，實驗結論可靠。每套實驗材料包括一種類型文獻的訓練集和測試集，均由體育、計算機技術和軍事三個大類構成，每一個類型文獻的訓練集和測試集分別由300篇文本構成，保證訓練集與測試集之間無重復文本。

4 實驗結果及分析

4.1 實驗結果

針對多種類型文獻進行混合自動分類實驗，即每一種類型文獻的實驗材料均作為訓練集，分別與自身類型文獻的測試集以及其它類型文獻的測試集進行分類實驗，以檢驗不同類型文獻之間的自動分類效果，結果如圖2所示。

多種類型文獻混合自動分類的實驗結果表明，當以非學術性期刊文獻作為訓練集進行混合自動分類時，網頁文獻作為測試集的分類準確率達到92.7%，甚至高于以非學術性期刊文獻自身作為訓練集時的分類準確率88.5%；相反，圖書文獻和學術性期刊文獻作為測試集的分類準確率分別從原來單獨自動分類時的86.3%和94%下降到62.5%和46.4%。當以網頁文獻作為訓練集進行混合自動分類時，非學術性期刊文獻作為測試集的分類準確率也達到77.1%的較高水平；而圖書文獻和學術性期刊文獻作為測試集的分類準確率分別從原來單獨自動分類時的86.3%和94%下降到56.5%和56%。實驗證明網頁和非學術性期刊這兩種類型文獻互相做訓練集和測試集時，分類效果較好，分類準確率達到77%以上，即網頁文獻和非學術型期刊文獻之間的親和性較好。

圖2 四種類型文獻使用LDA主題模型時的混合自動分類效果

以圖書文獻作為訓練集進行混合自動分類時，學術性期刊文獻作為測試集的分類準確率能夠達到87.7%；而網頁文獻和非學術性期刊文獻作為測試集時的分類準確率均較低，分別從原來單獨自動分類時的95.5%和88.5%下降到75.9%和51.7%。以學術性期刊文獻作為訓練集進行混合自動分類時，圖書文獻作為測試集的分類準確率能夠達到73.9%；網頁文獻和非學術性期刊文獻作為測試集的分類準確率分別從原來單獨自動分類時的95.5%和88.5%下降到60.2%和44.8%。實驗說明圖書文獻和學術性期刊文獻互相做訓練集和測試集時，分類效果較好，即圖書文獻和學術性期刊文獻之間的親和性較好。

由以上分析可知，使用LDA主題模型時，多種類型文獻混合自動分類的效果比較理想，分類準確率最高能達到92.7%，親和性較好的文獻之間的分類準確率均達到73%以上，親和性較差的文獻之間的分類準確率最高也能達到60%以上。實驗說明，采用LDA主題模型對數字圖書館多種類型文獻實現統一分類可行性較高。為進一步評價及分析LDA主題模型下多種類型文獻自動分類的效果，本文繼續采用傳統的VSM模型對多種類型文獻實驗材料建模，同樣采用SVM算法，以便分析比對。結果展示如表1。

表1 四種類型文獻使用LDA主題模型與VSM模型的混合自動分類效果比較

從表1可看出，當訓練集和待分類對象為不同類型文獻時，采用LDA主題模型的混合分類準確率基本上都要高于VSM模型。選用LDA主題模型時，親和性較好的網頁類型文獻和非學術性期刊文獻之間的分類準確率達到77.1%和92.7%，學術性期刊文獻和圖書類型文獻之間的分類準確率達到87.7%和73.9%，而VSM模型相應的分類準確率分別是70.1%和88.4%，67.8%和49%。采用LDA主題模型時的分類效果明顯好于采用VSM模型時，兩者差距達19.9%。不僅如此，當親和性較差的不同類型文獻互為訓練集和測試集時，LDA主題模型的分類表現也基本上要遠好于傳統的VSM模型，例如圖書類文獻和網頁型文獻互相作為訓練集和測試集時，LDA主題模型的分類準確率可達75.9%和56.5%，而VSM模型則僅有33.3%和31%。圖書類型文獻和非學術性期刊類型文獻互相作為訓練集和測試集時，LDA主題模型的分類準確率可達51.7%和62.5%，而VSM模型的分類準確率則是43.2%和53.8%。綜上所述，較之VSM模型，LDA主題模型對數字圖書館多種類型文獻實現混合自動分類時表現更好，適用性更強。

此外，表1展示的實驗結果說明使用VSM模型與使用LDA主題模型所得出的有關不同類型文獻間親和關系的實驗結論完全一致。具體說，當使用VSM模型時，以網頁文獻作為訓練集進行混合自動分類時，非學術性期刊文獻作為測試集的分類準確率達70.1%；當以非學術性期刊文獻作為訓練集進行混合自動分類時，網頁文獻作為測試集的分類準確率達88.4%的較高水平。同樣，以圖書文獻作為訓練集使用VSM模型進行混合自動分類時，學術性期刊文獻作為測試集的分類準確率達67.8%，以學術性期刊文獻作為訓練集進行混合自動分類時，圖書文獻作為測試集的分類準確率也達49%。由此可知，圖書文獻和學術性期刊文獻之間，網頁文獻和非學術型期刊文獻之間的親和性較好，相互做訓練集和測試集時，分類效果較好。

4.2 實驗結果分析

首先，某些類型文獻的實驗材料文本字數少、文本數量多，以傳統方法采用關鍵詞揭示文本特征時，特征稀疏性明顯，特征維數較高，不能很好地抽取出文本關鍵特征。此外，還可能存在文本噪聲大，主題特征不明顯，不能提供足夠的共詞信息或在一定程度上丟失文本語義信息，無法顧及多詞同義及一詞多義的情況，最終導致分類性能顯著下降。而LDA主題模型是全概率生成模型，具有清晰的層次結構。該模型認為每篇文檔是由若干個主題構成，不同類別的文檔由概率各不相同的主題隨機混合構成。主題模型可以提取能被人理解的，相對穩定的隱含語義結構，并從文檔集的隱含主題出發，融入不同文檔的類別信息。同一類別的文檔即使是不同的文獻類型，也可能具有相似的主題概率分布。采用主題作為特征，將大大降低向量維數，而且使同類文檔之間更為關聯，挖掘出大量存在于各類數據中的隱含的、有效的規律，降低噪聲，且能有效克服采用傳統方法帶來的分類性能受損的問題，最終提高分類準確率。所以，在針對多種類型文獻的混合分類上，采用具有“主題”概念的LDA主題模型，會取得較好的分類效果。

其次，網頁文獻的特點是數量龐大，內容異常豐富，更新速度快；期刊文獻的特點是論文發表的及時性，論文內容的新穎性、獲取方式的靈活性等[20]。而對期刊文獻進一步細化出的非學術性期刊文獻則還具有學術程度低、表達形式新穎等特點，在發表時間、內容和表達形式上都十分貼近網頁文獻。與此相反，圖書文獻編撰和出版的周期較長，內容相對滯后，傳遞情報的速度較慢，內容專業程度和表達形式的差異是圖書文獻與網頁和非學術性期刊這兩種類型文獻之間混合自動分類效果較差的主要原因。此外，學術性期刊文獻的特點是內容學術性較強，用詞比較嚴謹，出版周期相對較長，與圖書文獻較為接近。通過檢查其與網頁、非學術性期刊這兩種類型文獻的混合自動分類實驗結果，進一步驗證了圖書文獻與網頁和非學術性期刊這兩種類型文獻之間混合自動分類效果較差的主要原因，也說明圖書文獻與學術性期刊文獻間親和性較好，可以互相作為訓練集和測試集進行多種類型文獻混合自動分類。

5 總結及展望

本文探索了采用LDA主題模型對多種類型文獻實現混合自動分類的可行性及優越性。實驗證明，相較于傳統模型，LDA主題模型可令多種文獻的統一組織與檢索取得更好的效果。若將其應用于數字圖書館，不僅可以實現準確、高效的多種類型文獻自動分類，實現文獻組織和傳遞等基本職能，更可以使已取得的成果被有效及時利用，進一步提高和完善相關機構和部門的服務水平。

今后隨著更多類型、更多數量的信息資源出現，文獻資源的分布會越來越不均勻。本文實驗是基于均衡類別數目數據集的假設前提下進行的，因此，針對不平衡數據集的多種類型文獻混合分類將會成為下一步的研究內容。此外，本文主要目的是探索基本LDA模型初步應用于混合文本自動分類的可行性，探索其相對于傳統方法的優越性，因此，如何改進LDA模型，使之更加適用于數字圖書館等領域的實際應用，也將作為下一步有待開展的研究。

[1]曾紅巖.數字化學術信息資源利用[M].成都：西南交通大學出版社，2011：23-25.

[2]馬張華.文獻分類法主題法導論[M].北京：北京圖書出版社，1999：2.

[3]BLEI D M，NG AY，JORDAN M I.Latent Dirichlet allocation[J].Journal of Machine Learning Research，2003（3）：993-1022.

[4]徐寬，任河.數字資源長期保存的內容價值判斷依據研究[J].圖書情報工作，2013（7）：72-75.

[5]薛春香.基于語料和基于標引經驗的自動分類模式比較[J].南京農業大學學報，2005（4）：85-91.

[6]Pong，J.Y.-H.，Kwok，R.C.-W.，et al.A Compa-rative study oftwo automatic document classification methods in a library setting[J].Journal of Information Science，2008（2）：213-230.

[7]Arash Joorabchi，Abdulhussain E.Mahdi.An unsupervised approach to automatic classification of scientific literature utilizing bibliographic metadata[J].Journal of Information Science，2011（5）：499-514.

[8]白振田.基于向量空間模型與規則匹配相結合的文本層次分類系統的研究[D].南京：南京農業大學，2006：7-8.

[9]孟海濤，陳思，周睿.基于LDA主題模型的WEB文本分類[J].鹽城工學院學報，2009（12）：56-59.

[10]項瓏.基于特征提取和主題模型的文本分類研究[D].合肥：安徽大學，2014：29-32.

[11]羅樂.基于潛在語義分析的文本分類算法研究[D].重慶：西南大學，2013：25-35.

[12]PHAN X H，NGUYEN M L，HORIGUC-HI S. Learning to classify short and sparse text&Web with hidden topics from large-scale data collections[C] //Proceedings of the 17th Conference on World Wide Web.New York：ACM，2008：91-100.

[13]Yang.B，Nigel C，Anindya D.A partially supervised cross-collection topic model for cross-domain text[C] //Proceedings of the 22nd ACM international conference of information&knowledge management（CIKM 2013）.[S1]：[s.n.]，2013：239-248.

[14]BleiD M，GriffithsT L，Jordan M I，et al.Hierarchical topic models and nested Chinese restaurant process[C] //Advances in Neural Information Processing Systems 16.Cambridge，MA：MIT Press，2004，16：17-24.

[15]Hong Yu，Zhang Yu，Fan Ji-li et al.New event detection based on division comparison-subtopic[J]. Chinese Journal of Computers，2008，31（4）：687 -695.

[16]楊柳.中文文本分類技術研究[D].保定：河北大學，2006：24-25.

[17]田國良.數字圖書館之辨義[J].圖書館理論與實踐，2005（01）：29-30.

[18]黃夢醒.數字圖書館服務鏈：服務模式·體系架構·關鍵技術[M].北京：清華大學出版社，2013：5，76.

[19]Web corpus for Chinese text categorization of Sogou company[DB/OL].[2013-03-03].http：//www.sogou. com/lab s/dl/c.html.

[20]段明蓮，沈正華.數字時代的圖書館信息資源組織[M].北京：北京大學圖書館出版社，2006：91.

A Study of Mixed Automatic Categorization of Multi-type Document Adopting LDA Model

LI Xiang-dong，HU Yi-quan，HUANG Li

The paper explores the feasibility and superiority of using LDA model to categorize and organize multiple types of document.Selecting books，journals and web pages as the experimental objects，the authors model the experimental materials with LDA model and VSM model respectively，and use algorithm SVM to realize the mixed automatic text classification.The simulation experiment results show that LDA model have quite a few advantages over traditional VSM model，with a largest difference of 19.9%in the accuracy of mixed automatic text classification；mixed classification performs better between books and academic journals，and between web pages and non-academic journals，with the accuracy of above 72%.Thus，it is proved that LDA model has a high feasibility and usability for organizing multiple types of document uniformly.

LDA model；mixed categorization；multiple types of document；digital library

格式 李湘東，胡逸泉，黃莉.采用LDA主題模型的多種類型文獻混合自動分類研究[J].圖書館論壇，2015（1）：74-80.

李湘東（1963-），男，博士，研究生導師，武漢大學信息管理學院副教授；胡逸泉（1988-），女，武漢大學信息管理學院2012級碩士研究生；黃莉（1964-），女，碩士，武漢大學圖書館館員。

2014-08-27