基于类别特征向量表示的中文文本分类算法

第２５卷第２期　２００８年２月　计算机应用研究　Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ　Ｖｏ１．２５　Ｎｏ．２　Ｆｅｂ．２００８　基于类别特征向量表示的中文文本分类算法术　何建英，陈蓉，徐淼，刘佳，于中华　（四川大学计算机学院，成都６１００６４）　摘要：采用一种无须分词的中文文本分类方法，以二元汉字串表示文本特征，与需要利用词典分词的分类模　型相比，避免了分词的复杂计算；为提高以ｂｉ—ｇｒａｍ项表示文本特征的分类算法的准确率，提出了基于类别特征　向量表示的中文文本分类算法。通过实验结果及理论分析，验证了该算法的有效性。　关键词：中文文本分类；向量空间模型；评价函数；特征提取　中图分类号：ＴＰ３０１．６　文献标志码：‘Ａ　文章编号：１００１—３６９５（２００８）０２—０３３７—０２　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　Ｃｈｉｎｅｓｅ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｃｌａｓｓ　ｆｅａｔｕｒｅ　ｖｅｃｔｏｒ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ＨＥ　Ｊｉａｎ—ｙｉｎｇ，ＣＨＥＮ　Ｒｏｎｇ，ＸＵ　Ｍｉａｏ，ＬＩＵ　Ｊｉａ，ＹＵ　Ｚｈｏｎｇ—ｈｕａ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｓｉｃｈｕａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｅｎｇｄｕ　６１００６４，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｕｓｅｄ　ｔｈｅ　ａｐｐｒｏａｃｈ　ｔｏ　Ｃｈｉｎｅｓｅ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ｗｉｔｈｏｕｔ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ，ｅｘｐｒｅｓｓｉｎｇ　ｔｅｘｔ　ｆｅａｔｕｒｅｓ　ｗｉｔｈ　ｂｉ—ｇｒａｍ　ｍｏｄｅ１．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅ　ｃｌａｓｓｉｉｃａｔｉｆｏｎ　ｍｏｄｅｌｓ　ｗｉｔｈ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ，ｔｈｅ　ａｐｐｒｏａｃｈ　ａｖｏｉｄｅｄ　ｃｏｍｐｌｉｃａｔｅｄ　ｃｏｎ—　ｐｕｔａｔｉｏｎ　ｏｆ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ．Ｔｏ　ｉｎｃｒｅａｓｅ　ｔｈｅ　ａｃｃｕｒａｃｙ　ｏｆ　ｔｈｅ　ａｐｐｒｏａｃｈ，ｐｒｏｐｏｓｅｄ　ａｎ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｃｌａｓｓ　ｆｅａｔｕｒｅ　ｖｅｃ—　ｔｏｒ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，Ａｎｄ　ａｎａｌｙｚｅｄ　ｔｈｅｏｒｅｔｉｃａｌｌｙ　ａｎｄ　ｖｅｒｉｉｅｄ　ｅｘｐｅｒｆｉｍｅｎｔａｌｌｙ　ｔｈｅ　ｅｆｉｃｉｅｎｃｙ　ｏｆ　ｔｆｈｅ　ａｌｇｏｒｉｔｈｍ．　Ｋｅｙ　ｗｏｒｄｓ：Ｃｈｉｎｅｓｅ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ；ｖｅｃｔｏｒ　ｓｐａｃｅ　ｍｏｄｅｌ（ＶＳＭ）；ｅｖａｌｕａｔｉｏｎ　ｆｕｎｃｔｉｏｎ；ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　随着网络传输技术的迅速发展，互联网上每天流动着海量　的数据信息。如何处理和组织其中大量的文档数据，从中快速　准确地获取所需要的信息，成为一项重要而紧迫的研究课题。　文本自动分类是其中的核心任务之一。　对英文文本分类而言，由于词之问有空格分隔，可以直接　以词为单位生成文本特征，特征抽取比较简单。对于中文文　本，由于单词之间没有明显的分隔符，如何生成文本特征是分　类必须首先解决的问题。目前，生成中文文本特征主要有分词　和不分词两类方法。分词的方法需要对文本进行词干抽取来　表示文本特征，这种方法虽然得到的文本特征语义明确、分类　大降低。　１，２文本预处理及向量表示　首先要对文本进行句子边界识别，通常的方法是以标点符　号作为句子分界的标志；其次是剔除文本中一些常见的功能　词，如“地”“的…‘得”“而且”“虽然”等，此外往往还要剔除数　字、英文符号串等词汇；最后以向量空间模型表示文本。　要将中文文本表示成向量形式，首先要对文本分词，由这些　词作为向量的维来表示文本。为了避免词典分词过程中的复杂　算法，采用ｂｉ—ｒａｍ语法模型直接对文本进行切分，由切分所得　ｇ的二元汉字串构成文本的特征项。下面是ｂｉ—ｒａｇｍ切分示例。　例１一家瑞士的参展公司。　利用ｂｉ—ｇｒａｍ模型切分后得到的二元汉字串有：　Ｂ－－——精确性高，但是分词增加了算法复杂度；不分词的方法通常使　用Ｎ—ｇｒａｍ项作为文本特征，其显著特点在于算法简单、效率较　高，但分类准确率相对较低。在文献［１］所做的比较实验中，　同等分类条件下，采用词典分词生成文本特征项，分类准确率　达到９２．７３％，而用ｂｉ—ｇｒａｍ方法分类准确率仅为８８．８９％。　二　±±盟　堕叁星星垒　亘　其中：Ｂ和Ｅ分别表示句子的开始和结尾。这样，文本在高维　空间被表示。其中空问的每一维都表示文档中的一个单词，即　特征项。特征项权值是指特征项ｔ　代表文档Ｄ的能力大小。　这里的计算方法主要运用ＴＦ—ＩＤＦ思想。ＴＦ（ｔｅｒｍ　ｆｒｅｑｕｅｎｃｙ）代　表某词在文档中出现的频度；ＤＦ（ｄｏｃｕｍｅｎｔ　ｆｒｅｑｕｅｎｃｙ）代表某　词在多少个文档中出现，出现得越多，越不重要。式（１）是一　种普遍采用的ＴＦ—ＩＤＦ定义方法。　（ｔ，ｄ）＝　ｔ，ｄ）×ｌｏｇ（Ｎ／ｎ，＋０，０１）／　１　中文文本分类的关键问题　１．１　文本向量表示　目前，文本的表示主要采用向量空间模型（ｖｅｃｔｏｒ　ｓｐａｃｅ　ｍｏｄｅｌ，ＶＳＭ）。经典的向量空问模型是Ｓａｈｏｎ等人于２０世纪　６０年代末提出的，并成功应用于著名的ＳＭＡＲＴ系统　，已成　为最简便高效的文本表示模型之一。它将文档Ｄ看做由一组　特征项（ｔ。，ｔ　，…，ｔ　）和相应的权重（Ｗ。，Ｗ　，…，Ｗ　）构成，即用　向量Ｄ＝（ｔｌ，Ｗｌ；ｔ２，Ｗ２；…；ｔ　，Ｗ　）表示文档Ｄ，并且规定ｔ　互　不相同，向量Ｄ＝（Ｗ。，Ｗ　，…，　）被称为文档Ｄ的向量表示。　￣／∑　ｆｔ（ｔ，ｄ）×ｌｏｇ（Ｎ／ｎ　＋０，０１）］　（１）　在基于类别特征词向量的分类算法中，根据分类过程的特　点对式（１）进行了一些修改：用矿（ｔ，ｃ　）代表某词在类别中出　现的频度，采用如式（２）的权值计算式。　ｗｅｉｇｈｔ（ｔ，ｃ　）＝ｉｆ（ｔ，ｃ　）×ｌｏｇ（Ｎ／ｎ￡＋０，０１）／　这样，将分类过程简化为空间向量的运算，使得问题复杂度大　收稿Ｅｔ期：２００６—１０—１０；修回日期：２００７—０４—０３　基金项目：国家自然科学基金资助项目（６００７３０４６）；高等学校博士学科点专项科研基　金资助项目（２００２０６１０００７）；四川大学计算机学院青年基金资助项目　作者简介：何建英（１９７８一），女，重庆人，硕士研究生，主要研究方向为自然语言处理；陈蓉（１９５９－），女，四川人，工程９　，主要研究方向为自然语　言处理；徐淼（１９８２．），男，四川人，硕士研究生，主要研究方向为自然语言处理；刘佳（１９８２－），女，四川人，硕士研究生，主要研究方向为自然语言处　理；于中华（１９６７．），男，黑龙江人，副教授，博士，主要研究方向为自然语言处理（ｙｕｚｈｏｎｇｈｕａ＠ＣＳ．ＳＣＵ．ｅｄｕ．ｃｎ）．　维普资讯 http://www.cqvip.com ．．３３８・　￣／∑ｃＥｃ［ｔｆ（ｔ，　）×ｌｏｇ（Ｎ／ｎ　＋０．Ｏ１）］　计算机应用研究　（２）　第２５卷　中权值为１．０，但是不如“艺术，表演，舞蹈”这些类别权值较高　其中：ｗｅｉｇｈｔ（ｔ，ｃ　）为词ｔ在类别ｃ　中的权重；矿（ｔ，ｃ　）为词ｔ在　类别ｃ　中的词频；Ⅳ为训练文本的总数；ｎ　为训练文本集中出　现　的文本数；分母为归一化因子。　最终，经过预处理后的文本被表示为以特征项权值表示的　向量形式。　１。３评价函数及特征提取　＝　，　’ｑ　文本的特征项数量往往是非常庞大的，通常达到上万维。　为此需要进行维数压缩工作，这样做的目的主要有两个：为了　提高程序效率和运行速度；并非所有词汇对文本分类都具有区　分意义。一些通用的、各个类别均普遍存在的词汇对分类的贡　献非常小；在某特定类中出现比重大而在其他类中出现比重小　的词汇对分类的贡献大。为了提高分类精度，对于每一类，应　去除那些表现力不强的词汇，筛选出针对该类的特征项集合。　所以，对于文本分类最重要的问题是特征评价函数的选择。一　般情况下，可以直接采用ＴＦ　ＩＤＦ值作为评价函数，通过排序　后提取特征项。这种算法结构简单、复杂度低、耗时少。　１．４分类算法　文本分类本质上是一个映射过程，它将未标明类别的文本　映射到已有的类别中。用数学式表示为ｆ：Ａ—日。其中：Ａ为　待分类的文本集合；　为分类体系中的类别集合。　文本分类的映射规则是系统根据已经掌握的每类若干样　本的数据信息，总结出分类的规律性而建立的，这就是训练过　程；在遇到新文本时，根据总结出的判别规则确定文本相关的　类别，即测试过程。　训练和测试过程是分类算法的核心部分。在训练过程中，　由评价函数从文本特征的全集中抽取一个最优的特征子集，由　特征子集所表示的训练文本构造分类器。在分类过程中，首先　将测试文本用最优特征子集表示，再经分类器分类，得到测试文　本所属类别。目前存在多种基于向量空间模型的训练和测试算　法。常见的有支持向量机算法、Ｋ一近邻方法和贝叶斯方法等。　２　基于类别特征词向量的分类算法　２．１　评价函数　理论上讲，按照式（２）计算出特征项在各类别中的权值。　若在某一类别中权值越大，在其他类别中权值越小，则说明该　特征项对该类别越有区分能力。但是，由于采用ｂｉ—ｇｒａｍ方法　切分文本会产生大量无意义的特征项，如果直接采用ＴＦ　ＩＤＦ　值作为评价函数，根据实验观察，这些无意义特征项在整个训　练集中通常仅出现一次。其在某一类别中权值为１．０，在其他　类别中权值为０。然而这些词却并不能很好地代表类别特征。　同时，一些在多个类别中都出现，而在某一类别中权值为　０．７５～１．０的特征项，往往能够起到很好的类别区分作用，如　表１所示。　表１特征项权值分布实例　特妊项艺术类权值　ＩＴ类权值　政治类权值　经济类权值　体育类权值　艺术０．９９９　９６４　７２９　０．００１　６３９　２８６　０　０００　８Ｉ９　６４３　０　０．００８Ｉ９６　４３２　０　表演０．９７５　６９２　２２３　０．００６　５９２　５１５　０．０２６　３７０　０６０　０．０５２　７４０　１２０　０．２１０　９６０　４８１　０　舞蹈　蹈团　团翩　翩跹　表１为选取的部分在艺术类中权值较高的特征项。分析　表１可以得出，“蹈团，团翩，翩跹”这些特征项虽然在艺术类　将这种类别向量称为类别特征词向量；特征词以相应权值表示　训练过程　测试过程　图ｌ中文文本分类模型不意图　１）训练过程　对已标注类别文本进行训练，提取类别　向量。　ａ）提取ｂｌ　ｇｒａｍ项和文本向量化。对文本进行边界识别和　功能词剔除后，采用ｂｉ—ｇｒａｍ切分文本，得到所有二元汉字串作　为文本特征项，以特征向量形式表示文档。　ｂ）提取类别特征词。计算特征项在各类别中的权值，按　照评价函数排序后提取前ｎ维得到各类别特征词向量。　ｃ）构造类别特征词权向量。以特征词相应权值为分量替　代特征词作为类别向量表示。　．　２）测试过程输入未标注类别文档，进行类别判别。　ａ）新文本预处理。与训练阶段相同，提取ｂｉ—ｇｒａｍ项。　ｂ）文本特征向量表示。将新文本表示成以ｂｉ—ｒｇａｍ项为　分量的向量，与训练阶段得到的各类别特征词向量进行比较０　若分量匹配，以类别特征词相应权值替换对应新文本向量分量；　若无匹配，以０替换。构成新文本向量后，如维数大于ｎ，按权值　排序后取前ｎ维；若维数小于ｎ，设分量为０．００１补足ｎ维。　ｃ）分类结果输出。计算新文本特征向量与各类别向量间　的相似度，将新文本分类到相似度值最大的类别中。相似度计　算采用向量夹角余弦计算式　。　３　实验结果及分析　为验证本文提出的分类算法的有效性，选用复旦大学提供　的语料中的１　８６０篇中文文本共６个类别作为实验数据。其中　１　４５７篇已知类别文本作为训练数据，对４０３篇未分类文本进　行了算法测试，编程环境是Ｊａｖａ　２。进行分类前，对文本进行　了预处理，包括句子边界的识别、去除功能词等。表２给出了　实验具体情况的语料数据；表３给出了算法的分类实验　结果。　（下转第３４４页）　维普资讯 http://www.cqvip.com

・３４４・　中删除向量Ｖｏ　计算机应用研究　第２５卷　中删除　同时从　，很多。由于挖掘算法的大部分时间消耗在数据库扫描上，　ａｐｆｉｏｆｉ算法中对每一个候选项都要扫描一次数据库，时间开销　ｅ）ｄｅｌｅｔｅ（Ｖ“　）。Ｖ　‘对后续频繁项集的计算已无贡献。　为了节约存储空间，故将　２．２．４　产生告警关联规则　‘从内存中删除。　大；本算法只需扫描数据库一次，将得到的压缩矩阵装人内存　中，大部分运算都在内存中进行，使／／０时问降为最低，并通过　保存中间运算结果以及运用布尔运算的性质，有效提高了算法　的时间效率，同时采用压缩技术有效节约了存储空间Ｏ　＿．由挖掘算法生成的频繁项集通过置信度产生告警关联规　则　。　、ｙ是两个频繁项集（非空），且ＸｃＹ，给定最小置信　度为ＭｉｎＣｏｎｆ。如果Ｓｕｐ（Ｙ）／Ｓｕｐ（　）≥ＭｉｎＣｏｎｆ成立，则产生　枷　规则　ｊｙ～　，即在告警项目集　发生的条件下，时间窗口内　告警项目集ｙ—　以Ｓｕｐ（Ｙ）／Ｓｕｐ（　）的概率出现。　４结束语　一ｍ　本文针对电信网告警信息量大、告警具有突发性等特点，　提出了一种高效的基于压缩矩阵运算挖掘关联规则的算法。　３　算法性能测试及讨论　其核心思想是将对告警数据库的挖掘转换为对压缩告警关联　本文用Ｖｃ＋＋６．０，在内存为５１２　ＭＢ，ＣＰＵ为赛扬Ｄ　２．２６　矩阵的挖掘。实验表明，本文算法的挖掘效率与ａｐｒ一ｉｏｒ　ＧＨ　ｚ，操作系统为Ｗｉｎｄｏｗｓ　ＸＰ的计算机上实现了ａｐｒｉｏｒｉ算法　和本文算法（ＣＭａｔｒｉｘ）。实验中分别采用５００～８　０００条告警信　堕姗一ｉ算法相　比有很大的提高，对电信网海量告警相关性分析，快速、　准确地　定位告警故障根源有重要的意义。　息经过预处理后构成的告警事务数据库来测试算法的性能。　参考文献：　两种算法运行时的参数均设定为：滑动窗口为６　ｒａｉｎ，窗口的滑　堕　［１］ＡＧＲＡＷＡＬ　Ｒ，ＳＲＩＫＡＮＴ　Ｒ．Ｆａｓｔ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｍｉｎｉｎｇ　ａｓｓｏｃｉａｔｉｏｎ　动步长为２　ｒａｉｎ，最小支持度为２％，最小置信度为８０％。两种　ｒｕｌｅｓ［Ｒ］．Ｓａｎ　Ｊｏｓｅ：ＩＢＭ　Ａｌｍａｄｅｎ　Ｒｅｓｅａｒｃｈ　Ｃｅｎｔｅｒ，１９９４．　算法的性能曲线如图１所示。　［２］昊扬扬，陈怀南．基于关联规则的通信网络告警相关性分析模型　１　［Ｊ］．通讯和计算机，２００４，１（１）：５７—６３．　１　［３］ＨＡＴＯＮＥＮ　Ｋ，ＫＬＥＭＥＴＩ？ＩＮＥＮ　Ｍ，ＭＡＮＮＩＬＡ　Ｈ，ｅｔ　ａ１．ＴＡＳＡ：ｔｅｌｅ—　∞１　垦１　ｃｏｍｍｕｎｉｃａｔｉｏｎ　ａｌａｒｍ　ｓｅｑｕｅｎｃｅ　ａｎａｌｙｚｅｒ　ｏｒ　ｈｏｗ　ｔｏ　ｅｎｊｏｙ　ｆａｕｌｔｓ　ｉｎ　ｙｏｕｒ　留　ｎｅｔｗｏｒｋ［Ｃ］／／Ｐｒｏｃ　ｏｆ　ＩＥＥＥ　Ｎｅｔｗｏｒｋ　Ｏｐｅｒａｔｉｏｎｓ　ａｎｄ　Ｍａｎａｇｅｍｅｎｔ　Ｓｙｍｐｏｓｉｕｍ．Ｋｙｏｔｏ：【Ｓ．ｎ．］，１９９６：５２０—５２９．　［４］刘康平，李增智．网络告警序列中的频繁情景规则挖掘算法［Ｊ］．　小型微型计算机系统，２００３，２４（５）：８９１—８９４．　０　２　０００４　０００　６　０００　８　０００　［５］毛广莉，黄梓龙．电信网告警数据库中的数据挖掘［Ｊ］．计算机应　．告警记录／条　用研究，２０００，１７（８）：９８—９９．　图１算法运行时间比较　［６］ＨＡＮ　Ｊｉａ—ｗｅｉ，ＫＡＭＢＥＲ　Ｍ．数据挖掘概念与技术［Ｍ］．范明，孟小　从图ｌ中可以看出，本文算法比ａｐｎｏＨ算法的执行效率高　峰，等译．北京：机械工业出版社，２００５：２７２—２７８．　（上接第３３８页）　需要分词程序进行中文分词，降低了算法复杂度，提高了分类　表２　中文文本分类实验语料　速度。但是采用ｂｉ—ｇｒａｍ项表示特征的文本分类，往往效果并　文本　文本总数　不理想，为此本文提出一种基于类别特征词向量的分类算法，　训练文本　１　４５７　测试文本４０３　在未对文本分词的情况下仍然具有较高的准确率。通过在现　从表３可以看出，尽管本文使用的是以ｂｉ—ｇｒａｍ项作为文　实语料上进行对比实验以及理论分析，验证了该算法的可行性　本特征，并没有采用精确更高的分词算法，但是在分类效果上　和有效性。　仍然取得了较高的准确率。图２给出了在特征向量维数　取　参考文献：　值不同时，对分类准确率的影响，并与以ＴＦ　ＩＤＦ值直接排序　［１］李荣陆，王建会，陈晓云，等．使用最大熵模型进行中文文本分类　提取特征项的分类算法结果进行了对比。　［Ｊ］．计算机研究与发展，２００５，４２（１）：９４．１０１．　［２］ＳＡＬＴＯＮ　Ｇ，ＭｃＧＩＬＬ　Ｍ　Ｊ．Ｉｎｔｒｏｄｏｃｕｔｉｏｎ　ｔｏ　ｍｏｄｅｌＴｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｒｅ－　表３算法实验结果（ｎ＝ｌ　０００）　１００　母９５　ｔｒｉｅｖａｌ［Ｍ］．Ｎｅｗ　Ｙｏｒｋ：ＭｃＧｒａｗ－Ｈｉｌｌ，１９８３．　９０　［３］庞建锋，　东坡，白硕．基于向量空间模型的文本自动分类系统的　器８５　研究与实现［Ｊ］．计算机应用研究，２００１，１８（９）：２３—２６．　８０　［４］ＹＡＮＧ　Ｙｉ—ｍｉｎｇ．Ａｎ　ｅｖａｌｕａｔｉｏｎ　ｏｆ　ｓｔａｔｉｓｔｉｃａｌ　ａｐｐｒｏａｃｈｅｓ　ｔｏ　ｔｅｘｔ　ｃａｔｅｇｏ—　７５　ｉｒｚａｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅｔｒｉｅｖａｌ，１９９９，１（１／２）：６７—　８８．　网２分类准确率随特征项维数　变化及算法对比图　［５］ＬＥＷＩＳ　Ｄ　Ｄ，ＲＩＮＧＵＥＴＩ？Ｅ　Ｍ．Ａ　ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｔｗｏ　ｌｅａｒｎｉｎｇ　ａｌｇｏ—　图２中，实线代表以本文提出评价函数提取特征项的算法　ｉｒｔｈｍｓ　ｏｆ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ［Ｃ］／／Ｐｒｏｃ　ｏｆ　ｔｈｅ　３ｒｄ　Ａｎｎｕａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｄｏｃｕｍｅｎｔ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅｔｉｒｅｖａ１．Ｌａｓ　Ｖｅｇａｓ．［Ｓ．　实验结果；虚线代表以ＴＦ　ＩＤＦ值提取特征项的算法实验结　ｎ．］，１９９４：８１．９３．　果。从图２中可以看出，按照本文提出的算法得到的实验结果　［６］ＣＡＶＮＡＲ　Ｗ　Ｂ，ＴＲＥＮＫＬＥ　Ｊ　Ｍ．Ｎ—ｇｒａｍ．ｂａｓｅｄ　ｔｅｘｔ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　明显优于ＴＦ￥ＩＤＦ算法所得到的结果。　［Ｃ］／／Ｐｒｏｃ　ｏｆ　ｔｈｅ　３ｒｄ　Ａｎｎｕａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｄｏｃｕｍｅｎｔ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｒｅｔｉｒｅｖａｌ　Ｌａｓ　Ｖｅｇａｓ：［Ｓ．ｎ．］，１９９４：１６１．１７６．　４结束语　［７］ＭＡＮＮＩＮＧ　Ｃ　Ｄ，ＳＣＨＩ￣ＴＺＥ　Ｈ．Ｆｏｕｎｄａｔｉｏｎｓ　ｏｆ　ｓｔａｔｉｓｔｉｃａｌ　ｎａｔｕｒａｌ　ｌａｎ．　ｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ［Ｍ］．中文简体版．北京：电子工业出版社．２００２：　３５５—３７５．　传统的中文文本分类算法在对待分类文本向量化时，首先　［８］王映，常毅，谭建龙，等．基于Ｎ元汉字串模型的文本表示和实时　要对文本进行中文分词。本文采用以ｂｉ—ｇｒａｍ项表示特征，不　分类的研究与实现［Ｊ］．计算机工程与应用，２００５，４１（５）：８８．９１．