第２６卷第４期 ２０１７年７月 湖 南 城 市 学 院 学 报（自然科学版） Ｖ＿０１．２６ Ｎｏ．４ Ｊｕ１．２０１ ７ Ｊｏｕｒｎａｌ ｏｆ Ｈｕｎａｎ Ｃｉｔｙ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ） 决策树和贝叶斯分类算法在学生专业录取数据中的 应用研究 黄雪华 （湖南城市学院信息与电子— 程学院，湖南摘益阳４１３０００） 要：分类算法是数据挖掘中最重要的挖掘理论之一，广泛应用于天气预测、反垃圾邮件、疾病诊断 等应用中．通过介绍应用最广泛的两类分类算法决策树和贝叶斯理论及算法，并应用于湖南城市学院专业招 生录取数据中，结合ＳＱＬ ｓｅｒｖｅｒ￣ＡＳＰ．ＮＥＴ，获取每个专业的学生性别预测，获取每个专业生源省份预测，并 对预测结果和实际结果进行比较，得到误差率分别在０．０１和０．２；Ａ内． 关键词：分类；决策树；朴素贝叶斯；ＡＳＥＮＥＴ；ＳＱＬＳｅｒｖｅｒ２０１４；专业录取 中图分类号：ＴＰ３０１．６ 文献标识码：Ａ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２．７３０４．２０１７．０４．００１４ 文章编号：１６７２—７３０４（２０１７）０４—００６４－０４ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ ａｎｄ Ｂａｙｅｓ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｉｎ Ｓｔｕｄｅｎｔ Ｅｎｒｏｌｌｍｅｎｔ Ｄａｔａ ＨＵＡＮＧ Ｘｕｅｈｕａ （Ｓｃｈｏｏｌ ｏｆＩｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒ，Ｈｕｎａｎ Ｃｉｔｙ Ｕｎｉｖｅｒｓｉｔｙ，Ｙｉｙａｎｇ，Ｈｕｎａｎ ４１３０００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｉｓ ｏｎｅ ｏｆ ｔｈｅ ｍｏｓｔ ｉｍｐｏｒｔａｎｔ ｍｉＩｌｉｎｇ ｔｈｅｏｒｉｅｓ ｉｎ ｄａｔａ ｍｉｎｉｎｇ．Ｉｔ ｉｓ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｗｅａｔｈｅｒ ｆｏｒｅｃａｓｔｉｎｇ，ａｎｔｉ ｓｐａｒｎ，ｄｉｓｅａｓｅ ｄｉａｇｎｏｓｉｓ ａｎｄ ｏｔｈｅｒ ａｐｐｌｉｃａｔｉｏｎｓ．Ｔｈｅ ｔｈｅｏｒｙ ａｎｄ ａｌｇｏｒｉｔｈｍ ｏｆ ｔｈｅ ｍｏｓｔ ｗｉｄｅｌｙ ｕｓｅｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅ ａｎｄ Ｂａｙｅｓ ａｒｅ ｉｎｔｒｏｄｕｃｅｄ，ａｎｄ ａｐｐｌｉｅｄ ｔｏ ｓｔｕｄｅｎｔ ｅｎｒｏｌｌｍｅｎｔ ｄｔａ ｏｆ ａＨｕｎａｎ Ｃｉｔｙ Ｕｎｉｖｅｒｓｉｔｙ ｃｏｍｂｉｎｉｎｇ ｗｉｔｈ ＳＱＬ ｓｅｒｖｅｒ ａｎｄ ＡＳＲＮＥＴ ｔｏ ｇｅｔ ｇｅｎｄｅｒ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｅａｃｈ ｍａｊｏｒ ａｎｄ ｐｒｅｄｉｃｔ ｔｈｅ ｐｒｏｖｉｎｃｅ ｓｔｕｄｅｎｔｓ ａｒｅ ｆｒｏｍ．Ｃｏｍｐａｒｅ ｔｈｅ ｐｒｅｄｉｃｔｅｄ ｒｅｓｕｌｔｓ ｗｉｔｈ ｔｈｅ ａｃｔｕａｌ ｒｅｓｕｌｔｓ，ｉｔ ｉｓ ｆｏｕｎｄ ｔｈａｔ ｔｈｅ ｅｒｒｏｒ ｒａｔｅｓ ａｒｅ ｗｉｔｈｉｎ ０．０ １ ａｎｄ ０．２ ｒｅｓｐｅｃｔｉｖｅｌｙ． Ｋｅｙ ｗｏｒｄｓ：ｃｌａｓｓｉｉｆｃａｔｉｏｎ；ｄｅｃｉｓｉｏｎ ｒｔｅｅ；ｎａｉｖｅ Ｂａｙｅｓ；ＡＳＥＮＥＴ；ＳＱＬ Ｓｅｒｖｅｒ２０１４；ｓｔｕｄｅｎｔ ｅｎｒｏｌｌｍｅｎｔ 分类算法是预测离散数据的分类标号．最著 名的例子如韩家炜的ＡｌｌＥｌｅｃｔｒｏｎｉｃｓ￣Ｂ寄清单数据 库 Ｊ，根据顾客姓名、年龄、收入、职业和信誉 度，可对他们是否购买计算机建立分类模型，并 预测未知顾客所属分类；再如银行中预测贷款是 否存在风险，客户信用卡等级划分，这样可以降 低银行信贷的风险，减少资金的流失；又如文本 分类、网络异常检测、垃圾短信过滤等应用． 点根据数据样本的某个合适的属性值进行数据集 划分． １．２决策树构造步骤 决策树的构造分为２个步骤：第１步是建立 决策树阶段，通过样本数据建立决策树；第２步 是树剪枝阶段，对决策树减去不必要的分枝以及 过度拟合，主要是处理噪声数据和异常数据． １．３决策树算法分析 决策树算法有很多种，最为著名的有ＩＤ３Ⅲ， Ｃ４．５１２１．１ 决策树相关理论及算法分析 １．１决策树定义 决策树建立的差异主要在属性值的选取 上．ＩＤ３的分支节点属性选择是通过计算属性的 信息增益值来选择的．Ｃ４．５算法是对ＩＤ３算法的 改进．ＩＤ３算法只能针对离散数据进行样本分类， Ｃ４．５扩充了连续数据的分类方法． 设 个数据样本的集合，假定类标号属性 具有ｍ个不同值，定义ｍ个不同类Ｃｉ（／－＝１，…， ）， 从数据结构来看，决策树是一颗倒立的树． 从树的根节点到叶节点的路径实际就是决策的过 程，确定数据样本所属类标号的过程，它是一个 递归地从上到下确定分支节点和叶节点的过程． 叶节点存放的是数据样本所属的类标号；分支节 收稿日期：２０１７－０６—２５ 作者简介：黄雪华（１９８３．），女，湖南郴州人，讲师，硕士，主要从事数据库、数据挖掘研究．Ｅ—ｍａｉｌ：１０７５３１８５２＠ｑｑ．ｃｏｒｎ 第２６卷 黄雪华：决策树和贝叶斯分类算法在学生专业录取数据中的应用研究 ， ，…， ６５ 又设． 是类ＣＩ中的样本数，样本分类期望信息为 （Ｓ，ｓ２…．， ）＝一 Ｐｇ ｌｏｇ：（ ）． （１） 是数据集Ｄ的ｍ个分类， ｆｊｃｌ， Ｘｚ，…， ｝是一个具体的样本对象，这个样本对 象属于类Ｃｊ的概率可以利用贝叶斯公式（见式（４）） 计算出来． ＝ ． Ｐｊ是任意样本属于类ｃｊ的概率，用ｓ，／ｓ４￣ｉ计． 设属性Ａ具有价不同值｛口１，…， ｝，属性Ａ将样 本贼 分为价子集｛ ，…， ｝， 是子集 中类 Ｇ的样本数．根据Ａ划分子集的熵由式（２）和式（３） 给出． Ｅ（Ａ）： ｊ＝ｌ （４） 当 Ｃｊ 大于Ｐ（Ｃ 时，认为该样本对象属 于类Ｃｆ，因此需要求出最大的尸（ｃｊ 值，而对于 （ ，．．．， ），ｌｏｇｚ（ ）． （２） ｆ３） 所有分类，样本翮勺概率尸Ｃｌｊｆ）可以视为常数．因此 只需Ｐ（Ｘ］Ｃｉ）Ｐ（Ｃｉ）最大，如果类的先验概率未知， 则通常假定尸（ｃ１）＝Ｐ（Ｃ２）：…＝ ），否则按 Ｐ（Ｇ）＝ 计算，其中． 是属于类Ｃｊ中的训练样本 数， 训练样本总数，且假定各屙Ｉ生之间是相互 （ ， ，…．，Ｓｍｊ）＝一 然后计算每个属性的信息增益，在属性Ａ上 的信息增益为Ｇａｉｎ（Ａ） ，…， ）一 Ａ），以 具有最高信息增益值的屙ｌ生作为划分属性，并为 每个值创建分支且迭代划分样本． 条件的，则可得 Ｐ（ＸＩ ）＝¨尸（ Ｉｃ ）． 值，则样本煸于该类． ｆ５） ２贝叶斯定义及算法理论 ２．１贝叶斯定义 对于每个类Ｇ，只需求出最大的ｐ（ｘｌｃ，）ｐ（ｃ，） 贝叶斯分类方法是另外一种著名的分类算法， ３ 算法应用 ３．１ 学生专业录取数据说明 它主要是根据后验概率来预测数据所属的最有可 能的分类． ２．２朴素贝叶斯概念 我校的招生录取数据，共１５ ７３４条数据，原 始数据分散在４张ＥＸＣＥＬ表中，包含２０１３年、２０１４ 年、２０１５年、２０１６年的新生录取情况，由考生号 贝叶斯分类算法有多种，其中比较著名的是 朴素贝叶斯分类，它假定每个属性值对分类的影 响是相互的． ２．３贝叶斯算法 ｋｓｈ、学生姓名ｘｍ、性别Ｘｂ、录取专业ｌｑｚｙ、高考 分数ｇｒａｄｅ、投档线ｐａｓｓ ｒａｇｄｅ￣省份ｓｆ构成．部分 录取原始数据样本见表１． 假设Ａ ，Ａ２，…， 是数据集Ｄ的 个属性， 表１ 学生专业录取原始数据 对这１ ５ ０００多条数据进行处理，把４张ＥＸＣＥＬ 表导ｆｌ￣ＩＪＳＱＬ Ｓｅｒｖｅｒ中的表ｋａｏｓｈｅｎｇｄａｔａ中，并增 加ｉｄ字段，增加录取年份ｓｔａｒｔ ｙｅａｒ属性字段，增加 ３．２决策树算法应用 在学校里，男女性别人数差异的问题可能会 造成很多其他的问题，如宿舍分配、洗澡堂、卫 考生分数与投档线分数差ｄｉｆｅｒ ｓｃｏｒｅ字段．通过 Ｔ－ＳＱＬ编程，编写触发器等方法对数据进行处理， 处理之后的部分源数据见表２． 生间等号Ｉ生别相关的公共设施都将产生影响．采 用决策树算法对每个专业学生性别的情况进行预 测，学生的性别取值只有男和女两个值．因此可 ６６ 湖南城ｆｆｆ学院学报（自然科学版） ２０１７￣ｒ第４期 行做０和１的分类问题．在该考生的录取数据ｒｔ ， ‘ 学生的性别相关的属性主要是专业，专业本身 的厨 将会对学生所属学科及兴趣爱好有一定影 响， 学生的分数、学生的考生号、投档线、考 ， 所来自的省份都与性别无关联．因此对陔数据 缱Ｌｊ／ 决策树模型．根据样本集建立分类模型，再 埘测试数据进行预测其所属的性别标号． 在ＡＳＲＮＥＴ所编写的客户端应用程序巾，根 据所选择的专业，可以分析 该学生可能的性别 搜卡甘应的概率．图ｌ挖掘结果 示我校经济统汁 业的学生大部分足女生，足女生的概率为 ６７．９％．对该预测结果进行验证，经济统计学专 、Ｊ 录取的女生有３０人，而该 业的总人数为５０人， 生占比为３４／５０（０．６８），预测值与实际值相差约 为０．０ｌ；同样地对城乡规划专业进行预测，为女 ，ｆ伯，Ｊ概率为５１．２％，该专业总人数为２８１人，女生 为１４４人，占比为５１．２％，可 采用决策树预测算 法埘性别的预测准确率非常高． 口 × ｏ Ｅ ！ｏｃａｌｈｅｓｔ： 、ｐ ｃ 乇 墅曩 四惠车商城日镭，葶委 ・＿、马靛活 嗡９包由：圆百度一下ａ疆芷刮＃苛■ｆ蟠帆血 。 歙据挖掘结果 可 的性别女 概章０ ６７９０４５０９２８３８１９６ 图ｌ 决策树数据挖掘结果 该预测涉及列的ＤＭｘ语句如下： ｓｅｌｅｃｔ ｋａｏｓｈｅｎｇｄａｔａ．ｘｂ，ｐｒｅｄｉｃｔｐｒｏｂａｂｉｌｉｔｙ（ｘｂ） ａｓ ［ｐｒｏｂａｂｉｌｉｔｙ】ｆｒｏｍ ｋａｏｓｈｅｎｇｄａｔａ ｎａｔｕｒａｌ ｐｒｅｄｉｃｔｉｏｎ ｊｏｉｎ（ｓｅｌｅｃｔ…＋ｐｒｏｆｅｓｓｉｏｎ十…ａｓ ｌｑｚｙ）ａｓ ｔ 其ｑ￣ｐｒｏｆｅｓｓｉｏｎ是要预测考生所属的专业． ＡＳＰ．ＮＥＴ 的Ｃ≠≠语言通过连接字符串 ”Ｐｒｏｖｉｄｅｒ＝ＭＳＯＬＡＲ３；Ｉｎｔｅｇｒａｔｅｄ Ｓｅｃｕｒｉｔｙ＝ＳＳＰＩ；Ｐｅｒｓｉｓｔ Ｓｅｃｕｒｉｔｙ Ｉｎｆｏ＝Ｔｒｕｅ；Ｉｎｉｔｉａｌ Ｃａｔａｌｏｇ＝ｋａｏｓｈｅｎｇ；Ｄａｔａ Ｓｏｕｒｃｅ＝．”与ＳＳＡＳ建立连 接，并 示出预测结果． 利朋决策树算法预测专业的性别结果数据 表３（ｆ｝Ｉ于篇幅原 只给｝Ｈ一部分弩业数据）．表３ 给｝“了每个专业学生性别的预测和实际结果，还 给｝｝１了预测结果与实际结果的误差率，并得｝｝Ｊ其 误差率在０．０ ｌ以内，预测结果准确率非常高． 表３决策树算法性别预测结果 求收专业 性别预测值 实际结果 误差率 电子科学与技术 ７２．４ｌ％２５５／３４６＝７３．６９％１．２８％ 英语 女８８．８ｌ％４１４／４６６＝８８．８４％０．０３％ 城乡规划 女５１．２４％１４４／２８１ ５１．２４％０％ 广告学 女６９．２３％１ ９６／２８３ ６９．２５％０．０２％ 城市地下空间１＿ 粥９１．９６％１９６／２１３＝９２．０１％一０．０５％ 经济统汁ｔ学 女６７．９０％ ３４／５０＝６８％ 一０．０ｌ％ 汉语吉’文学 女７７．３６％４３ １／５５７ ７７．３７％０．０ｌ％ 水利水电Ｔ程 ５ｆ３ ７２．４１％１００／１２０＝８３，３３％１０．９２％ 地理信息科学 ５２．４９％１０５／２００ ５２．５％０．０１％ ３．３贝叶斯算法应用 预测专业招生学生中最可能来自的省份，据 此可制定相应高校招生策略，增加或减少该々业 法省的招生人数，如果存该专、ｌ 中没有或很少 的学生属于该省，那么可以减少住陔省招生人数， 甭则增加招生人数．根据考生的属性专业、年份、 分数，对考生所来自的省份进行预测．由于各属 性之Ｉ＇￣１ｘ，ｔ类别所属省份的影响足相互的， 此埘考生数据建立朴素贝叶斯分类模型，并对测 试数据进行预测．建立的贝叶斯模型见图２． 图２贝叶斯模型 第２６卷 黄雪华：决策树和贝叶斯分类算法在学生专业录取数据中的应用研究 ６７ 根据输入学生专业、求取年份及高考分数预 测该 业录取的学生来自的省份及可能的概率． 利用贝叶斯算法预测每个专业每年所来自的 省份结果数据 表４（冈篇幅原因只给出２０１６年 部分专业生源数据）．表４给 ｒ部分专业学生 所来自省份的预测结果和实际结果，并得出其预 测误差率 ０．２以内，具有比较高的准确率． 陔预测涉及到的ＤＭＸ讲句如下： ｓｅｌｅｃｔ ｋａｏｓｈｅｎｇｄａｔａ２．ｓＣｐｒｅｄｉｃｔｐｒｏｂａｂｉｌｉｔｙ（ｓｆ） ａｓ ［ｐｒｏｂａｂｉｌｉｔｙ］ｆｒｏｍ ｋａｏｓｈｅｎｇｄａｔａ２ ｎａｔｕｒａｌ ｐｒｅｄｉｃｔｉｏｎ ｊｏｉｎ（ｓｅｌｅｃｔ…＋ｐｒｏｆｅｓｓｉｏｎ＋…ａｓ ｌｑｚｙ，…＋ｓｔａｒｔｙｅａｒ １ …ａｓ ｓｔａｒｔｙｅａｒ，’”＋ｇｒａｄｅ １ …ａｓ ｇｒａｄｅ）ａｓ ｔ 其中ｐｒｏｆｅｓｓｉｏｎ为学生的录取专业，变避 ｓｔａｒｔｙｅａｒ１为考生的录取年份，变埘ｇｒａｄｅ１为考生 的岛考成绩，预测结果见冈３．２０ｌ６年城乡规划 Ｏ ｊ二 肾 ｔ： ８亨镑娃日穰 叠０ Ｊ曲墨霸ｅ悔９鉴雷吾皇一 叠簋王孝母寻簟幡啦 奄静鹰圆盖髓毒 数据瑚结果 可蘸来自的崔特瑚南 概妻Ｏ、 ３４７２１ ５０１ ｛、Ｉｑ 々业的学生，最可能来自的省份为湖南省，其慨 牢为５５．３％．而在原始数据巾城乡规划专业在 ２ ６年总共招收了８１人，其巾湖南的学生有５４ 人；同年电子科学与技术擘业总共招收了７４人， 来ｆ｛湖南的５８人，与预测的８４％的电子科学与 ‘ ０慨ｔ 图３ 贝叶斯数据挖掘结果 技术 业的学生来自湖南情况市Ｈ吻合． 表４贝叶斯算法生源预测结果 ４ 总结 本文研究 决策树分类和叭叶斯分类的相关 参考文献： ［１】ＨＡＮ Ｊ Ｗ＇ＫＡＭＢＥＲ Ｍ，ＰＥＩ Ｊ，等数据挖掘概念与技术［Ｍ］ 北京：机械Ｉ’、｛ 版｝｝ ，２Ｏ１２． 理沦，包括其定义、相关慨念及算法，用ＳＱＬ ［２】程斐斐，王ｒ√ 挖掘应用…．做ｊ 铎．决策村算法 Ｗｅｋａ平台ｌ 的数据 脯应用，２０１ ５，３ｌ（６）：６３—６５ Ｓｅｒｖｅｒ２０１４为湖南城市学院学生々业录取数据建 立模型并进行挖掘分析，采Ｊ『Ｊ ＤＭＸ讲句获取挖 掘结果．为学校专、 招牛制定相 决策提供了数 据史持．通过Ｃ≠≠语 并采川ＡＤＯＭＤ．ＮＥＴ对挖 掘结果进行访问，最终把预测的结果显爪存网页 【３】张轮，畅义Ｉ ．刈 ，等．鉴Ｉ 朴素『Ｊｊ叶斯分类的高速公路交 通事件榆洲ｆＪｌ ５５８．５６３ 济犬学学报：ｒＪ然科学版，２０１４，４２（４） ：［４］畅雷，曹翠玲 孙建因，等．改进的朴素 叶斯算法在垃圾邮 件过滤中的研究…．通信学报，２０ｌ７，３８（４）：１４０—１４８ ｆ５１吕吴，林君， 晓献．改进朴素哦叶斯分类算法的研究与应崩 …．湖南大 学报：ｒ１然科 版，２０１２，３９（１２）：５６—６１． 【｝ ．本文采用决策树分类箅法对所录取的学生进 行性别预测，预测值与实际结＿粜的误差率大小在 ０．０１以内；采用贝叶斯算法对所录取的学生可能 来自的省份进行预测，预测值卜ｊ文际结果的误差 牢大小住０．２以内．两者都具仃较高的７伟确率． （责任编校：龚伦峰）
