一种新的基于动态SOFM的神经网络聚类模型

维普资讯 http://www.cqvip.com 第２５卷第４期　广西师范大学学报：自然科学版　Ｊｏｕｒｎａｌ　ｏｆ　Ｇｕａｎｇｘｉ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ：Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ　Ｖｏ１．２５　Ｎｏ．４　Ｄｅｃ．２００７　２００７年１２月　一种新的基于动态ＳＯＦＭ的神经网络聚类模型　陆宇曼，郭会林，李陶深，苏一丹　（广西大学计算机与电子信息学院，广西南宁５３０００４）　摘要：提出一种动态增删自组织映射（ＤＧＤＳＯＭ）神经网络，给出该模型的聚类算法描述及实现过程。定义　了聚类节点信任度，并根据竞争结果、信任度、中心相似度，制定节点的增删策略，通过动态评价并变动节点，　提升聚类效果。实际的聚类分析应用结果表明，该算法可以得到准确的聚类结果。　关键词：ＤＧＤＳＯＭ；聚类；ＳＯＦＭ；节点信任度　中图分类号：ＴＰ３９１　文献标识码：Ａ　文章编号：１００１—６６００（２００７）０４—０２５７—０４　聚类分析是一种无教师监督的学习方法，其基本的指导思想就是最大程度地实现类内相似度最大，而　类之间相似度最小。自组织特征映射网络（ｓｅｌｆ—ｏｒｇａｎｉｚｉｎｇ　ｆｅａｔｕｒｅｓ　ｍａｐ，ＳＯＦＭ）是Ｋｏｈｏｎｅｎ提出的一种　神经网络聚类方法［】］，它模拟大脑神经系统自组织特征映射的功能，通过网络结构的自组织过程，自动地　对输入的数据模式进行聚类＿２　］。传统ＳＯＦＭ模型的局限性明显＿４］，竞争层的神经元个数在网络训练开始　时必须设定，即必须预置聚类数。在没有先验知识的情况下，一个数据集合的聚类数是不确定的，因此由　ＳＯＦＭ得到的聚类结果并不太理想，甚至出现错误。此外，ＳＯＦＭ在训练过程中网络结构固化，不能灵活　调整。本文针对ＳＯＦＭ模型存在的不足，提出一种新的动态增删自组织映射（ＤＧＤＳＯＭ）神经网络模型。　１　ＤＧＤＳＯＭ模型　本文提出的ＤＧＤＳＯＭ模型结构如图１所示，它包含了输入层、竞争层和输出层以及输出层与竞争层　之间的反馈模块　。该模型的输入层与传统的ＳＯＦＭ模型相同；把输出层独立出来是因为输出层需记录　竞争层的所有历史输出结果，并且输出层通过反馈模块影响竞争层结构。网络的竞争层在初始时没有神经　元节点，在学习过程中逐步建立并动态调整竞争层网络结构，因此竞争层的建立依赖于神经元节点的增加　和删除操作。当某个数据模式提供给输入层　时，首先计算该模式与现有竞争层的神经元　节点之间的相似度，若相似度均小于设定的　阈值，则认为此模式新增一个竞争层神经元　节点，并将该模式的向量值作为节点的初始　权向量。模型中增加节点的策略采用了文献　［６］提出的树型增长的方法，而竞争层节点的　删除策略则通过引入节点信任度的概念来实施节点删除操作。　图１　ＤＧＤＳＯＭ模型结构　Ｆｉｇ．１　ＤＧＳＯＭ　ｍｏｄｅｌ　ｓｔｒｕｃｔｕｒｅ　节点信任度是指通过评价节点所产生的聚类效果优劣，决定节点存在的合理程度的评价值。这是删除　节点的依据。节点信任度由熵值和模式个数决定：熵值反映了聚类效果的好坏，而模式个数评价的是当前　聚类的聚集程度有多大，由这两者计算得到的节点信任度可以定量地反映该节点存在的合理性和准确性。　如果节点的信任度低于阈值，则认为此节点产生的聚类效果不佳，就将此节点从竞争层中删除，而将原属　于此节点的数据模式重新进行聚类。通过节点删除操作，逐步调整竞争层的节点数和网络结构，最终建立　起稳定的网络结构，学习停止。　收稿日期：２００７—０４—２５　基金项目：广西自然科学基金资助项目（桂科自０６２４００６）　通讯联系人：李陶深（１９５７一），男，广西邕宁人，广西大学教授。Ｅ—ｍａｉｌ：ｔｓｈｌｉ＠ｇｘｕ．ｅｄｕ．ｃｎ　维普资讯 http://www.cqvip.com 广西师范大学学报：自然科学版　第２５卷　ＤＧＤＳＯＭ模型的最大特点在于竞争层的网络结构在网络训练过程中逐步建立，并且通过动态评价、　反馈而增删神经元节点。因而，根据网络训练得到的经验知识确定竞争层神经元节点数目的过程，也就是　网络结构趋于合理、聚类结果趋于优化的过程。　２　ＤＧＤＳＯＭ模型聚类算法的设计实现　ＤＧＤＳＯＭ模型聚类算法的实现过程描述如下：　步骤１：预处理各输入的数据模式：ｚ　一（扎，孙，…，　）　，ｉ一１，２，…，Ｍ，使各分量的值均在Ｅｏ，１３２：　间。依次输入这些数据模式。　步骤２：参数初始化。聚类过程采取完全的自组织机制，初始权值根据聚类节点的第一个数据模式确　定。学习速率ａ—ａ。一Ｏ．９，在起始阶段，学习速率较快，随后逐渐减小。　步骤３：竞争。即计算模式ｚ　与每个聚类节点的权向量之间的欧氏距离：　厂　——————一ｚ　一　一√　一　。　若ｌｌ　一　ｌｌ—ｒａｉｎ　Ｉｌ五一　ｌｌ≤　，则权值为Ｗ　所代表的节点竞争获胜，将ｚ　并入这一类；否则，生成一　个新的聚类节点，五为该节点的第一个数据模式，赋权值Ｗ　＋　一五。　步骤４：权值与学习速率更新。采用以下计算公式来计算权值和学习速率：　ｌ一　。　１　＋ｌ　７－　一１　ｅ｝～　其中，ａ随着并入该节点的输入数据模式数目ｉ的增长，先减小较快，然后负增量越来越小，最终ａ缓慢趋　于Ｏ。　步骤５：计算信任度。信任度是衡量一个节点所有输入模式聚类效果的指标，通过对熵值的计算得到。　１，Ⅳ≤６ｌ，　Ｎ　Ｐ（ｆＪ，Ｘｉ）　）一｛￣ｐ（ｃｊ，ｘｉ）ｌ。ｇ（　ｌ　×　，６　＜Ⅳ＜　∑ｓｉｍｉ（ｃ　）　ｋ一１　ｌｏｇ（Ⅳ）×ｌｏｇ（１ｏｇ（Ⅳ））　ｓｉｍｉ（ｃｊ，ｚ＾）：ＣＯＳ（ｆ，，ｚ　），　ＨⅣ一Ｈ（　）一　，　ｌＨＮ，Ⅳ≥６　，　量ｚ　的相似度，Ⅳ为并入该节点的数据模式个数。　其中，　为该节点中心，且ｃ　一　。Ｓ（ｆ　）为　代表的节点的信任度。ｓｉｍｉ（ｃ　，ｘｋ）表示节点中心ｃ　与输入向　当Ｎ＞ｂ　时，聚类的变化趋势是较稳定的，模糊函数升半Ｃａｕｃｈｙ分布：　１　Ｈ（　）一　，　较好描述了这一变化趋势。当Ｎ＞ｂ　时，节点信任度值完全取决于Ｈ　并趋近于１。应用此式于信任度的　计算可反映模式个数对聚类效果的影响。　Ｎ　每当聚类节点增加一个数据模式时，原节点中心ｃ　偏移，此时，　ｓｉｍｉ（ｃ　，ｚ　）须重新计算，显然，在Ⅳ　Ⅳ　较大的情况下，计算量非常大。可采用计算增量的方法对２５　ｓｉｍｉ（ｃ　，ｚ　）近似处理：　Ⅳ　ｆ∑ｓｉｍｉ（ｃ　，ｚ　），Ⅳ≤６；　ｓｉｍｉ（　一　ｌＨ（Ⅳ）∑ｓｉｍｉ（ｆ　，　）＋ｓｉｍｉ（ｃ　，ＸＮ），Ｎ＞ｂ。　维普资讯 http://www.cqvip.com

第４期　陆字曼等：一种新的基于动态ＳＯＦＭ的神经网络聚类模型　２５９　步骤６：比较信任度、中心相似度，决定节点保留或删除。定义第ｉ个节点与第　个节点的中心相似度　为ＳＣ　＝ｓｉｍｉ（ｃ　，ｃ　），１≤　＜　≤户，信任度阈值　，中心相似度阈值ｒ。节点删除策略为：当　（　）＜　，则删除　第ｉ个节点；当ＳＣ　＜ｒ，则删除信任度　（ｃ）较小的一个节点。如果无删除节点，转步骤３；否则删除节点，将　该节点的数据模式依次输入网络，转步骤３逐步执行。　步骤７：若所有的输入模式都输出完毕，则聚类过程结束。　３应用实例　我们选取了２００４年广西部分县（市、区）国民经济基本情况作为实验数据［７］，对本文的模型及算法的　性能进行验证分析。具体的实验做法是：采用传统的ＳＯＦＭ网络模型算法［８］和ＤＧＤＳＯＭ模型算法对８９　个有１４个属性指标的县聚类。表１和表２分别是两种算法的聚类结果。通过比较，可以得出以下结论：　①通过计算发现，玉州、平果和凭祥与其他各县的经济状况相似程度都不高；ＤＧＤＳＯＭ算法能够很　好地识别出这３个奇异的数据并单独形成一个类，而ＳＯＦＭ网络模型算法的聚类分析没有发现这３个特　别的数据。因此ＤＧＤＳＯＭ产生的聚类更加合理。这从两者的平均信任度比较上可以得到进一步验证。　表１　ＤＧＤＳＯＭ算法聚类结果　Ｔａｂ．１　Ｃｌｕｓｔｅｒｉｎｇ　ｒｅｓｕｌｔｓ　ｏｆ　ＤＧＤＳＯＭ　ａｌｇｏｒｉｔｈｍ　类别ＤＧＤＳＯＭ　第１类邕宁县武鸣县横县宾阳县柳江县柳城县鹿寨县临桂县灵川县全州县兴安县永福县平乐县荔浦县恭城　瑶族自治县苍梧县藤县岑溪县合浦县灵山县浦北县平南县桂平县容县陆川县博白县北流市八步区宜　州市兴宾区　第２类上林县隆安县马山县融安县三江县融水县阳朔县灌阳县龙胜各族自治县资源县蒙山县上思县钦南区　钦北区港南区港北区覃唐区福绵区兴业县田阳县田东县昭平县钟山县富Ｊｉ『瑶族自治县南丹县大化瑶　族自治县江州区扶绥县大新县宁明县龙州县　第３类龙州县东兴市靖西县田林县隆林各族自治县罗城仫佬族自治县环江毛南族自治县都安瑶族自治县象州县　武宣县忻城县天等县　第４类德保县那坡县凌云县乐业县西林县风山县东兰县巴马瑶族自治县金秀瑶族自治县　第５类右江区金城江区　第６类天峨县合山市　第７类玉州区　第８类平果县　第９类凭祥市　第１类第３类第４类柳江县鹿寨县临桂县灵Ｊｉ『县兴安县永福县荔浦县右江区田东县金城江区　三江县资源县德保县那坡县凌云县乐业县田林县西林县风山县东兰县巴马瑶族自治县金秀瑶族自治县　苍梧县藤县岑溪县钦南区钦北区浦北县玉州区容县　第２类隆林各族自治县钟山县南丹县天峨县大化瑶族自治县江州区扶绥县龙州县　第５类第６类柳城县平乐县防城区港北区兴业县田阳县昭平县象州县忻城县大新县宁明县　邕宁县合浦县灵山县北流市平果县八步区兴宾区　第７类上林县隆安县马山县融安县融水县港南区覃唐区靖西县罗城仫佬族自治县环江毛南族自治县都安瑶族　自治县武宣县天等县　第８类阳朔县灌阳县龙胜各族自治县恭城瑶族自治县蒙山县上思县东兴市福绵区富川瑶族自治县合山县凭祥市　第９类武鸣县横县宾阳县全州县平南县佳平县陆川县博白县宜州市　②ＤＧＤＳＯＭ能够自适应地产生聚类的数目，克服了ＳＯＦＭ模型需要预先指定聚类数目的缺陷。　③ＤＧＤＳＯＭ模型算法迭代了１１３次得到的结果（平均信任度：０．８３）优于ＳＯＦＭ网络模型算法迭代　１０　０００的结果（平均信任度：０．５９）。　维普资讯 http://www.cqvip.com ２６０　广西师范大学学报：自然科学版　第２５卷　４结束语　本文提出的ＤＧＤＳＯＭ模型是在ＳＯＦＭ网络模型的基础上，引入节点信任度的反馈计算，通过节点　的增删策略来动态建立自组织神经网络结构，克服了ＳＯＦＭ网络模型需要先验知识确定网络结构并且结　构固化的缺陷。应用实例实验结果表明：ＤＧＤＳＯＭ模型算法最终产生的聚类结果数目准确并且不依赖于　先验知识；节点信任度的计算定量地评价了各个聚类的效果；模型的训练比传统的ＳＯＦＭ模型明显要少，　训练效率得到明显提高。　参考文献：　［１２　ＤＩＳＴＡＮＴＥ　Ｃ，ＳＩＣＩＬＬＩＡＮＯ　Ｐ，ＰＥＲＳＵＡＤ　Ｋ　Ｃ．Ｄｙｎａｍｉｃ　ｃｌｕｓｔｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ　ｗｉｔｈ　ｍｕｌｔｉｐｌｅ　ｓｅｌｆ—ｏｒｇａｎｉｚｉｎｇ　ｍａｐｓ￣Ｊ］．　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ＆Ａｐｐｌｉｃａｔｉｏｎｓ，２００２，５（３）：３０６—３１５．　［２２　ＳＴＩＬＬ　Ｓ，ＢＩＡＬＥＫ　Ｗ．Ｈｏｗ　ｍａｎｙ　ｃｌｕｓｔｅｒｓ？Ａｎ　ｉｎｆｏｒｍａｔｉｏｎ—ｔｈｅｏｒｅｔｉｃ　ｐｅｒｓｐｅｃｔｉｖｅ［Ｊ］．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００４，１６　（１２）：２４８３—２５０６．　［３］ＨＡＭＭＥＲ　Ｂ，ＭＩＣＨＥＬＩ　Ａ，ＳＰＥＲＤＵＴＩ　Ａ，ｅｔ　ａ１．Ｒｅｃｕｒｓｉｖｅ　ｓｅｌｆ—ｏｒｇａｎｉｚｉｎｇ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌｓ［Ｊ］．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ，　２００４，１７（８／９）：１０６１—１０８５．　１－４］ＡＬＡＨＡＫＯＯＮ　Ｌ　Ｄ．Ｃｏｎｔｒｏｌｌｉｎｇ　ｔｈｅ　ｓｐｒｅａｄ　ｏｆ　ｄｙｎａｍｉｃ　ｓｅｌｆ—ｏｒｇａｎｉｚｉｎｇ　ｍａｐｓ［Ｊ］．Ｎｅｕｒａｌ　Ｃｏｍｐｕｔｉｎｇ　８‘Ａｐｐｌｉｃａｔｉｏｎｓ，　２００４，１３（２）：１６８—１７４．　［５］ＴＩＮＯ　Ｐ，ＦＡＲＫＡＳ　Ｉ，ｖａｎ　ＭＯＵＲＩＫ　Ｊ．Ｄｙｎａｍｉｃｓ　ａｎｄ　ｔｏｐｏｇｒａｐｈｉｃ　ｏｒｇａｎｉｚａｔｉｏｎ　ｏｆ　ｒｅｃｕｒｓｉｖｅ　ｓｅｌｆ—ｏｒｇａｎｉｚｉｎｇ　ｍａｐｓ［Ｊ］．　Ｎｅｕｒａｌ　Ｃｏｍｐｕｔａｔｉｏｎ，２００６，１８（ｉ０）：２５２９—２５６７．　［６２王莉，王正欧．ＴＧＳＯＭ：一种用于数据聚类的动态自组织映射神经网络［Ｊ］．电子与信息学报２００３，２５（３）：３１３—３１９．　［７２广西年鉴编委会．广西年鉴：２００５卷［Ｍ］．南宁：广西年鉴出版社，２００６．　Ｉｓ］闻新，周露，王丹力．ＭＡＴＬＡＢ神经网络应用设计［Ｍ］．北京：科学出版社，２０００．　Ｎｅｗ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｍｏｄｅｌ　Ｂａｓｅｄ　ｏｎ　Ｄｙｎａｍｉｃ　ＳＯＦＭ　ＬＵ　Ｙｕ—ｍｉｎ，ＧＵＯ　Ｈｕｉ—ｌｉｎ，ＬＩ　Ｔａｏ—ｓｈｅｎ，ＳＵ　Ｙｉ—ｄａｎ　（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ，Ｅｌｅｃｔｒｏｎｉｃｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ，Ｇｕａｎｇｘｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎａｎｎｉｎｇ　５３０００４，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ｄｙｎａｍｉｃ　ｇｒｏｗｔｈ　ａｎｄ　ｄｅｌｅｔｅ　ｓｅｌｆ—ｏｒｇａｎｉｚｉｎｇ　ｍａｐｓ　（ＤＧＤＳＯＭ）ｉｓ　ｐｒｅｓｅｎｔｅｄ　ａｓ　ａｎ　ｅｘｔｅｎｄｅｄ　ｖｅｒｓｉｏｎ　ｏｆ　ｔｈｅ　Ｓｅｌｆ—Ｏｒｇａｎｉｚｉｎｇ　Ｆｅａｔｕｒｅ　Ｍａｐｓ（ＳＯＦＭ），ｗｈｉｃｈ　ｎｅｅｄｓ　ｔＯ　ｐｒｅｓｅｔ　ｔｈｅ　ｃｌｕｓｔｅｒｉｎｇ　ｎｕｍｂｅｒ　ａｎｄ　ｔｅｎｄｓ　ｔｏ　ｃｌｕｓｔｅｒ　ｆｕｚｚｉｌｙ．Ｔｈｉｓ　ｐａｐｅｒ　ｄｅｔａｉｌｓ　ｔｈｅ　ｃｌｕｓｔｅｒｉｎｇ　ａｌｇｏ—　ｒｉｔｈｍ　ａｎｄ　ｔｈｅ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ｔｈｅ　ＤＧＤＳＯＭ．Ｔｈｅ　ｃｌｕｓｔｅｒｉｎｇ　ｎｏｄｅ　ｓｕｐｐｏｒｔ　ｄｅｇｒｅｅ　ｉｓ　ｄｅｆｉｎｅｄ，ａｎｄ　ｔｈｅ　ｓｔｒａｔｅｇｙ　ｏｎ　ｇｒｏｗｉｎｇ　ａｎｄ　ｄｅｌｅｔｉｎｇ　ｎｏｄｅｓ　ｄｙｎａｍｉｃａｌｌｙ　ｉｓ　ｆｏｒｍｕｌａｔｅｄ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｃｏｍｐｅｔｉｔｉｏｎ　ｒｅｓｕｌｔ，　ｓｕｐｐｏｒｔ　ｄｅｇｒｅｅ　ａｎｄ　ｃｅｎｔｅｒ’Ｓ　ｓｉｍｉｌａｒｉｔｙ，ｗｈｉｃｈ　ｉｓ　ｈｅｌｐｆｕｌ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｃｌｕｓｔｅｒｉｎｇ　ｒｅｓｕｌｔｓ．Ｔｈｅ　ａｃｔｕａｌ　ｃｌｕｓｔｅｒｉｎｇ　ａｎａｌｙｓｉｓ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ　ｃａｎ　ｇｅｔ　ａｃｃｕｒａｔｅ　ｃｌｕｓｔｅｒｉｎｇ　ｒｅｓｕｌｔｓ．　Ｋｅｙ　ｗｏｒｄｓ：ＤＧＤＳＯＭ；ｃｌｕｓｔｅｒｉｎｇ；ＳＯＦＭ；ｎｏｄｅ　ｓｕｐｐｏｒｔ　ｄｅｇｒｅｅ　（责任编辑　李小玲）