基于自适应迭代更新的函数型数据聚类方法研究

第３２卷第４期　统计研究　Ｖｏ１．３２．Ｎｏ．４　２０１５年４月　Ｓｔａｔｉｓｔｉｃａｌ　Ｒｅｓｅａｒｃｈ　Ａｐｒ．２０１５　基于自适应迭代更新的函数型　数据聚类方法研究　王德青　刘晓葳　朱建平　内容提要：函数型数据的稀疏性和无穷维特性使得传统聚类分析失效。针对此问题，本文在界定函数型数据　概念与内涵的基础上提出了一种自适应迭代更新聚类分析。首先，基于数据参数信息实现无穷维函数空间向有限　维多元空间的过渡；在此基础上，依据变量信息含量的差异构建自适应赋权聚类统计量，并依此为函数型数据的相　似性测度进行初始类别划分；进一步，在给定阈值限制下，对所有函数的初始类别归属进行自适应迭代更新，将收　敛的优化结果作为最终的类别划分。随机模拟和实证检验表明，与现有的同类函数型聚类分析相比，文中方法的　分类正确率显著提高，体现了新方法的相对优良性和实际问题应用中的有效性。　关键词：函数型数据分析；自适应权重；迭代更新；聚类分析　中图分类号：０２１２　文献标识码：Ａ　文章编号：１００２—４５６５（２０１５）Ｏ４—００９１—０６　Ｒｅｓｅａｒｃｈ　ｏｎ　Ｃｌｕｓｔｅｒｉｎｇ　Ａｎａｌｙｓｉｓ　ｆｏｒ　Ｆｕｎｃｔｉｏｎａｌ　Ｄａｔａ　ｂａｓｅｄ　ｏｎ　Ａｄａｐｔｉｖｅ　Ｉｔｅｒａｔｉｏｎ　Ｗａｎｇ　Ｄｅｑｉｎｇ　Ｌｉｕ　Ｘｉａｏｗｅｉ　Ｚｈｕ　Ｊｉａｎｐｉｎｇ　Ａｂｓｔｒａｃｔ：：Ｔｒａｄｉｔｉｏｎａｌ　ｃｌｕｓｔｅｒｉｎｇ　ｍｅｔｈｏｄｓ　ｆａｉｌ　ｔｏ　ａｎａｌｙｚｅ　ｆｕｎｃｔｉｏｎａｌ　ｄａｔａ　ｗｉｔｈ　ｓｐａｒｓｅ　ｐｒｏｐｅｒｔｙ　ａｎｄ　ｉｎｆｉｎｉｔｅ　ｄｉｍｅｎｓｉｏｎａｌ　ｓｔｒｕｃｔｕｒｅ．Ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｐｒｏｂｌｅｍ，ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ａｎ　ａｌｇｏｒｉｔｈｍ　ｏｆ　ａｄａｐｔｉｖｅ　ｉｔｅｒａｔｉｖｅ　ｕｐｄａｔｉｎｇ　ｃｌｕｓｔｅｒｉｎｇ　ａｎａｌｙｓｉｓ　ａｆｔｅｒ　ｄｅｆｉｎｉｎｇ　ｔｈｅ　ｃｏｎｃｅｐｔ　ａｎｄ　ｃｏｎｎｏｔａｔｉｏｎ　ｏｆ　ｆｕｎｃｔｉｏｎａｌ　ｄａｔａ．Ｆｉｒｓｔ，ｃｏｎｓｔｒｕｃｔ　ａ　ｆｉｎｉｔｅ—ｄｉｍｅｎｓｉｏｎａｌ　ｆｕｎｃｔｉｏｎａｌ　ｍｕｌｔｉｖａｒｉａｔｅ　ｓｐａｃｅ　ｆｒｏｍ　ｉｎｆｉｎｉｔｅ—ｄｉｍｅｎｓｉｏｎａｌ　ｏｎｅ　ｂｙ　ｕｓｉｎｇ　ｔｈｅ　ｐａｒａｍｅｔｅｒ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｏｒｉｇｉｎａｌ　ｄａｔａ；Ｏｎ　ｔｈｉｓ　ｂａｓｉｓ，ｂｕｉｌｄ　ａｎ　ａｄａｐｔｉｖｅ　ｗｅｉｇｈｔｅｄ　ｃｌｕｓｔｅｒｉｎｇ　ｓｔａｔｉｓｔｉｃｓ　ａｓ　ｔｈｅ　ｃｒｉｔｅｒｉａ　ｆｏｒ　ｇｉｖｉｎｇ　ｉｎｉｔｉａｌ　ｃｌｕｓｔｅｒｓ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｄｉｆｆｅｒｅｎｃｅ　ｏｆ　ｔｈｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｃｏｎｔｅｎｔ　ｉｍｐｌｉｅｄ　ｉｎ　ｖａｒｉａｂｌｅｓ；Ｆｕｒｔｈｅｒ，ｕｎｄｅｒ　ｔｈｅ　ｇｉｖｅｎ　ｔｈｒｅｓｈｏｌｄ　ｌｉｍｉｔ，ｇａｔｈｅｒ　ｔｈｅ　ｃｏｎｖｅｒｇｅｎｃｅ　ｏｐｔｉｍａｌ　ｒｅｓｕｌｔ　ｔｏ　ｄｅｆｉｎｅ　ｔｈｅ　ｆｉｎａｌ　ｃａｔｅｇｏｒｉｅｓ　ｂｙ　ｕｐｄａｔｉｎｇ　ｔｈｅ　ａｓｃｒｉｐｔｉｏｎ　ｏｆ　ｉｎｉｔｉａｌ　ｃｌｕｓｔｅｒｓ　ｗｉｔｈ　ａｄａｐｔｉｖｅ　ｉｔｅｒａｔｉｖｅ　ｐｒｏｃｅｓｓ．Ｓｔｏｃｈａｓｔｉｃ　ｓｉｍｕｌａｔｉｏｎ　ａｎｄ　ｅｍｐｉｒｉｃａｌ　ｔｅｓｔ　ｓｈｏｗｓ　ｔｈｅ　ｃｏｒｒｅｃｔ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ　ｒａｔｅ　ｏｆ　ｏｕｒ　ｍｅｔｈｏｄ　ｉｓ　ｓｉｇｎｉｉｆｃａｎｔｌｙ　ｈｉｇｈｅｒ　ｔｈａｎ　ｏｔｈｅｒ　ｃｌｕｓｔｅｒｉｎｇ　ｍｅｔｈｏｄｓ，ｒｅｆｌｅｃｔｉｎｇ　ｔｈｅ　ｓｕｐｅｒｉｏｒｉｔｙ　ａｎｄ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ｏｕｒ　ｍｅｔｈｏｄ　ｉｎ　ｐｒａｃｔｉｃａｌ　ａｐｐｌｉｃａｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ｆｕｎｃｔｉｏｎａｌ　ｄａｔａ　ａｎａｌｙｓｉｓ；ａｄａｐｔｉｖｅ　ｗｅｉｇｈｔｉｎｇ；ｉｔｅｒａｔｉｖｅ　ｕｐｄａｔｅ；ｃｌｕｓｔｅｒｉｎｇ　ａｎａｌｙｓｉｓ　一完善。因此，将离散的观测数据纳入连续的函数范　、引言　畴进行分析能够显著提升信息挖掘的深度和分析结　大数据时代的来临已成为社会各界的普遍共　论的全面性。函数型数据分析（下文简称ＦＤＡ）是　识，“数据爆炸”和“知识匮乏”是大数据时代的典型　研究如何从无穷维、不规则观测数据中挖掘内在信　特征，如何从浩瀚复杂的数据海洋中发现潜在的信　息知识给现代数据挖掘的发展带来了机遇、挑战和　息知识的理论和方法。方法本身的优势和分析思路　紧迫感。传统的数据分析技术在大数据的信息挖掘　中面临诸多局限性，大数据信息的丰富性和结构的　本文为国家社会科学基金重大项目“大数据与统计学理论的　发展研究”（１３＆ＺＤ１４８）阶段性研究成果，同时获国家社会科学基金　复杂性促进了对高效数据分析方法的需求。事实　项目“金融高频数据挖掘方法及应用研究”（１１ＢＴＪＯ０１）、国家自然科　上，实际问题研究中的数据多是不连续、带有噪音、　学基金青年项目“基于非参数随机森林的分类预测方法及其应用”　离散的有序数列，其信息含量远不如连续函数充分　（７１０２０１１３９）资助。　・９２・　统计研究　２０１５年４月　的普适性使得函数型数据分析成为数据挖掘的研究　热点，应用成果涉及医学诊断¨“　、金融工程　儿　、　电子商务　“　等领域。　聚类分析是数据挖掘最重要的技术手段之一。　针对如何提出、修正和拓展适用于大数据信息挖掘　的函数型聚类分析，国内外学术界进行了诸多有益　的探索，既有经典聚类方法的推广和拓展，也有针对　分析对象特殊性提出新模型。大致可以划分为四个　方向：①直接由原始观测值出发聚类分析，如朱建平　和陈民垦（２００７）　将面板数据视作函数型数据无　噪音的离散实现，提出了单变量面板数据聚类分析　的最初思想；Ｂｅｎｓｍａｉｌ等　则基于（高）频率与（高）　维度的转化，将高维聚类算法在函数型数据下进行　了推广。②两步法聚类分析，其核心思想是由离散　观测值通过基函数展开重构本征函数，之后对拟合　系数应用传统聚类方法进行类别划分，如Ａｂｒａｈａｍ　等　。③非参数聚类分析，其核心思想是通过函数　型秩和里程碑描述（Ｌａｎｄｍａｒｋ　ｄｅｓｃｒｉｐｔｉｏｎ）等非参数　方法对函数曲线的形状特征进行刻画，之后基于函　数的形状相似性测度进行聚类分析，如Ｈｅｃｋｍａｎ　ｌｏ］　等。④基于模型聚类分析，其核心思想是通过主成　分分析将无穷维函数空间过渡到有限维多元空间，　之后基于有限维的概率密度进行聚类分析，如　Ｃｈｉｏｕ…　、Ｊａｃｑｕｅｓ　１２］等。对比来看，上述函数型聚　类分析的研究成果都是有针对性地处理某类函数型　数据的特殊分类问题，存在一些明显缺陷，主要表现　在：基于离散数据的聚类分析并未真正领会ＦＤＡ的　核心思想，不规则数据采集的稀疏性导致传统聚类　方法的普适性差；或是最优基函数的选择缺乏客观　的统一标准，分类结果稳健性显著地取决于基函数　选择的主观性；或是单纯以曲线静态的非参数信息　构建函数型相似性测度，重要参数信息的遗失导致　模型分类的精度和信息挖掘的深度不够。　经典聚类分析的有效性需要满足特定的假设条　件　，然而当有限维的离散数据经过ＦＤＡ的连续　化处理转换为无穷维的函数型数据后，分析对象的　无穷维复杂化和连续动态化使得传统聚类方法的弊　端凸显。针对模型失效的具体问题特点，通常可以　引进必要的累进变换将多种分类方法的长处有机集　成，并从理论上使模型融合过程完善，形成能有效处　理复杂函数型分类问题的新方法。基于此，本文在　界定函数型数据概念与内涵的基础上，研究函数型　自适应迭代更新聚类分析。首先提出一种自适应权　重的主成分聚类分析对初始类别中心的稳健性进行　修正，然后给出函数型自适应迭代更新聚类分析的　方法原理和算法步骤，最后通过模拟试验和案例应　用将文中方法与现有同类方法进行对比，以分类结　果的正确率和稳健性论证新方法的优良性。　二、函数型数据的概念与内涵　基于函数视角的数据挖掘是数据挖掘的更一般　形式。尽管函数型数据呈现的形式多种多样，但其　本质是由连续函数构成，可以用随机过程的框架进　行界定。　定义１　假定ｘ＝｛Ｘ（ｔ），ｔ∈［０，Ｔ］｝为定义　于Ｈｉｌｂｅｒｔ空间Ｈ∈Ｒ的随机过程，则称　的ｎ个具　体实现｛Ｘ　（￡），…，Ｘ　（ｔ）｝为服从模型　的函数型　数据，并将　视作函数型数据Ｘ　（ｔ）在观测点｛ｔ　＝１，一・，ｍ　｝上的实际取值。　由上述定义可知，ＦＤＡ的核心思想是将离散数　据视作具有内在统一结构的函数整体，而不仅仅是　个体观测值的顺序排列。“函数”是指数据的内在　本征结构，而非其外在的表现形式。　（ｔ）可以在区　间［０，Ｔ］上任意取值，若将函数的每一取值对应于　多元分析的一维变量，则取值的无限可能构成了函　数型数据的无穷维特征。实际问题中，函数型数据　往往是函数在有限时点的离散取值，所以ＦＤＡ的首　要工作是由离散观测值　重构隐含在其中的本征　函数Ｘ　（ｔ），主要有如下两种形式：　①样本观测值是本征函数无误差的离散实现，　即：Ｘ　：Ｘ　（ｔ　）　：１，…，ｍ　（１）　②样本观测值是本征函数带有噪音的离散实　现，即：Ｘ　：Ｘ　（ｔ　）＋８　＿『＝１，…，ｍ　（２）　通常称①为插值（ｉｎｔｅｒｐｏｌａｔｉｏｎ），称②为平滑　（ｓｍｏｏｔｈｉｎｇ）。基于实际问题的普遍性考虑，样本观　测值多是本征函数带有噪音的离散实现，本文主要　基于第②种形式进行讨论。假定　（ｔ）：｛　．（ｔ），　…，　．（ｔ）｝为日中的最优基函数（假定存在），则基　函数展开的函数化一般形式为：　Ｌ　置（￡）＝∑＆　（￡）：　（　）＆ｉ　（３）　其中＆　＝（　。，…，　）　＝（　）　Ｘ　ｉ，　：　｛　ｚ（ｔｌｆ）：１　≤Ｊ≤　ｍｆ，１　≤　Ｚ≤Ｌ｝，　第３２卷第４期　王德青等：基于自适应迭代更新的函数型数据聚类方法研究　・９３・　＝（Ｘ　…，Ｘ　）　。需要说明的是，式（３）的离散数　表示类别ｃ的总误差平方和，进一步定义逼近敏感　度为　＝　据函数化并不限定所有函数在区间［０，Ｔ］内规则　取样，即允许ｔ　≠ｔ　和ｍ　≠ｍ　。与传统数据分析　方法相比，ＦＤＡ能够处理不规则观测的稀疏性数　据，放松了数据采集的结构约束和分布假设，对实际　（６）　对于事先给定的阈值ｒ。，选择展开项数目Ｍ。　的标准为　问题刻画的灵活性和全面性使得ＦＤＡ具有普遍适　用性；进一步地，由离散的静态观测数据重构出本征　Ｍ　＝ｍａｘ｛　：Ｄ　≥丁Ｄ，Ｋ＝０，１，…｝　（７）　函数后，则可以基于本征函数的高阶导数进行多角　度的动态分析，信息挖掘的深度明显提升。　数学意义上，式（６）、式（７）意味着前　个展开　项对于逼近原函数贡献显著，但Ｍ　＋１个之后的展　开项作用不明显。需要说明的是，迭代更新过程中　三、自适应迭代更新聚类分析　（一）基本思想与方法原理　可能随类别函数构成的变化而变化，但在给定阈　值１＿。及式（６）、式（７）的限制条件下，每一步迭代更　新过程中提取的信息含量始终具有可比性。在上述　逼近准则下，不妨记类别Ｃ的截断Ｋａｒｈｕｎｅｎ．Ｌｏ￣ｖｅ　展开为：　Ｍｃ　设函数集合　（　）由Ｈｉｌｂｅｒｔ空间的．，个二次可　积随机过程混合而成，记混合过程的均值函数为　（　）＝Ｅ［　（ｔ）］，协方差算子为Ｇ（ｓ，　）　＝　ＣＯＶ［　（ｓ），Ｘ（ｔ）］，由Ｍｅｒｃｅｒ引理则　（ｔ）的　Ｋａｒｈｕｎｅｎ．Ｌｏ￣ｖｅ展开存在并可表示为…　’（￡）＝　（￡）＋∑　质上属于类别ｃ，则　￡）　（８）　对于任意给定的随机函数Ｘ（ｔ），如果Ｘ（ｔ）本　（ｔ）＝ｂｅ（ｔ）＋∑　（　）　（ｆ）　（４）　其中　（ｔ）为Ｇ的第ｋ大特征根Ａ　（假定Ａ　≥　Ａ，≥…）对应的主成分特征函数，并且彼此之间标　准正交；　（　）为　（ｚ）一　（　）在　（ｚ）方向上的主　（ｔ）近似为　（ｔ）的　Ｋａｒｈｕｎｅｎ．Ｌｏ￣ｖｅ展开，否则二者存在显著差异。基　于上述分类准则，展开式　’（ｔ）用作判断　（ｔ）类　别归属的基本模型，即：　ｃ’（　）＝　ａ　ｒｇｍ１｛，…，成分投影得分，满足Ｅ［　］＝０和Ｖａｒ［　］＝Ａ　，并　且　（　）彼此之间相互独立。记Ｃ为Ｘ（ｔ）的类别标　识，每一类别均值函数　应定义为：　ｉｎＪ｝和协方差算子ｒ¨　可相　｛Ｊ０　Ｉｘ（ｔ）一　¨’（　）］ｄ　｝丁（９）　（二）基于自适应权重的初始类中心确定　ｍ¨　（ｔ）＝Ｅ［　（ｔ）ｌ　Ｃ＝ｃ］　上节中聚类算法有效性的前提是假定函数集合　的类别信息事先已知。事实上，函数集合初始类别　划分的科学与否，不仅显著影响迭代更新再分类的　Ｇ　（ｓ，ｔ）＝ＣＯＶ［　（ｓ），Ｘ（ｔ）Ｉ　Ｃ＝ｃ］　仿照混合过程的表示方式，每一类别随机过程　的Ｋａｒｈｕｎｅｎ．Ｌｏ￣ｖｅ展开为　计算量，而且关系到最终分类结果的准确率和可解　释性¨　。为此，本文基于自适应赋权主成分聚类分　析确定初始的类别中心　１３］。　定义２　设　（Ｘ）　＝　｛　，（　），　：（　），…，　Ｘ　（ｔ）＝　“　（￡）＋∑　．ｔ）　（５）　其中特征根、特征函数组合（Ａ　“，　：”）满足　ｒ　（　）｝为函数集合｛　（ｔ），ｉ＝１，…，ｎ｝按累积方　差贡献率超过给定阈值ｒ　截断的前　个主成分得　㈠ｒ（ｓ，ｔ）　（　）＝Ａ　妒：　（ｓ）。注意到式（５）的展　开项是无穷维的，为了简化迭代更新再分类过程中　分变量，即∑　Ａ／∑　Ａ，≥ｒ　，假定Ａ。≥…≥　Ａ　为随机变量　。（　），　（　），…，　（　）对应的方　的运算量，实际应用时只需由数据信息自适应选择　信息含量最大的部分展开项。具体地，对于样本容量　为ｎ　的类别ｃ，　（￡）：　’（ｆ）＋∑：：。器’　：　（ｔ）表示式（５）中用　个展开项对函数　：　（ｔ）　．差排列顺序，令　＝ＡＩ／∑二。ＡＪ（１≤ｋ≤肘）为　（　）的距离权重，称　ｒ　叱［　（　）］＝｛∑　（　一　）］　）Ｔ　（１０）　为函数　（ｆ）、　（ｆ）之间的自适应权重距离。　的截断逼近，则　’＝∑　【［　（ｔ）一　（ｔ）］　ｄｔ　・９４・　统计研究　２０１５年４月　距离度量是聚类分析有效性的关键前提。相对　（四）算法步骤与优势分析　考虑将函数集合｛ｘ　（ｔ），ｉ＝１，…，ｎ｝划分为．，　传统的多元聚类分析相似性测度，式（１０）借鉴综合　评价的“拉开档次法”对不同主成分按其重要程度　进行自适应赋权¨　，不仅体现了主成分得分信息含　量大小的差异，而且赋权标准客观合理。以式（１０）　为函数型数据的相似性度量，运用传统的Ｋ－ｍｅａｎｓ　类的情况，算法步骤如下。　步骤１　非参数方法估计混合过程的均值函数　（ｔ）和协方差算子Ｇ（ｓ，ｔ）…¨　；　步骤２　对混合过程　．￡．展开，并依据阈值ｒ　选取前Ｍ个｛Ａ　，　（Ｘ）｝组合；　聚类分析算法则可以将随机函数集合｛Ｘ　（ｔ），ｉ　＝１，…，ｎ｝进行初始的类别划分，不妨记｛　ｉ（ｔ），ｉ　＝１，…，ｎ｝的初始分类结果为ｇ　∈｛１，…，．，｝（　＝１，…，ｎ）。　步骤３　依据特征根Ａ　计算主成分得分变量　（　）的距离权重　；　步骤４　以式（１０）为统计量进行函数集合的　初始类别划分，记作ｇ　∈｛１，…，．，｝；　（三）迭代更新再分类　基于自适应赋权主成分聚类分析的初始类别划　分，则可以利用每一类别的均值函数　、协方差算　子Ｇ　’以及式（９）为划分标准对分类结果进行迭代　优化。具体地，令ｇ　∈｛１，…，．，｝表示函数Ｘ　（ｔ）　在第Ｚ次迭代更新后的类别划分结果，给定所有函　步骤５　给定阈值．ｒ。，对每一类别依据式（７）　选取展开项，按式（８）逼近；　步骤６　依据式（１１）计算Ｘｉ（ｔ）在每一类别中　的预测值；　步骤７　依据式（１２）判断Ｘ　（￡）的新类别归　数的分类结果集合为Ｇ“’＝｛ｇ　，ｉ＝１，…，ｎ｝，记　）属，记第ｚ次优化结果为Ｇ“’＝｛ｇ　｝；　步骤８　迭代更新所有函数的再分类结果；　步骤９　重复步骤４～８，若Ｇ　“’＝Ｇ　’则停　（ｔ）、　）（ｔ）为每一类别中不包含函数Ｘ　（￡）　的均值函数和特征函数。利用类别Ｃ∈｛１，…，．，｝　的Ｋａｒｈｕｎｅｎ－Ｌｏ￣ｖｅ展开信息计算函数ｘ　（ｔ）在每一　类别中的预测值　（￡），即：　止迭代，并输出Ｇ　＝｛ｇ　｝。　本文拓展的函数型自适应迭代更新聚类分析有　（。）＝五　（　）＋　ｒ　ｆ）　（１１）　机集成了自适应权重聚类分析、迭代更新优化分类　等多种分类模型的长处，并且有充分的理论基础保　证方法融合的必要性和合理性。与同类方法相比其　核心优势在于：　其中　：【［　（ｔ）一　（ｔ）］　）（ｆ）ｄｔ　表示函数　（ｆ）在每一类别函数集合中的　Ｋａｒｈｕｎｅｎ—Ｌｏ￣ｖｅ展开系数，也即　ｉ（ｔ）在类别ｃ中　的第ｋ个主成分投影得分。需要注意的是，只有包　（１）秉承了ＦＤＡ以函数整体为分析对象的基本　思想，能够处理不规则观测的稀疏数据分类问题，聚　类模型的普遍适用性更广。　（２）离散数据的函数化过程由数据信息自行决　定，避免了人为选择基函数的主观任意性。　含函数　（￡）的类别才需要重新计算　；　和　（ｔ），而其他类别函数集合的均值函数和主　成分特征函数并未发生变化。此时，依据式（９）的　类别划分标准对函数　（ｆ）的类别归属进行迭代　（３）初始类别中心确定时，对不同聚类指标按　优化，不妨记函数Ｘ　（ｔ）第￡＋１次迭代优化后的　聚类分析结果为　ｒ　２　，　其重要程度自适应赋权，并且权重源于数据信息，赋　权标准客观合理，初始分类的准确性和可解释性　提升。　ｇ　“’：　ａ　ｒｍｇ１．｛…ｉｎ　｛Ｊ０［　（ｆ）一　：　（ｆ）］ｄｔ｝寺（１２）　（４）迭代更新再分类的每一步都充分利用函数　集合的均值函数、协方差算子等参数信息，并且迭代　更新过程中提取的信息自适应确定，始终保持可　比性。　迭代更新所有函数的类别归属，并记函数集合　｛置（ｔ），ｉ＝１，…，ｎ｝的第ｚ＋１次迭代后的分类结　果为Ｇ““　＝　｛ｇ　¨，ｉ＝１，…，ｎ｝。若Ｇ　“’　＝Ｇ　’（即聚类划分不再改变）则停止迭代更　１，…，ｎ｝。　（５）最终的类别划分是多种分类模型迭代更新　再分类的优化结果，聚类分析的稳健性和信息挖掘　的深度提升。　新＂　，并判断最终的聚类分析结果为Ｇ　：｛ｇ　，ｉ　＝第３２卷第４期　王德青等：基于自适应迭代更新的函数型数据聚类方法研究　・９５・　四、模拟分析与实证检验　（ｋｍｅａｎｓ—ＰＣＡ，Ｋ．ＰＣＡ）　、基于Ｋａｒｈｕｎｅｎ．Ｌｏ￣ｖｅ展　开的投影得分自适应赋权聚类分析（ｋｍｅａｎｓ．　（一）随机模拟试验设计　ＡＷＰＣＡ，Ｋ－ＡＷＰＣＡ）¨　、主成分得分迭代更新聚类　如何生成具有函数特征的离散数据是本试验的　分析（ｋｍｅａｎｓ—Ｆｕｎｃｔｉｏｎａｌ　Ｃｌｕｓｔｅｒｉｎｇ，Ｋ—ＦＣ）川　以及　关键所在。参阅现有研究文献的模拟思路……　，　本文的自适应迭代更新聚类分析（ｋｍｅａｎｓ．　两类别函数型数据的生成模型如式（１３）。　Ａｄａｐｔｉｖｅｌｙ　Ｗｅｉｇｈｔｉｎｇ　Ｆｕｎｃｔｉｏｎａｌ　Ｃｌｕｓｔｅｒｉｎｇ，Ｋ－ＡＷ　Ｍｃ　ＦＣ）。在由离散值通过样条基函数展开重构本征函　＝　（　玎）＋∑　ｋ＝ｌ　ｔｑ）＋ｅ　数时，出于逼近精度考虑选择与观测时点相等的　ｉ＝１，…，ｎ　；Ｃ　Ｅ｛１，２｝　（１３）　２００个节点　。在对混合过程的均值函数和协方　其中系数变量　’独立同分布生成于Ｎ（０，　差算子进行估计时，选择局部多项式回归的非参数　Ａ　）；ｅｉ　为随机误差，由正态分布Ｎ（０，ｏｒ　）独立生　方法¨　。设定阈值　：０．９，则提取的前两个投影　成；ｔ　为观测时点，为了保证经典聚类算法的可应用　得分能够反映原始函数集合的核心信息，以ｃ１情　性，令ｔ　在区间［０，１］上２００时点等间隔规则分布；　况为示例构造其投影得分分布。设定阈值　＝０．　令均值函数分别为ｍ．（ｔ）＝４（ｔ一０．５）　＋１，　２，迭代更新再分类过程中每一类别自适应选取的　ｍ２（ｔ）：２．５ｅｘｐ｛一２５（ｔ一０．２５）　｝＋２ｅｘｐ｛一５０　主成分个数均不超过两个，并且迭代过程中的信息　（ｔ一０．７５）　｝，ｍ０（￡）＝一２（ｔ一０．５）　＋ｔ；正交特征　提取由数据自行确定，保持了信息含量的可比性。　函数分别为　ｌ。（ｔ）＝√２ｓｉｎ（＂ｉｆｔ），　ｌ２（ｔ）＝√２ｃＯＳ（７ｒ　），　在上述参数设置下，分别应用６种聚类模型对模拟　２ｌ（ｔ）＝　ｓｉｎ（２１ｒｔ），　２２（ｔ）＝√２ｃｏｓ（２ｃｒｔ）。在本实　数据进行类别划分，将分类结果与预知的类别属性　对比则可计算分类正确率。重复数据模拟和聚类分　验中，为了使模拟的函数型数据具有广泛的代表性，　均值函数的生成原则分别为完全相同、垂直平移和　析类别划分１００次，对比不同聚类模型的分类结果。　完全不同三种设计；同时，为了对比不同噪音扰动下　以ｃ．情况为例的数据分布特征形象说明了两　个方向投影得分信息含量的显著差异，并且这种差　模型分类结果的稳健性，ｒｏ　分别选取０、０．５、１、２四　异显著的分布特征在不同数据生成情形下保持不　种情况。在上述符号约定下，两类函数型数据的组　变，印证了式（１０）对不同投影得分自适应赋权的必　合生成方式如表１所示。　要性和合理性。由聚类模型的分类效果对比可以看　表１　函数型数据的模拟设计　出：横向角度上，本文提出的自适应迭代更新聚类分　均值函数设计　随机测量误差　特征函数空间　Ｃ１ａ：　＝０　Ｓ‘”＝ｓｐａｎ［妒ｌＩ（ｔ），　ｌ２（　）］　析分类正确率在所有情况下均最高，特别是随着噪　Ｃ１ｂ：　＝０．５　Ｓ‘　＝ｓｐａｎ［　２ｌ（ｔ），　２２（￡）］　Ｃ１：　音扰动的加大，新方法的分类效果优势更为突出，印　Ｃｌｃ：０．２：１　ＣＩｄ：　２＝２　Ａ‘　＝（Ｏ．４，０．３）　证了新方法的有效性和相对优良性；纵向角度上，随　Ｃ２ａ：　＝０　着噪音扰动的加强，不同聚类模型的分类正确率均　Ｃ２：　Ｃ２ｂ：　＝０．５　Ａ（　）＝（Ｏ．２，０．１）　下降，说明函数化之前对离散数据进行降噪是必要　肛（”＋１＝Ｉｔ（　）＝ｍ０　Ｃ２ｃ：　２：１　Ｃ２ｄ：０．２＝２　～Ｎ（０，＾　）　的，同时相对于其他聚类分析而言，新方法在应对噪　Ｃ３口：　＝０　音变化时具有更强的稳健性。　Ｃ３：　（”＝ｍｌ，Ｉ．ｔ（２）　Ｇ３ｂ：ｏｒ　＝０．５　Ｉ三）应用举例　：ｍ—　Ｃ３ｃ：　＝１　为说明本文自适应迭代更新聚类分析在实际应　Ｃ３ｄ：　：２　用中的有效性和相对优良性，现以达能集团的面团用　（二）模型优良性的对比分析　途分类为例进行分析。数据来源于文献［１６］，采样频　基于表１的蒙特卡洛模拟设计，每类函数型数　率为２次／秒，共２４１个点，根据工艺标准面团属性先　据生成１００个样本进行测试。模型分别采用基于离　验判定为Ｇｏｏｄ、Ｂａｄ和Ａａｊｕｓｔａｂｌｅ，样本量分别为５０、　散观测值的传统聚类分析（ｋｍｅａｎｓ—Ｙ，Ｋ—Ｙ）　、基于　４０、２５。按照聚类分析算法步骤，进行数据预处理。　样条基函数的聚类分析（ｋｍｅａｎｓ—Ｓｐｌｉｎｅ，Ｋ—Ｓ）　、基　分析结果显示，前两个投影值变量已涵盖原始　于Ｋａｒｈｕｎｅｎ．Ｌｏ￣ｖｅ展开的投影得分等权聚类分析　数据９３．８９％的信息含量，故提取前两个投影值即　・９６・　统计研究　２０１５年４月　可以６．１１％的信息损失将２４１维的高维空间降至　可视化的二维空间。需要注意的是，第一主成分投　［５］Ｊａｎｋ　Ｗ，Ｓｈｍｕｅｌｉ　Ｇ，Ｚｈａｎｇ　Ｓ．Ａ　ｆｌｅｘｉｂｌｅ　ｍｏｄｅｌ　ｏｒｆ　ｅｓｔｉｍａｔｉｎｇ　ｐｒｉｃｅ　ｄｙｎａｍｉｃｓ　ｉｎ　ｏｎ・ｌｉｎｅ　ａｕｃｔｉｏｎｓ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ｒｏｙａｌ　Ｓｔａｔｉｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ：Ｓｅｒｉｅｓ　Ｃ，２００７，５９（５）：７８ｌ一８０４．　影得分的信息含量是第二主成分投影得分的１８倍　之多在散点图中表现为第一主成分投影方向上的数　据分布更分散，不同属性面团之间的类别界限相对　更明显，说明两个主成分投影得分区分样本的能力　［６］Ｚｈａｎｇ，Ｓ．，Ｗ．Ｊａｎｋ，ｅｔ　ａ１．Ｒｅａｌ－Ｔｉｍｅ　Ｆｏｒｅｃａｓｔｉｎｇ　ｏｆ　Ｏｎｌｉｎｅ　Ａｕｃｔｉｏｎｓ　ｖｉａ　Ｆｕｎｃｔｉｏｎａｌ　Ｋ－Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｆｏｒｅｃａｓｔｉｎｇ，２０１０（２６）：６６６—６８３．　［７］朱建平，陈民垦．面板数据的聚类分析及其应用［Ｊ］．统计研　究，２００７，２４（４）：ｌ１—１４．　存在显著差异。为增强不同聚类模型的对比效果，　统一采用欧氏距离为相似性测度、组间联结为类别　［８］Ｂｅｎｓｍａｉｌ　Ｈ，Ａｒｕｎａ　Ｂ，Ｓｅｍｍｅｓ　Ｊ，ｅｔ　ａ１．Ｆｕｎｃｔｉｏｎａｌ　ｃｌｕｓｔｅｒｉｎｇ　划分标准将面团聚为三类。　对比６种聚类方法对实际数据的应用效果可以　发现，相对现有的同类函数型聚类分析，自适应迭代　更新聚类分析的平均分类正确率最高；特别是，除在　划分“Ｇｏｏｄ”、“Ｂａｄ”两类差异明显的面团优势显著　外，新方法对特征区别不明显的“Ａｄｊｕｓｔａｂｌｅ”面团分　类效果优势更为突出，体现出新方法在低信噪比复　杂函数型分类问题下具有更广的普遍适用性，这与　模拟试验的结论一致。综上分析印证了本文所提新　方法的合理性、相对优良性和普遍适用性。　五、结束语　本文在界定函数型数据概念、内涵及与传统数　据分析区别的基础上，提出了一种自适应迭代更新　聚类分析。新方法与同类方法相比其核心优势在　于：以函数整体为分析对象，通过必要的累进变换有　机集成了多个理论和方法的长处，并且方法的每一　步都有理论保证，有着复杂函数型分类问题下的普　遍适用性。以分类正确率为评判标准，随机模拟试　验和实际案例应用印证了本文方法相对已有同类方　法的优良性。作为后续研究，可在本文方法基础上，　进一步探讨函数化之前对离散数据降噪的必要性及　其工具创新。　参考文献　［１］Ｈｕ　Ｙ，Ｈｅ　ｘＭ，Ｔａｏ　Ｊ，ｅｔ　ａ１．Ｍｏｄｅｌｉｎｇ　ａｎｄ　ｐｒｅｄｉｃｔｉｏｎ　ｏｆ　ｃｈｉｌｄｒｅｎ’　ｓ　ｇｒｏｗｔｈ　ｄａｔａ　ｖｉａ　ｆｕｎｃｔｉｏｎａｌ　ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ［Ｊ］．　Ｓｃｉｅｎｃｅ　ｉｎ　Ｃｈｉｎａ　Ｓｅｒｉｅｓ：Ｍａｔｈｅｍａｔｉｃｓ，２００９，５２（６）：１３４２　—１３５０．　［２］王勘，黄可飞，王惠文．一种函数型数据的聚类分析方法［Ｊ］．数　理统计与管理，２００９，２８（５）：８３９—８４４．　［３］Ｍａｉｌｅｒ　Ｈ　Ｇ，Ｓｅｎ　Ｒ，Ｓｔａｄｔｍａｌｌｅｒ　Ｕ．Ｆｕｎｃｔｉｏｎａｌ　ｄａｔａ　ａｎａｌｙｓｉｓ　ｆｏｒ　ｖｏｌａｔｉｌｉｔｙ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ｅｃｏｎｏｍｅｔｉｒｃｓ，２０１　１（１６５）：２３３　—２４５．　［４］郭均鹏，孙钦堂，李汶华．Ｓｈｉｂｏｒ市场中各期限利率波动模式分　析一基于ＦＰＣＡ方法［Ｊ］．系统工程，２０１２，３０（１２）：８４—８８．　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌ　ｐｒｏｔｅｏｍｉｃｓ　ｄａｔａ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｂｉｏｍｅｄｉｃｉｎｅ　ａｎｄ　Ｂｉｏｔｅｃｈｎｏｌｏｇｙ，２００５（２）：８０—８６．　［９］Ａｂｒａｈａｍ　Ｃ，Ｃｏｒｎｉｌｌｏｎ　Ｐ　Ａ，Ｍａｔｚｎｅｒ　Ｌ　Ｅ．Ｕｎｓｕｐｅｒｖｉｓｅｄ　ｃｕｉ＇ｖｅ　ｃｌｕｓｔｅｒｉｎｇ　ｕｓｉｎｇ　Ｂ—ｓｐｌｉｎｅ［Ｊ］．Ｓｃａｎｄｉｎａｖｉａｎ　Ｊｏｕｒｎａｌ　ｏｆ　Ｓｔａｔｉｓｔｉｃｓ　ｔｈｅｏｒｙ　ａｎｄ　ｍｅｔｈｏｄｓ，２００３，３Ｏ（３）：５８１—５９５．　［１０］Ｈｅｃｋｍａｎ　Ｎ　Ｅ，Ｚａｍａｒ　Ｒ　Ｈ．Ｃｏｍｐａｒｉｎｇ　ｔｈｅ　ｓｈａｐｅｓ　ｏｆ　ｒｅｇｒｅｓｓｉｏｎ　ｆｕｎｃｔｉｏｎｓ［Ｊ］．Ｂｉｏｍｅｔｒｉｋａ，２０００，８７（１）：１３５—１４４．　［１　１］Ｃｈｉｏｕ　Ｊ　Ｍ，Ｌｉ　Ｐ　Ｌ．Ｆｕｎｃｔｉｏｎａｌ　ｃｌｕｓｔｅｒｉｎｇ　ａｎｄ　ｉｄｅｎｔｉ￣ｉｎｇ　ｓｕｂｓｔｒｕｃｔｕｒｅｓ　ｏｆ　ｌｏｎｇｉｔｕｄｉｎａｌ　ｄａｔａ［Ｊ］．Ｊｏｕｒｕａｌ　ｏｆ　ｔｈｅ　Ｒｏｙａｌ　Ｓｔａｔｉｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ：Ｓｅｒｉｅｓ　Ｂ，２００７，６９（４）：６７９—６９９．　［１２］Ｊａｃｑｕｅｓ　Ｊ，Ｐｒｅｄａ　Ｃ．Ｍｏｄｅｌ－ｂａｓｅｄ　ｃｌｕｓｔｅｒｉｎｇ　ｆｏｒ　ｍｕｌｔｉｖａｒｉａｔｅ　ｆｕｎｃｔｉｏｎａｌ　ｄａｔａ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｓｔａｔｉｓｔｉｃｓ　ａｎｄ　Ｄａｔａ　Ａｎａｌｙｓｉｓ。　２０１４（７１）：９２—１０６．　［１３］王德青，朱建平，谢邦昌．主成分聚类分析有效性的思考［Ｊ］．　统计研究，２０１１，２９（１１）：８４—８７．　［１４］郭亚军．一种新的动态综合评价方法［Ｊ］．管理科学学报，２００２，　５（２）：４９—５４．　［１Ｓ］Ｆａｎ　Ｊ　Ｑ，Ｇｉｊｂｅｌｓ　Ｉ．Ｌｏｃａｌ　ｐｏｌｙｎｏｍｉａｌ　ｍｏｄｅｌｉｎｇ　ａｎｄ　ｉｔｓ　ａｐｐｌｉｃａｔｉｏｎ　［Ｍ］．Ｌｏｎｄｏｎ：Ｃｈａｐｍａｎ　ａｎｄ　Ｈａｌｌ，１９９６．　［１６］Ｐｒｅｄａ　Ｃ，Ｓａｐｏ￣ａ　Ｇ，Ｌ６ｖ６ｄｅｒ　Ｃ．ＰＬＳ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｆｕｎｃｔｉｏｎａｌ　ｄａｔａ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｓｔａｔｉｓｔｉｃｓ，２００７（２２）：２２３—２３５．　作者简介　王德青，男，１９８３年生，汉族，山东青岛人，２０１４年毕业　于厦门大学经济学院，获经济学博士学位，现为中国矿业大　学管理学院助理教授、厦门大学数据挖掘研究中心兼职研究　人员。研究方向为数据挖掘、函数型数据分析。　刘晓葳，男，１９８７年生，汉族，陕西西安人，现为厦门大　学经济学院统计系、厦门大学数据挖掘研究中心博士研究　生。研究方向为数据挖掘、大数据分析。　朱建平，男，１９６２年生，汉族，河南浚县人，２００３年获南　开大学理学博士学位，现为厦门大学两岸关系和平发展协同　创新中心和经济学院教授，博士生导师，厦门大学数据挖掘　研究中心主任。中国统计学会副会长、教育部高等学校统计　学类专业教学指导委员会秘书长、中国统计教育学会常务理　事。研究方向为数理统计、数据挖掘。　（责任编辑：方原）