您好,欢迎来到好走旅游网。
搜索
您的当前位置:首页电能质量数据采集策略的研究与实现

电能质量数据采集策略的研究与实现

来源:好走旅游网
计算机与现代化 2010年第8期 JISUANJI YU XIANDAIttUA 总第180期 文章编号:1006-2475(201O)08-0080-05 电能质量数据采集策略的研究与实现 赵东旭 ,马素霞 ,林天华 (1.华北电力大学控制与计算机工程学院,北京102206;2.河北经贸大学信息技术学院,河北石家庄050061) 摘要:电能质量数据采集主要指PQDIF…(Power Quality Data Interchange Format)文件的采集,通过对PQDIF文件的采源 以及电能质量智能信息系统数据需求的研究,给出一种高效可靠的数据采集策略。该策略对PQDIF文件的采集主要包 括自动和手动两种方式。通过对传统多线程fvI’P技术的改进,可以实现采集特定时间段内创建的PQDIF文件,为电能质 量智能信息系统的运行提供实时可靠的基础数据来源。 关键词:PQDIF;m;数据采集;电能质量 中图分类号:TP319 文献标识码:A doi:10.3969/j.issn.1006-2475.2010.08.023 Research and Implementation of Data Acquisition Strategy in Power Quality System ZHAO Dong.XU ,MA Su—xia ,LIN Tian.hua (1.Contml and Computer Engineering Institute,Noah China Electirc Power University,Beijing 102206,China; 2.Cortege of Information and Technology,Hebei University of Economics and Business,Shijiazhuang 050061,China) Abstract:The data acquisition mainly refers to the collection of PQDIF(Power Quality Data Interchange Fomrat)files.In this pa— per,an efifcient and reliable data acquisition strategy is given through analyzing the source of PQDIF files and the data require— ments of Power Quality InteUigent Ifnormation System.The collection strategy of PQDIF files includes both automatic collection and manual collection.The traditional multithreaded f卯technology is improved.thus the PQDIF ifles being created in a certain period time can be collected,which provides the Power Quality Intelligent Information System With reliable and rela—time basis da— ta sources. Key words:PQDIF;FTP;data acquisition;power quality 0 引 言 而为电力公司对电能质量的治理提供科学的决策依 据,并根据数据分析的结果,提前采取积极措施,避免 当今社会飞速发展,人们对能源特别是电力的需 可能发生的电能质量危害。 求日益增大,对电能质量的要求也越来越高。然而电 电能质量智能信息系统的主要数据来源是一些 压暂降和暂升、短时断电、谐波电压以及谐波电流等 PQDIF文件。这些PQDIF文件中保存了PQIIS运行 一系列的电能质量问题时有发生,给用户造成了很大 所需的基础数据 J。如何可靠、及时、高效、智能地 的损失。所以,必须对电能质量进行实时监测、实时 采集PQDIF文件,是本文所要论述的重点。 分析与识别,建立存储容量大、实时更新能力强、浏览 方便、能够实现高速数据流、数据库管理及数据共享 1 电能质量数据采集简介 等功能要求的电能质量智能信息系统(PQIIS) 。 电能质量数据采集是PQIIS的子系统,负责为 电能质量智能信息系统(Power Quality Intelligent PQIIS提供基础的数据来源。电能质量数据采集的 Information System,PQIIS),通过对电能质量进行实时 物理结构如图I所示。数据采集主要指对PQDIF文 监测、实时分析与识别,可从不同侧面了解电压和电 件的采集。首先,在最底层是一系列的监测设备,负 流质量以及系统整体运行的质量状况,可对电能质量 责收集监测数据并打包成统一的PQDIF格式的文 可能造成的危害、影响程度和影响范围做出判断,从 件,上传至PQDIF服务器 J。然后,数据采集子系统 收稿日期:2010-06.13 作者简介:赵东旭(1986.),男,山东聊城人,华 E电力大学控制与计算机工程学院硕士研究生,研究方向:软件工程,数据库 与信息系统;马素霞(1964.),女,教授,硕士,研究方向:软件工程,软件架构及构件技术;林天华(1979一),男,河北经贸大学 信息技术学院高级工程师,硕士,研究方向:软件工程。 , 2010年第8期 赵东旭等:电能质量数据采集策略的研究与实现 负责将PQDIF文件从PQDIF服务器采集至本地(数 据采集服务器)。 图1 电能质量数据采集物理结构图 2数据采集子系统总体设计 数据采集子系统对应图1中椭圆内的部分。监 测设备监测到的样本数据统一打包成PQDIF格式的 文件,并上传至PQDIF服务器,数据采集子系统通过 基于时问段机制的多线程FTP技术将PQDIF服务器 上的PQDIF文件下载至数据采集服务器(本地)。 由于监测设备是源源不断、实时地采集监测数 据,并打包成PQDIF文件上传至PQDIF服务器的, PQDIF服务器中的PQDIF文件也是不断更新和变化 的,所以为了保证PQDIF文件的采集不出现遗漏、重 复等问题,也为了保证本地基础数据库中数据的实时 性和非冗余性,系统采用了基于文件创建时间的自动 和手动采集策略,这两种采集方式的实现都采用了基 于时间段机制的多线程FTP技术。由于是从PQDIF 服务器上下载PQDIF文件,因此对于采集程序来说, PQDIF服务器就是FTP服务器。 系统开发环境为.NET,开发语言是c#。 2.1系统功能结构设计 数据采集子系统主要包括5个功能模块,分别 是:服务器配置管理、采集策略管理、自动采集、手动 采集、日志管理。功能结构如图2所示。 各功能模块说明如下: (1)服务器配置管理:管理FTP服务器信息,包 括对FTP服务器的增加、修改、查看、删除等。订P服 务器信息包括服务器名称、IP地址、端口号、FrP用户 名、密码、文件保存位置等。所有配置信息都保存在 XML配置文件中 。 图2文件采集子系统功能结构图 (2)采集策略管理:设置自动采集的时间间隔和 丌、P下载时的线程并发数目。采集策略信息和服务 器配置信息保存在同一个XML文件中。 (3)自动采集:系统自动定时采集PQDIF文件。 通过使用Windows服务,每隔一定的时问间隔,系统 就自动地执行一次文件采集操作,并将文件采集情况 存入日志文件。其中,时问间隔在采集策略管理模块 可以自行设置。 (4)手动采集:用户通过图形界面,选择某些FTP 服务器,选择某个时问段,点击采集按钮,系统将立即 执行对该时问段内所创建的PQDIF文件的采集操 作,并将采集情况存入日志文件。 (5)日志管理:用户可以查看日志内容,并可以 选择删除。日志内容为自动和手动采集的情况,包括 采集时间、采集的m服务器(多个)、FTP服务器下 的PQDIF文件以及文件的属性信息。 在这5个功能模块中,最核心的是自动采集和手 动采集两个模块。下面将分别介绍这两个模块的实 现方法。 2.2自动采集 自动采集是通过Windows服务来实现的。Win— dows服务指的是操作系统启动时可以自动启动的应 用程序,可以暂停和重新启动而且不显示任何用户 界面 。 自动采集的执行流程:创建并安装Windows服务 应用程序,在该程序中设置一个定时器Timer,每隔一 段固定的时间问隔,定时器便会触发它的Timer_Tick 事件,该事件则调用相关的文件采集程序,对所有的 FTP服务器进行文件采集操作。 定时器触发Timer_.Tick事件的时间间隔是由它的 Interval属性决定的。在服务启动后,程序将会首先访 问保存文件采集策略的XML文件,取出自动下载时问 问隔(单位:小时)的数值,将该数值(小时)转换成毫 秒,然后赋给定时器的Interval属性,Interval的值就是 定时器定时触发Timer_rrick事件的时间间隔。 计算机与现代化 2010年第8期 为了避免上面所提出的可能出现的文件遗漏、 复等问题,必须记录文件是否已经被采集过,若采集 过,就不能重复采集。实现机制是为每个FTP服务 手动采集的流程是这样的:用户首先选择FTP 服务器站点(PQDIF服务器),然后,选择下载时间 段,点击“开始下载”按钮,系统便开始执行文件采集 操作,并在右边的下载文件列表中显示出各个FTP 器站点设置一个标志时问点FlagTime,它表示该fvrP 服务器上次执行采集操作的时间。采集开始时,记录 当前系统时间,用CurrentTime表示,然后采集文件创 建时间介于时间点FlagTime和CurrentTime之间的 PQDIF文件。采集完毕,将该胛P服务器站点的 服务器下满足条件的PQDIF文件(.pqd文件)的基 本信息。采集完毕,系统将此次文件采集的情况保存 至日志文件。其中,手动采集和自动采集的日志存储 使用同一个XML文件。 手动采集的下载时问段机制同自动采集的有些 FlagTime重新赋值为CurrentTime并保存至 XML配 置文件,以作为下次自动采集时的标志时问点。XML 配置文件内容截图如网3所示。 图3 XML配置文件内容截图 采集完毕,将本次采集的情况保存至日志文件, 此处的13志内容采用XML文件存储。 2.3手动采集 相对自动采集,手动采集增加了更多的灵活性, 用户可以随时进行文件采集操作,而且可以选择某些 FTP服务器上的某段时间内创建的PgDIF文件进行 采集操作,可以作为自动采集的一种补充。同时,手 动采集为用户提供了用户界面,用户可以对该次文件 采集进行直观的把握。系统运行界面如图4所示。 图4手动采集用户界面截图 区别,自动采集的时问段选择都是自动实现的,而且 需要为每一个fTrP服务器保存一个标志时间点Flag. Time。而手动采集的时间段是用户自行选择的,它并 不需要存储任何的标志时间点。所以,采集完毕后, 系统只需更新日志文件,而不需修改配置文件。 3基于时间段机制的多线程FTP 从以上对自动采集和手动采集的分析可以看出, 两者的实现关键都是下载时间段问题,只是两者确定 时间段的机制有所不同。确定时间段后,如何获取正 确的文件创建时间,以及判断文件的创建时间是否在 这个时间段之内,这是非常关键的问题。 虽然现在m客户端软件比较多,技术也比较 成熟,但都没有能够解决本文提出的这个问题,而且 不同的丌P服务器软件对目录格式的支持具有差异 性,所以本文对传统的多线程订P机制进行了改进, 很好地解决了这个问题。下面将介绍实现中的几个 关键点。 3.1 FTP目录输出样式 由于PQDIF文件的采集是基于时间段机制的, 所以必须要取得FTP服务器上PQDIF文件的创建时 间。其实,FTP服务器已经为客户端提供了获取文件 的创建时间的命令。即当客户端向服务器发送List 命令后,服务器会返回该目录下所有文件的基本信 息,包括文件名、文件最后修改时间、文件大小等属性 信息 。在本系统中,对于PQDIF文件来说,最后修 改时问就是创建时间。所以只需要截取这个最后修 改时问即可。但不同的肿服务器返回的文件信息 的格式是不一样的,这个格式就是目录输出样式。 n1P目录输出样式是指当客户端向服务器发出 List命令后,服务器返回该目录的文件信息列表,每 个文件对应一行信息。目录输出样式可以细分为三 种:Unix文件格式、Dos文件格式和MS—Dos(IIS)文件 格式。它们的格式分别如下面的例子所示。 (1)UNIX文件格式 。 2010年第8期 赵东旭等:电能质量数据采集策略的研究与实现83 下面以两个PQDIF文件(.pqd)为例,解释UNIX 的代码用来判断文件创建时问是否在该时间段之中: 格式的文件信息,如表l所示。 文件1:.rw.rw—rw一1 user group 49908 Jan 19 08:48 sam- ple310——DataNode.pqd 文件2:一m一Ⅲ一Ⅲ一1 user group 365156 Jun 20 2008兴城站 月期数据.pqd 表1 UNIX文件格式示例 文件属性值 说明 文件1 文件2 文件的类型以及文件权限 l 1 文件的链接数目 文件的所有者 group group 文件所有者从属的组 49908 365156 文件的大小(以字节计算) Jan 19 08:48 Jun 20 2008 文件最后修改时间(即文件 创建时问) sample310DataNode.pqd 兴城站—周期数据.pqd 文件名 由表1可见,UNIX格式的文件的创建时间格式 有两种,而且不确定,有时只能取到日期,但取不到具 体的时间点,所以,这种格式不符合本文的要求。 (2)MS—Dos(IIS)和Dos文件格式。 对同—个PQDIF文件,取出MS—Dos和Dos两种文 件格式下的文件信息,并进行解释和对比,如表2所示。 @MS—DOS(IIS)文件格式: 10-04-02 05:35AM 522104兴城站一波形数据.pqd ⑦Dos格式。 10/04/2002 05:35 AM 522,104兴城站一波形数据.pqd 表2 MS—Dos(IIS)和Dos文件格式示例 文件格式 说明 MS Dos(IIS) Dos l004-02 05 135AM 10/04/2002 05:35AM 建时间) 文件最后修改时间(即文件包 —522l04 522.140 文件大小(以字节计算) 兴城站一波形数据.pqd 兴城站一波形数据.pqd 文件名 由表2可见,MS.Dos格式和Dos格式除了日期 的表示格式外其余信息完全一样,而且它们的文件创 建时问中既有日期又有时间,是本文所需要的格 式 J。由于Dos格式的日期时间可以直接从字符串 格式转换成DateTime格式,所以选择采用Dos格式, 即架设支持Dos目录输出样式的 服务器,比如 Serv—U 7.0以上版本均支持Dos目录输出样式。 3.2时间段选择机制 前面已经获得了文件的信息列表,通过一些字符 串的操作,就可以将文件的创建时间提取出来,此处 不做解释。文件的创建时间用createTime表示,假设 要下载的文件的时间段是startTime至endTime,下面 //将截取的string类型的文件创建时间createTimeStr转 换成DateTime格式 DateTime createTime=Convert.ToDateTime f createTime- Str); //将createTime同startTime、endTime进行比较,判断文件 是否在该时间段内创建 if f createTime.CompareTo(startTime.Value)>=0&&cre— ateTime.CompareTo(endTime.Value)<O) { …//执行下载操作 } 3.3多线程FTP下载 由于多线程FTP技术已经比较成熟,而且下载 效率比较高,比较符合本系统文件采集的要求,所以, 本系统采用了FrP多线程下载技术来实现PQDIF文 件的采集。有关n’P协议的相关知识此处不再 赘述。 多线程 P下载的实现需要服务器软件和客户 端程序两者的配合,在服务器端需要架设FTP服务 器,本系统采用支持Dos目录输出样式的Serv—U 9. 4.0.2作为FrP服务器软件。在客户端,即运行本客 户端程序。 利用多线程FTP下载文件的过程为: (1)首先读取XML配置文件,得到需要采集的 FrP服务器列表和需要并发的线程数目n。 (2)为每个FI'P服务器创建n个线程,并获取每个 兀P服务器下满足时间段条件的文件列表FileList,每个 F 服务器就会有一个文件列表FileList,对应n个线 程。这样就创建了多个并发执行的线程¨ 。 (3)为了在下载过程中识别文件是否已被下载,为 每个文件设置—个标志变量Hag,用Flag的值表示下载 状态:0代表未下载,1代表下载中,2代表下载完成。 (4)每个线程都会去文件列表FileList中寻找一 个未下载的文件(Flag=0),执行下载单个文件的下 载函数,并将文件状态设置为下载中(Flag=1)。当 一个线程下载完一个文件后,将Flag设置为2,然后 自动去文件列表中寻找下一个未下载(Flag=0)的文 件,若所有的文件均已下载(Flag=2),该线程便结 束。如果某个文件下载失败,会将Flag重置为0,重 新下载。为了防止下载失败而造成死循环,为重新下 载次数设置一个计数器retryNum,若有3次(retry— Num/>3)下载失败,则放弃下载,跳出程序,将失败信 息记录至日志文件。 计算机与现代化 2010年第8期 单个线程下载文件的流程图如图5所示。 的采集。时间段机制保证了所采集的PQDIF文件的 正确性,避免出现遗漏和重复等问题。多线程PIP 技术的应用保证了采集的高效性和高可靠性。手动 采集对自动采集具有补充作用,两种采集方式的配合 使用提高了数据采集的灵活性。系统运行稳定可靠、 灵活高效,为电能质量智能信息系统的数据采集提供 了一种新思路。 参考文献: [1] 丁屹峰,程浩忠,占勇,等.基于PQDIF格式压缩的电能 质量数据模型[J].继电器,2005,33(7):55-58. [2]李曙光.ETL优化技术在构建电能质量数据中心中的研 究实现[D].北京:华北电力大学硕士学位论文,2009. [3]Dabbs William W,Sanbin D Danie1.Representation of IEEE Std 1159.3—20O2 I ̄DIF in Extensible Markup I aIl lage(Ⅺ订L) [C]//Power Engineering Society General Meeting.23O4. [4]李树军,石新春,付超.基于PQDIF的电能质量监测系 统的设计[J].大功率变流技术,2009(2):49-51. [5]桂浩,陈刚,范昊.XML开发技术教程[M].武汉:武汉 大学出版社,2008:1-24. [6]Christian Nagel,Bill Evjen,Jay Glynn.C#高级编程(第4 版)[M].李敏波泽.北京:清华大学出版社,2006: 1151.1171. [7] RFC 959.File Transfer Protocol[S].1985. [8]Paul Love.Unix入门经典[M].张楚雄,许文昭译.北京: 清华大学出版社,2006:45-51. 图5单个线程下载流程图 [9] 快乐天堂.fTrP服务的LIST指令获取的文件列表信息 的解析[EB/OL].http://blog.csdn.net/happyparrot/ar- chive/2005/05/16/375628.aspx,2005-05—16. 4 结束语 数据采集子系统采用基于时间段机制的多线程 FTP技术,通过自动和手动两种方式实现对I ̄DIF文件 [10]Jim Beveridge,Robert Wiener.Win32多线程程序设计 [M].侯捷译.武汉:华中科技大学出版社,2002. (上接第70页) 华大学出版社,2008. [4] 孙卫琴.精通Hibemate——Java对象持久化技术详解 [M].北京:电子工业出版社,2005. [10]尹启飞,王林.基于J2EE技术的供电企业远程教育系统 [J].电力信息化,2009(5):92-94. [5] 白胜普.J2EE企业级应用测试实践[M].北京:清华大 学出版社,2009. [11]苏静.基于J2EE的教务管理系统的研究与设计[J].现 代经济信息,2009(13):280,282. [6]蔡剑,景楠.Java Web应用开发:J2EE和Tomcat(第2 版)[M].北京:清华大学出版社,2005. [7]杨少波.J2EE项Et实训一Hibernate框架技术[M].北京: 清华大学出版社,2008. [8]罗玉玲.J2EE应用开发详解[M].北京:电子工业出版 社,2009. [12]孙华林.基于JSF.Spring—Hibernate架构的研究与应用 [J].信息技术,2009(5):208-211. [13]田秋艳,王蕾,吴庆,等.基于JSF+Spring+Hibernate架 构的教学资源共享平台[J].长春工业大学学报(自然 科学版),2009,30(3):337-340. [14]张飞,张建.基于Spring与Hibemate的数据库访问技术 研究[J].计算机工程与设计,2009(7):1668—1670. [9]余浩东.J2EE应用框架设计与项目开发[M].北京:清 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- haog.cn 版权所有 赣ICP备2024042798号-2

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务