该系统实现了实物资产分析评价过程的自动化，降低了工作难度，提高了工作效率与分析的准确性。目前，该系统已成功在电网企业应用，并在实践中逐步得到了完善，使系统具备广泛的应用前景，亦可为类似大数据分析系统提供参照。
1 电网实物资产分析评价理论基础
电网实物资产管理的目标是实现电网实物资产（技术）状态准确，使资产账簿（账）、资产卡片（卡）、设备台帐（物）动态一致，资产安全完整。电网实物资产评价工作针对资产管理中的核心问题，对电网实物资产规模、资产结构、资产状态、资产效率（负载）、资产缺陷等现状进行分析，同时开展“资产墙”分析、设备的经济寿命分析。
实物资产分析评价是一系列海量数据的获取、分析和展现的过程。首先，确立电网大数据的来源，定义原始数据的来源和收集粒度；然后，建立实物资产分析评价指标体系，明确各指标的定义与计算方法；再次，定义实物资产分析维度，统一多来源的数据的维度值，计算相关指标；最后，设计分析评价结果的展现工具。
1.1 数据来源
实物资产分析评价的来源数据产生于建造、购置、运行、备用、维护、改造、报废等多个环节之中。电网企业实物资产原始数据取自于多个信息化系统，包括：
1）工程生产管理系统（power production mangement system, PMS）2.0。该系统主要汇集了生产类的实物资产设备台账和运行数据，设备台账记录了资产的物理位置、技术型号细节、投运时间、再利用情况等信息。运行数据包括运行状态、健康状态和缺陷记录，生产此部分数据的单位主要是区县级公司。
2）企业资源计划（enterprise resource planning, ERP）系统。该系统主要汇集了实物资产规模、项目、费用数据，资产规模数据包括资产原值、净值和数量，项目数据包括资产新增、报废退役时的项目信息，费用数据主要包括运维成本、大修抢修费用、报废处置成本等。生产此部分数据的单位主要是省级公司和地市级公司。
3）能源管理系统（energy management system, EMS）。该系统提供了主网变压器的运行负载率信息。
4）调度系统。该系统提供了4类主要输电设备的强迫停运数据。
5）营销系统。该系统提供了各级电力公司的售电量数据。
处理来源数据时需要特别注意几个方面：①统一多系统数据的格式，在获取数据后，将数据中的管理单位、分类编码、电压等级、状态、数据时间粒度和数据单位转为相同的编码；②统一数据的统计口径，避免同一资产数据被系统多次重复计数；③清洗异常数据，上述各类业务系统中由于管理、录入等问题，难免会存在一定比例的异常数据，需要在获取后进行识别和清理。
1.2 指标体系
基于资产全寿命周期管理，构建电网实物资产评价分析工作一览图，如图1所示。通过开展电网实物资产评价，一方面为生产经营的中长期规划提供基础信息，为资产管理的持续深化奠定基础，提高资产的利用效率和资产贡献；另一方面为健康运营提供科学管理的策略，优化电网各类设备资产配置。
图1 实物资产分析评价工作一览图
电网实物资产评价分析内容分为5部分，即资产规模结构、资产健康水平、资产利用效率和资产退役报废分析。指标体系是建立在以评价维度为主线的基础之上，对评价维度的深化与丰富。基于“三集五大”体系建设成果，针对评价的四大维度搭建指标体系，如图2所示。
该指标体系基于LCC的思想构建，考虑了资产从采购转资到报废各个环节的关键因素。
1）资产结构。指对电网实物资产的存量、增量从价值规模和技术规模口径进行分析，能够反映企业拥有资产的数量和质量。
图2 实物资产分析评价体系
2）利用效率。指对电网实物其处于运行阶段实物资产的运行效率进行分析。通过对利用效率分析，可以了解资产整体利用状况及单体运行效率，为资产配置优化和提升效率提供数据支撑。
3）健康水平。指对电网实物资产的缺陷以及强迫停运情况进行分析。
4）退役报废。指对电网实物资产中退役报废资产的价值规模水平、处置况以及成因进行分析。
1.3 分析维度
分析维度是相关对象（称为属性）的集合，用于提供有关一个或多个多维数据集中的事实数据的信息。在实物资产分析评价中，主要的分析维度包括地区、公司、年份、资产类型、电压等级、缺陷资产分类、缺陷部位、缺陷责任原因、缺陷技术原因、再利用与备品备件资产分类等基本维度：
①单位维度，是指实物资产的归属单位，在部分系统中称之为利润中心；
②资产类型，是指实物资产在电网中所属的分类；
③电压等级，是指电网运行中所采用的额定电压等级，包括交流与直流2类；
④缺陷部分，是指主变压器、断路器、隔离开关等19类主要运行设备常见缺陷所发生的部位；
⑤缺陷原因，是指19类主要运行设备缺陷产生的具体责任原因和技术原因。
实物资产分析评价的展现方法主要是基于图表的多维度对比展现，如图3所示。通过对实物资产进行多维度的分析，充分地了解整体资产的价值规模和数量规模，对资产目前的利用状态、健康状态和退役报废情况有一个清晰的认识，并且依据获取的多维数据，开展应用设计，深度挖掘资产关联趋势和深层次问题，从而为公司未来决策提供可靠的支持。
图3 实物资产分析评价展现过程
2 系统需求分析和功能设计
2.1 需求分析
实物资产分析评价需要采集多个业务系统数据，并对数据进行统一的数据格式、粒度、单位、维度值转换，实现数据的多维统计、溯源和分析功能。系统的设计要求包括以下4个方面。
1）多层级应用。本系统实现多层级数据管理功能，同时服务于省、市、县公司，提供多维度指标分析。
2）扩展性。系统设计充分考虑了扩展性，以适应新的业务需求，为潜在的新增分析指标做好了扩展兼容准备。
3）实时性。通过系统的建设和实物资产评价，可以做到实时获取原始数据、实时统计分析指标和生成报表报告。
4）闭环管理。采用闭环管理思想，可通过系统反馈资产评价工作优化效果，实现数据获取、资产评价、资产考核、问题改进、任务跟踪和任务比较。
2.2 功能架构
系统所采用的大数据挖掘技术主要体现于多数据源管理、数据清洗和多维分析展现技术。系统的功能包括数据源、数据管理、数据填报、数据展现、报表报告展现和系统管理。系统功能架构如图4所示。
图4 系统功能架构图
来源数据是系统外部数据经过数据源模块加工后获取的数据，在系统中以虚拟的数据表形式存在。分析评价工作是以ERP-AM/PM、PMS、EMS、输变电设备可靠性管理系统等系统中的数据作为基础的，因此需要实现从多种系统中获取数据的功能。
本系统将数据的管理对象定义为来源数据、数据中心中间表数据、基本维度数据、系统配置数据和输出数据5个部分，根据数据的特点设计存储和操作管理方案。
数据中心中间表数据是经过转换和清洗后，以实物资产分析指标体系构建的中间表数据，其特点为数据与分析所需的最小粒度、分类编码一致。基本维度数据是指所有的维度表，包括公司维度表、资产分类维度表等，用于对系统进行维度转换的统一。系统配置数据包括数据展现视图、数据报表和报告结构定义数据，用于控制数据输出内容。
数据输出数据以实物资产分析框架为主题建立，用于保存经过分析处理后的数据。通过对业务数据源数据的转换、清理和加载后，系统中形成原始模型数据，用于报表和报告的最小数据粒度数据。通过原始模型数据和维度数据及指标数据构建纵横交织表格视图，形成结果数据模型。
2.3 数据库设计
采用非关系型数据库与传统的数据库实体关系模型（E-R）的实现方式不同。本系统的数据库结构是一种流程化的模块，如图5所示。
图5 数据库结构图
其中原始数据表是对应的外部业务系统数据，包括了Web应用程序连接、DB连接、Excel文件连接3种方式。中间表是依托于原始数据进行创建的，在创建之前需根据需求在数据库中定义好字段，可将多张原始数据表进行整合成需要的中间表。中间表是结果表及透视表的基础。
结果表是以中间表为基础，在创建之前需先根据需求在数据库中定义好字段，对中间表的数据进行初步计算，得到需求数据。结果表与中间表数据是以指标属性进行关联的。
透视表是根据页面展示需求，确定需要展示的数据，再依托于中间表、结果表进行计算处理，输出最后满足需求的数据。
3 系统实现
3.1 系统架构
本系统采用了轻量级Java企业版（Java platform, enterprise edition, Java EE）架构设计，底层使用Spring、Struts2和Hibernate框架进行支撑和B/S架构设计，易于部署，免安装客户端，方便升级维护。该方案对软硬件环境的要求低，且开发效率高，是当前主流的Web应用开发框架。
基于Java EE的Web工程需要一个容器，本系统所选用的Web容器为Tomcat。Tomcat就是JSP/servlet容器，它实现了Java EE的一些接口，具有高性能、高并发、低成本等特性。此外，系统采用了Maven框架进行持续集成，将系统开发与部署进行了紧密结合，提高了系统发布的效率和频率。系统架构如图6所示。
图6 系统架构
核心应用是在系统框架层面对Java EE的扩展，对数据库和系统操作采用了对开发者更加友好的函
数封装。同时，将日志、异常处理、缓存管理、Session操作、Cookie操作等企业应用平台通用功能需求进行扩展和封装。此外，还提供了应用平台开发所需要的算法工具集和数据结构工具集，帮助开发者提高项目开发效率。
核心应用层提供了组件系统与Web Service接口的应用程序编程接口（API）系统。该系统可用于定义直接以核心应用为起点所进行的应用开发组件的标准化架构，以及业务功能的Web Service接口。
业务组件是以核心应用为基础所建立的标准化架构模块和组件集合，其内容涵盖系统管理模块、消息传送模块、用户模块、组件模块、内容管理模块、主题管理模块、商业智能组件和工作流组件。后端与前端是面向业务组件系统以模型-视图-控制器（MVC）模式实现的表示层范例，后端与前端均以主题文件包的形式进行封装，可灵活地进行二次开发与扩展。
在大数据框架方面，数据源模块的设计思路采用了提取-转换-加载（extract-transform-load, ETL）结构，采用了HBase数据库结构和MapReduce数据分析工具集作为支撑，实现了海量数据的存储分析。
1）ETL数据管理
数据源模块的设计思路采用了ETL结构。ETL是指从源系统中提取数据，将数据转换为一个标准的格式，并加载数据到目标数据存储区，通常是数据仓库。ETL主要通过数据库引擎来实现系统的可扩展性，可保持所有的数据始终在数据库当中，避免数据的加载和导出，从而保证效率，提高系统的可监控性。通过对相关数据库进行性能调优，ETL过程获得3～4倍的效率。
本系统将数据的过程划分为数据获取、数据转换和数据加载3个环节。本系统通过ETL功能模块的开发完成了前述多个系统数据的统一采集与数据导入，在数据源处理中制定了一系列统一规则，包括数据交叉关联对照规则、数据清洗规则和矛盾数据核查规则。
2）HBase数据库
HBase是一个开源的非关系型分布式数据库（NoSQL），实现的编程语言为Java，提供了BigTable规模的服务。HBase在列上实现了BigTable压缩算法、内存操作和布隆过滤器。因此，它可以容错地存储海量稀疏的数据。对于海量的实物资产数据，其特点是以资产编码作为ID，随着时间的推演而不断产生新的数据。
传统的关系型数据库需要采用多行数据来描述一个资产，而HBase作为非关系型数据库，只需要用一行数据即可描述资产，因为非关系型数据库的数据列可通过时间戳记录数据的变化，只有实际发生了变化的数值才会占用新的空间，可大量节省存储容量。
3）MapReduce数据分析工具集
MapReduce是一种编程模型，用于大规模数据集的并行运算，也是分布式数据处理模型，可实现下列数据挖掘算法：
（1）文本统计分析（比如报告内容的WordCount、词频TFIDF分析）以及运维检修数据分析等。
（2）海量数据挖掘以及非结构化数据、时空数据、图像数据的挖掘。
（3）机器学习，监督学习、无监督学习、分类算法（如决策树、安全语音模块SVM等）。
可将MapReduce处理数据过程主要分成两个阶段，即Map阶段和Reduce阶段。首先执行Map阶段，再执行Reduce阶段。Map和Reduce的处理逻辑由用户自定义实现，但要符合MapReduce框架的约定。系统采用MapReduce数据分析工具集，可以开发大量数据展现图形。
3.2 ID-CROSS算法的实现
为了满足实物资产分析评价过程中需要分析大量指标的问题，本系统采用一种数维交叉（index- dimension cross, ID-CROSS）算法，专门用于解决指标在大数据存储空间中的定位问题。ID-CROSS算法其原理是，将指标作为数据空间纵轴，维度作为数据空间横轴。
若指标和维度在同一BigTable中出现交叉，则认为制定的指标在当前维度下有效，其原理如图7所示，通过数据行模型、数据列模型和数据表模型，进行多维交叉计算。
图7 ID-CROSS算法示例图
设Cell为目标单元格，table为当前数据表，index为目标指标，dim为目标维度值。当矩阵中只有一个与目标维度相关的维度时，其定位方法为Cell=table.position(index,DIM(dim1,dim2,dim3...))（1）
若矩阵中有多个单元格与目标维度相关，则需要进行降为处理，其处理方法为Cell=SET(indexValue,dim_1,dim_2,...,dim_(i-1),dim_(i+1),...,dim_n)=dim_reduction(SET(indexValue,dim_1,dim_2,...,dim_n),dim_i)（2）
式中：dim_ j(j=1,…,n)；各自的定义域为DOM_ j= {dom_1,…,dom_(l_ j)(l_ j取大于1的整数)}。
3.3 数据解析
数据解析链路是一种将数据处理过程化的方法，其要求是将数据处理过程分在不同的块中，将每一个块的输出作为另一个块的输入。在本系统中，实现的模型如图8所示。
在本系统数据链路中，元数据表对应于外部系统的来源数据，包括其他系统业务数据库、数据文件和Web站点等。元数据表被加工后，将数据传送至中间数据表，中间数据表负责对数据进行存储，保存在数据仓库中。
中间表将需要进行初步降维和运算的数据传送至结果表，该步骤的目的是减少后续查询的运算量，以提高数据处理速度。结果表将需要进行统计运算的数据传送至数据透视表，实现数据的透视分析功能。最后，透视表将数据传送至数据展现表，实现各类数据分析图表的生成，并分别输出到数据展现页面、Word报告和Excel报表中。
图8 数据解析链路
4 系统展示
在电网实物资产评价中，本系统生成了某省电网公司地市及省公司十大类实物资产的重要报表与实物资产分析评价报告。全部数据的处理过程仅需要10min即可完成。数据准确性较传统的人工方式统计有极大改善。图9和图10分别展示了实物资产分析评价系统资产概览总体图和下属二级单位关键绩效指标对比图。该系统能够动态展现实物资产分析评价结果和关键考核指标。
图9 系统资产概览总体图
图10 下属二级单位关键绩效指标对比图
结论
通过将大数据技术应用于实物资产分析评价系统的设计，解决了传统的业务分析系统开发所面临的空间和效率问题，同时借助于开源框架简化了开发复杂性。主要结论包括：
1）提高电网企业实物资产评价报表及报告书中实物资产重要指标信息统计结果的准确性，避免了人为操作的不确定性。
2）通过信息化手段，提高了实物资产管理信息统计分析工作效率，节省大量人力，实现对电网主要实物资产的常态化、实时化、规范化与信息化的监控管理，为实物资产管理工作决策的制定提供了有力的量化数据支持。查看