T／CECS 20002-2020  城市供水信息系统基础信息加工处理技术指南(完整正版、清晰无水印)

为保证城市供水基础信息在同一系统内或不同系统间的交互 与加工处理，基础数据信息的编码应符合下列规定： （1）基础数据信息应按照现行行业标准《城镇供水管理信息系 统基础信息分类与编码规则》CJ/T541和《城镇供水管理 信息系统供水水质指标分类与编码》CJ/T474进行编码。 （2）对于现行行业标准《城镇供水管理信息系统基础信息分 类与编码规则》CJ/T541中未涉及的基础数据信息，按照 CJ/T541的编码体系进行扩展编码，编码方法及原则参 照CJ/T541中第4章的相关规定 （3）对于现行行业标准《城镇供水管理信息系统供水水质指 标分类与编码》CJ/T474中未涉及的水质基础数据信息： 按照CJ/T474的编码体系进行扩展编码，编码方法及原 则参照CI/T474中第5章的相关规定。

第二节数据清洗、转换及装载

环境标准一、数据清洗 利用预定义清洗规则或数理统计、数据挖掘等技术将城市供 水信息系统原始数据转化为满足质量要求的数据。 1.结构化数据 结构化数据清洗按照准确性、唯一性、有效性、完整性等原则 并行。水质数据、压力数据、流量数据、抄表数据、收费数据、管线 数据等结构化数据信息的编码是城市供水系统数据身份的唯一识 别。通过库表、缺失值和逻辑错误等清洗方式对不完整、错误、重

（2)缺失值清洗。在线自动监测等具有连续性、易缺失、数据 量大等特点的数据应进行缺失值填充等处理，以保障数据 的完整性。 根据字段缺失值比例和数据内容重要性确定四种类 型的清洗方法： 1）重要性高，缺失率低：通过数值运算、业务知识估计 等手段进行填充。 2）重要性高，缺失率高：通过其他信息系统或渠道取 数填充。 3）重要性低，缺失率低：不做处理或简单填充。 4）重要性低，缺失率高.删除该类数据

缺失值填充方法主要包括以业务知识和经验估计填 充；以同一指标的计算结果（均值、中位数、众位数等）填 充；以不同指标的相关性计算结果填充。 （3）逻辑错误清洗。对结构化数据中不规范、不合理等逻辑错 误的数据信息主要采用下列规则进行清洗。 1)重复性数据。对重复提交、插入等原因造成的数据重复，应 对多余数据进行删除。 2）不合理数据。对超出数值合理范围、计量单位错误等原因 造成的不合理数据，应去除或对数据进行修正。 3）矛盾数据。对于明显不符合逻辑关系的数据，应按照相应 的逻辑或业务规则进行修正。 2.半结构化及非结构化数据 针对半结构化及非结构化数据以保证数据的合法性为主要清 洗目的，包括实验室检测报告、调度值班日志、客户服务工单、相关 政策法规制度文件等，对可能出现的数据重复、不完整、违反业务 规则等问题，将有问题的数据先剔除，根据实际情况调整相应的清 洗操作，有效清除无效数据，保证数据质量。数据清洗处理有多种 形式：格式检查、缺失记录检查、重复记录清除、数据源纠错（原数 据溯源）、记录交叉核对等。 3.多源混合数据 针对结构化数据、半结构或非结构化数据交叉存在，数据信息 具有很强的关联性，其中对于无法进行严格清晰分类的，可考虑通 过以原始格式存储数据的存储库或系统（数据湖）存放多源化数 据；使用大数据技术、人工智能技术等建立数据清洗模型，利用模 型实现数据清洗。 二、数据转换 1.结构化数据 数据源系统与目标系统中格式及粒度等不统一的数据信息： 应结合城市供水管理和分析应用的业务需求，建立相应的转换规

则并根据目标系统数据库类型、数据属性等因素进行转换，常用转 换工具插件可采用传统ETL工具、内存计算Spark、批处理Ma pReduce和流计算Storm等。主要转换方法如下： (1)格式转换。按照目标系统的数据格式对源系统中的数据 进行转换，转换方法有对数转换、平方根转换、倒数变换等。 （2）平滑处理。消除数据中的随机错误和异常数据，主要方法 有聚类方法、回归方法和人机结合检查方法。 （3）泛化处理。采用更抽象（更高层次）的概念来取代低层次或 数据层的数据对象，如将多个相近的采样点泛化到同一个采样点。 （4）规格化处理。消除数值型属性因大小不一而造成的结果 偏差，主要方法有最大最小规格化方法、零均值规格化方法、十基 数变换规格化方法等。 （5）属性构造处理。根据目标数据库需要，结合数据原有属性 集构造新的属性，便于统计分析等。 2.半结构化及非结构化数据 根据城市供水管理和分析应用的业务需求，半结构化及非结 构化数据应分类进行转换处理。 对水质检测、投诉处理、调度值班等业务形成的半结构化数据 （文字文档、演示文档等），应按照数据文件的结构类型特点，创建 半结构化数据与关系数据库的映射关系及对应的文件模板，并通 过专用程序读取半结构化文件的内容，将半结构化数据转换为结 构化数据。 安防监控、管道巡检等业务形成的非结构化数据（文本、图片 视频等）信息可通过搭建文件共享服务器的方式，建立文件索引： 并按照内容属性、时间属性、空间属性、来源属性、格式属性、使用 属性等进行统一分类命名，直接进行文件存储。 三、数据装载 1.结构化数据 装载方式有基本装载、追加装载、破坏性合并和建设性合并

等，装载时应充分考虑模式集成、余、冲突值检测与消除等因素， 装载后数据应满足业务应用、备份容灾及数据共享等需求。 2.半结构化及非结构化数据 半结构化及非结构化数据可按照树形文件形式进行数据装 载，树形文件按照不同文件类型设计，对单个数据压缩装载，对多 个数据打包压缩，并对已装载数据建立索引。

1.结构化数据 供水信息系统基础信息数据具有专业性强、管理要求高等特 点，应用关系型数据库软件进行存储时，宜根据数据属性和业务需 求对数据库表和数据分别进行分类设计和标识。存储时间应根据 数据重要性、数据量、存储容量及业务需求等因素确定，原则上不 低于6年。 （1）数据库表设计分类。设计数据库表时，应按照数据来源、 类别、数据特征及应用场景等进行分类，示例如下： 1)业务基础数据库表。包括城市供水管理基础信息、供水单 位（企业）基础信息、水厂基础信息、在建项目信息等。 2)设备基础数据库表。包括检测仪表、设备设施和安防监控 设施等。 3）监测数据库表。包括通过人工录入、在线采集、跨系统抽取 和网络爬虫等方式获取的水位、流量、水量、水质等动态变化的数 据。 4）业务报表类数据库表。包括日报、周报、月报、季报、年报等 统计分析库表。 (2)数据分类标识。为便于数据的分析统计及数据异常的判 断，根据业务需求可对关键数据添加分类标识，标识符应具有唯

数据分析展示内容主要包括水质监测、生产经营及其他业务 （含专项）等基础信息数据。可采用大数据、GIS、人工智能、数字 李生、数字媒体、数据钻取等技术，对基础信息数据进行检索、查 询、统计、综合分析及可视化展示。 一、结构化数据分析 1.水质监测数据 水质监测数据主要包括实验室检测数据和在线自动监测数 据。水质监测数据分析主要包括检索查询、合格判定、汇总、趋势、 对比、均值、极值统计、相关性、预测、染等专项或综合分析。 （1)检索查询。对数据信息按照时间、地点、指标、类型、是否 超标等数据属性进行单一或组合统计分析。 （2）合格判定。对数据信息按照国家及行业等相关标准规范 进行符合性判定分析，并可以进行汇总分析。 （3）趋势分析。对数据信息按照选定的时间段进行季节性、周 期性等变化规律分析。 （4）对比分析。对两个或多个地点的同一指标值、合格率、超 标率、平均值等按照选定的时间段进行比较分析。

(2）数据列表/报表模式。可按照单位、类型、名称、时间、空间 等属性进行查询、排序展示等，并可根据业务需求设置超标报警条 件TZZB标准规范范本，通过突出显示等形式进行报警展示。 （3)数据曲线模式。可按照单位、类型、名称、时间、空间等属 性绘制专题分析曲线进行展示。 （4）数据卡片模式。可按照单位、类型、名称、时间、空间等属 性设置数据卡片进行展示，展示数据为实时数据时宜循环更新播 放。 2.半结构化及非结构化数据 半结构化数据宜转换为结构化数据进行展示，具体展示方式 参照“1结构化数据”。 非结构化数据可按内容属性、时间属性、空间属性、来源属性、 格式属性、使用属性建立文件树形索引进行分类展示，

人工录入、在线采集等基础信息数据质量应得到保障，建立数 据校准、审核机制，确保数据的完整性、准确性、一致性、规范性、安 全性。 一、结构化数据质量保障 1.人工录人数据 系统应设置数据审核流程，确保录入数据的真实可靠。 （1）初审。录人人员应首先对数据信息进行审核，并保留电子 版或纸质版原始记录信息，检查无误后将数据录入系统并对原始 记录信息进行存档。审核录入完毕后，数据进入下一级审核。 （2）终审。对初步提交系统的预审核数据进行审核，对存在疑 可数据进行标记并加批注写明原因，将存疑数据及相关佐证材料 发送给初审核人员协商认定，再次检查原始记录有关信息的准确 性，并由初审核人员负责更改数据并重新录入。最终审核人员对 重新录入数据进行再次审核，确保无误后将数据进行入库，系统自 动形成数据审核和处理过程的日志记录。 2.在线采集数据 系统应有水量、水压、水质等在线监测设备采集的数据进行校 准、审核的内容和流程，具备自动生成数据审核、处理过程日志记 录的功能。 (1)校准。在线监测设备应定期进行校准，以确保设备本身性 能的可靠性。 （2）系统初审。由系统自动完成初审，主要是对存疑数据及无 效数据进行判定，便于人工复核。当监测数据存在突变或连续不

变、数值为“0”值或负值、数值低于仪器检出限、数据相关性不符合 逻辑、监测设备的关键状态值不在合理范围等情况时，系统自动标 记为存疑数据。对设备维护测试及故障期间产生的数据等，系统 自动标记为无效数据。 （3）人工初审。系统应设置人员审核流程，对系统自动审核的 存疑数据和无效数据进行甄别和确认，要求已确认的存疑数据和 无效数据提交相关佐证材料及记录。 1）审核时限：至少含日审核和月审核。 2）审核内容：审核数据采集稳定性、数据规范性、质控符合性、 逻辑合理性、数据可比性。查看系统过程日志，监测全过程是否运 行正常；查看质控过程及手段是否符合相关质控要求，质控数据是 否合格；查看项目数据之间逻辑关系是否合理；查看当前数据与历 史数据及最近一次已审核数据是否可比。 （4）人工终审。进行最终确认，必要时可组织专家进行讨论 判断数据是否有效，最终形成认定结果，并将数据进行入库。 1）审核时限：至少含日审核和月审核。 2）审核依据：终审时，应综合考虑：初审提交的存疑数据相关 左证材料；存疑数据的监测全过程日志和影像资料；采样点现场及 周边状况、气象条件；同一位置近期的历史数据及变化趋势；相邻 区域监测数据；最近一次检测数据；质控数据结果等因素。 3.跨系统抽取数据。 跨系统抽取数据的质量保障方法参照“4.2数据清洗、转换及 装载”的清洗、转换规则和方法等。 二、半结构化及非结构化数据质量保障 保障半结构化及非结构化数据的准确性、可访问性等，可通过 建立数据文件分类规则、命名规则，实现存储数据快速检索；还可 通过与系统中结构化数据进行关联的方式，提高半结构化及非结 构化数据的入库质量。

在基础信息采集、传输、处理、存储等加工处理过程中应进行 安全保障，主要技术包括： 1.身份认证技术 供水信息系统应使用身份认证技术确定用户身份的合法性， 具体技术手段可使用户名口令、身份识别、PKI证书和指纹认证 等。 2.加解密技术 在数据传输、存储过程中应进行数据的加解密，可使用的典型 的加密方式有对称加密和非对称加密。 3.访问控制技术 数据库访问与读取应设置合理的网络安全防范和保护策略， 设置数据库资源访问的限制。 4.安全审计技术 对供水信息系统的访问行为和记录应分别进行行为审计和日 志审计。通过对用户的网络行为审计，确认行为的合规性，确保数 据访问、处理过程的安全。通过日志审计协助系统管理员在受到 攻击后查看网络日志，从而评估网络配置的合理性、安全策略的有 效性，追溯分析安全攻击轨迹，并能为实时防御提供手段。 5.边界防护技术 应防止外部网络用户以非法手段进入内部网络，保护内部网 络环境、内部数据存储资源，可安装防火墙和入侵检测设备。 6.主机加固技术 应使用主机加固技术，对供水信息系统相关的操作系统、数据 库等进行漏洞加固和保护，提高系统的抗攻击能力。

为保障数据库系统的正常运行，降低高风险操作对数据的影 响，提高数据的安全性和稳定性，应进行系统环境监控、数据库性 能监控与配置优化、数据备份与恢复、数据加密等数据库系统的维 护操作。 1.系统环境监控 对数据库服务器的日常运行状态进行监控，如检查系统日志、 查看磁盘、CPU及内存的负载状态、查看服务器作业运行情况等， 及时发现、排查异常情况，降低数据存储风险。 2.数据库性能监控与配置优化 监控数据库系统运行状态并对系统进行配置、测试和调整。 对多级索引进行分区并定期对碎片索引进行整理；定期检查数据 车存储量增长状况；对数据库系统配置的可用性、可靠性及安全性 进行检查并对配置参数进行优化；对数据库系统的内存、缓冲区大 小及读写线程数量等进行优化调整，降低磁盘、CPU、内存负载， 最大限度的发挥设备性能优势。 3.数据备份与恢复 查看数据库备份情况，及时排查错误并删除过期的备份文件 当数据发生故障时，应使用备份数据及时恢复。 4.数据加密 对数据库中的数据，尤其是敏感数据进行加密，提升数据的安 全性，防止数据泄漏和破坏

数据库系统维护与管理要求如下

（1）应制订数据库系统维护管理制度，内容至少包括岗位人 员、岗位职责、数据安全、故障解决及突发事件处置等，并应定期和 不定期对制度的执行情况进行检查，并将其作为数据维护管理人 员的考核依据。 （2）数据库系统维护管理人员应具有计算机类专业技术背景 上岗前需经过专业技术及制度培训。 （3）应加强用户身份验证管理，合理分配数据库操作人员的权 限，定期对管理员等重要用户密码进行修改。 （4）应建立数据各项操作的运行日志，严格监控操作过程，对 数据库系统运行过程中发现的问题及时进行处理。应定期对系统 敌障现象进行汇总统计和整理分析，摸清故障发生原因。 （5）应建立数据容灾备份机制，并定期进行数据灾难恢复演 练，保障数据应急恢复和溯源。 （6)应定期对数据操作行为进行审查，查看用户及数据对象的 增删改记录、备份记录、维护记录是否齐全，

《城市排水防涝设施数据采集与维护技术规范》GB/T51187 《信息技术数据质量评价指标》GB/T36344 《城镇供水管理信息系统供水水质指标分类与编码》CJ/T 474 《城镇供水管理信息系统基础信息分类与编码规则》CJ/T 541 《城镇供水水质在线监测技术标准》CJJ/T271 《水污染源在线监测系统运行与考核技术规范（试行）》HJ/T 355 《水污染源在线监测系统数据有效性判别技术规范（试行）》HJ/T 356 《固定污染源监测质量保证与质量控制技术规范（试行）》HJ/T 373

医疗器械标准S/N:155182:0755统一书号：155182·0755定价：14.00元gll133182075504ll