GB/T25000.452018

复操作的SUT，驱动程序将被配置为在启动恢复操作之前等待预定的恢复启动间隔。这是模 拟操作员启动恢复所需的时间。 恢复区间是系统执行恢复所需的时间。 保持区间是在恢复后再次提升并在稳定状态下运行的时间。这是测量区间剩余的时间。如果 未达到稳态或低于干扰注人之前的稳态，则宜在报告中注明。 注意如下两点很重要： 首先，将时隙区间分解为子区间仅用于说明目的。在基线测试运行期间，当SUT需要模拟人 工干预时，基线驱动程序仅区分这些子区间的边界。 其次，只有在5个区间中最后4个区间内处理的操作是测量区间的一部分，因此在计算运行的 交易量时计。

5.1.2有关方法的实际考虑

态，则测试更加可控。这就需要检查阶段在每个注入槽之后，而不是如图2所示的所有注入槽之后。 如果客户需要或同意（例如加快测试或查看系统如何对一个接一个出现的多重千扰做出反应），则 测试可以设置为一个接一个地运行一些注人槽，而不停止、重置、启动，并在每个注入槽之间提升到稳定 状态。这可能适用于不会影响SUT的干扰。否则，由于需要从先前的注入槽中恢复所有先前事务，导 致数据库恢复将花费更长时间。如果测试是用来运行比较不同的系统，并且注入槽不是独立运行的发电机标准规范范本，则 宜将注入槽的特定顺序和分组用于所有系统。 运行的区间长度取决于工作负载。较大的工作负载和较高的交易量往往需要较长的上升时间才能 达到注入槽可以开始的稳定状态。以下是一个用于在效率和让SUT有足够的时间从注入干扰中检测 和修复需求之间实现平衡的示例：对于基线运行，让系统预热5min，然后使用50min基线阶段。对于 则试运行，让系统预热5min，然后使用50min的测试阶段，测试阶段拆分为10min的注入区间， 20min组合的检测区间和恢 区间和保持区间

执行运行中的干扰和干扰类别并不是全面的，本部分的用户可以根据经验和周境来扩展列表。 表旨在覆盖常见的操作故障和事件，其中一些干扰可能是由于操作员的错误或甚至是恶意行为 的，但该列表不处理安全问题。这个评价模块的意图不是评价系统的安全性

GB/T25000.452018

下面描述的所有5种干扰类别应用于符合性

5.1.3.2意外关闭

5.1.3.3资源争夺

这类干扰模拟因意外的进程、用户操作或应用程序错误导致SUT中的计算机资源耗尽的情况。 见表2。

GB/T25000.452018

5.1.3.4数据丢失

这类干扰模拟关键业务数据丢失的场景。见表3

5.1.3.5显著过载

拟系统的工作负载突然

5.1.3.6重启失败检测

这类别于扰模拟应用程序或其所依赖的组件受损且无法重新启动的情况。见表5。

GB/T25000.452018

注：在示例报告中的A.5～A.8提供了这里记录的输出类型的一个示例

注：在示例报告中的A.5～A.8提供了这里记录的输出类型的一个示例

5.2.1SUT 描迷

5.2.1.1硬件和OS配置规格说明

5.2.1.2软件组件配置规格说明

5.2.13 应用程序

每个系统上的实例数量

每个系统上的实例数量

5.2.1.4需要的其他软件

GB/T25000.452018

5.2.1.5储存数据

程序正确工作所需的或对SUT的性能有任何影响的所有数据.只要它们不包含在任务类型输人 的描述中，应全部在数字存储媒体上呈现。它们应格式化在SUT上就绪可用和存储，无需进一步修 改。这些数据的例子可以是： 数据文件，对于正确计算所需的 一程序所使用的输出数据文件，当测试开始时不为空的； 数据库系统的数据。

5.2.1.6其他信息证明

测试人员有责任提交测量结 求的文档外，测试人员还应提供他自已 选择的其他文档，这些文档适合由外部人 以获得相同的结果

5.2.2工作负载描述

5.2.2.1工作负载规格说明

应足够详细地描述工作负载，以便复制软件配置。这些包括但不限于以下内容： 描述将要测试的交易或操作； 描述测试数据； 测试脚本。

5.2.2.2工作负载参数集

应足够详细地描述用于驱动工作负载的参数集的值，以使复制软件配置。这应包括可能会影响性 能和应用程序行为的工作负载驱动程序和应用程序的任何配置参数。这些包括但不限于以下内容： 用户总数； 基线运行持续时间（s），包括提升阶段、稳定状态和关闭阶段的持续时间： 运行期间报告交易速率的报告区间（s）； 工作负载的交易组合（10%新订单、20%状态查询等）； 交易组合是否在每个报告区间保持不变，如果不是，则描述在运行期间每种交易类型何时 执行； 其他配置更改将决定工作负载将如何运行，可能会影响运行的可重复性和性能； 在应用程序上的任何配置更改可能会影响运行的可重复性和性能，

GB/T25000.452018

5.2.2.3验证工作负载的一致性和稳定性的参数集

为了正确评价干扰注入的影响，基线应表现为可重复的和一致的。基线应运行3次，并应提供下列 值作为其可重复性和一致性的证明： 由需方定义的测量结果所需的统计显著性（例如，3次基线运行中每次完成的成功交易数量相 差不宜超过5%）； 测量结果所报告的统计显著性； 在运行期间的任意报告区间中，识别任何明显大于由需方定义的所需统计显著性的性能峰值 和谷值。解释可能造成这些的原因。如果超出了需求方确定的所需统计显著性，则说明运行 期间报告间隔期间的任何业绩高峰和低点。在报告区间中出现峰值和谷值，或在不同报告区 间出现不同交易类型，均可能表明存在问题。以这种区间注人干扰可能会导致性能和质量测 度的变化，应在报告中注明。但是，只要在多次运行中它们的出现情况一致，其结果具有可 比性。

5.2.3故障负载描述

5.2.3.1故障负载规格说明

根据5.1.3中定义的十扰 并分组。应对应用和 序依赖的软件组件来定义干扰，如Web 服务器、数据库服务器等

5.2.3.2故障负载参数集

每个干扰应在5.1中定义的注入槽内运行。应描述在注入槽中用到的下列值： 测量区间（s），也称为注入槽的持续时间； 注入区间（s）； 检测区间（s）。 如果多个干扰是顺序执行而没有停止和重新启动工作负载，应描述干扰和它们的执行顺序

5.2.3.3自主成熟度问

注：示例报告中的A.9～A.11提供了此处文档自

注：示例报告中的A.9～A.11提供了此处文档的

5.3.1基线运行输出

这是针对系统工作负载正常执行的输出。输出应提供以下内容： 用于运行和记录输出的工作负载参数集； 测量区间（s）； 报告区间（s，例如，在整个工作负载期间每隔30s，或10min等）； 在测量区间内和报告区间之间无错误完成的总交易数； 在测量区间内有错误完成的总交易数； 其他系统性能信息，包括用于SUT的主要组件的CPU使用率和I/O利用率（例如web服 器、应用服务器、数据库服务器等）在每个区间与SUT进行比较

5.3.2测试运行输出

GB/T25000.452018

这是干扰注入时针对系统工作负载的输出。该输出应对每个注入槽提供以下内容： 在运行中使用并记录在输出中的工作负载参数集； 测量区间（s）； 注入区间（s）； 是否采用手动恢复来禁用干扰并将系统恢复到像基线运行的那种稳定状态； 报告区间（s，例如在整个测试期间每隔30s，或每隔10min等）； 在测量区间和每个报告区间内无错误完成的总交易数； 在测量区间内有错误完成的总交易数： 其他系统性能信息，包括在每个报告区间中用于SUT（例如Web服务器、应用服务器、数据 库服务器等）的主要组件的CPU使用率和I/O利用率，以便与基线测试进行比较； 是否执行过检查阶段以验证系统的完整性；如果执行了，则陈述验证的方法和结果；如果没有 执行，则陈述为何没有必要； 应针对每个干扰和整套干扰集报告承受力的质量测度

5.3.3完成自主成熟度

应提供关于如何检测、分析和解决问题的完整的自主成熟度问卷。 自主成熟度评分（质量测度元素）应针对每个干扰和整套干扰集报告。应报告自主成熟度指标的质 量测度。

5.4.1质量测度和质量测度元素（OME）总结

质量特性：可靠性 质量子特性：易恢复性 质量测度：承受力 ·QME：在干扰下的交易数一一在注入干扰的测量区间内无错误完成的交易数 ·QME：在无干扰下的交易数一 一在没有注入干扰的测量区间内无错误完成的交易数 质量测度：自主恢复指数 ·QME：自主成熟度评分 以下条款描述了新的质量测度和质量测度元素

5.4.2质量测度.承受力

承受力是在测服务质量的定量测度。它描述了当系统受干扰影响时的 易量之间的关系。 测度名称：承受力。 测度目的：当遭遇干扰时系统承受的能力如何？ 应用方法：参考5.1。 测量、公式和数据元素计算：对每一个干扰，计算P;/Pbae，其中： P：一—在有干扰注入的注入槽的测量区间内无错误完成的交易数；

GB/T25000.452018

整体承受力取每个注入槽承受力的均值来计算。 测度值解释：0

5.4.3质量测度：自主恢复指数

自主恢复指数是自主恢复能力级别的定性测度。 测度名称：自主恢复指数。 测度目的：软件产品如何检测、分析和解决干扰。 应用方法：对每个干扰，观察系统在检测、分析和解决干扰（故障或事件)时的行为，然后回答问卷的 问题集，获得分值。 每个干扰的得分应根据测试操作员回答的自主成熟度问卷上问题的答案来计算。根据系统响应自 主级别的增加，给出每个答案的值，见表6。

每个问题应有6个答案，每个答案都有一个与自主级 A：被授予0分（基本级）； BO：被授予0.5分（基本/管理级）； B：被授予1分（管理级）； C：被授予2分（预测级）； D：被授予3分（自适应级）； E：被授予4分（自主级）。 注：授予的分值可以根据经验、客户偏好和周境进行调整。 应将以下问题用于每个干扰： 干扰如何检测？ A：帮助台呼叫操作员，告诉他们一些投诉； BO：操作员通过监测多个数据源自行检测问题 B：操作员通过监测单个数据源自行检测问题； C：自主管理器通知操作员可能的问题； D：自主管理器在无人干预下检测到问题：

GB/T25000.452018

E：同D。只有当“干扰如何分析？”的问题的回答也是E时选择，即当系统根据业务规则和策 略监视和关联数据时，才充许在没有人为干预的情况下采取行动 一干扰如何分析？ A：操作员收集并分析系统生成的多个来源的数据： B：操作员分析来自单个管理工具的数据； C：系统监视并关联引导推荐的恢复操作的数据； D：系统监控并关联充许在无人干预的情况下采取行动的数据； E：系统根据业务规则和策略监控和关联数据，以便在无人干预的情况下采取行动。 一采取什么行动？ A：操作员执行所需的程序，并在每个受影响的资源上单独发出命令； B：操作员执行所需的程序，并在集中管理控制台上发出命令； C：操作员核准并启动恢复操作； D：自主系统启动恢复操作，无需人工操作； E：同D选择。只有当“分析干扰如何？”的问题的答案也是E时，即当系统根据业务规则和策 略监控和关联数据时，才允许在没有人为干预的情况下采取行动。 每个干扰应根据上述3个答案的均值产生一个自主的成熟度评分。对于每个问题每个干扰的自主 成熟度评分应予以披露。 整体自主恢复指数是归一化到可能的最高自主级别（即4分）的所有注入槽的平均得分。结果是 个介于0和1之间的值， 值为0表示系统的自主能力是基本的（报告、产品手册手工管理并手动操作）。值为1表示系统是 自主的（自动管理自身以实现业务目标）。 测量、公式和数据元素的计算：对于每个干扰，取问题得均值，然后除以最大分值4。 测度值说明：0≤工≤1，越接近1.0越好。 测度值类型：绝对值。 测度类型：计数。 测量输入：用户监控记录。 ISO/TEC12207：2008参考：6.4.5系统集成过程，6.4.6系统合格测试过程，6.4.9软件操作过程。 目标群体：需求方、供应方、开发方、维护方

5.4.4质量测度元素（OME）：干扰下的交易数

表7OME：干扰下的交易数

GB/T25000.452018

5质量测度元素（QME）：在没有干扰下的交易数

表8OME在没有扰下的交易数量

5.4.6质量测度元素（OME）：自主成熟度得分

表9OME：自主成熟度得分

GB/T25000.45—2018

恢复指数都具有从0到1的值，越接近1结果越

报告提供以下内容： 有关结果的执行概要；描述在测软件系统的概况，以及对结果和主要发现的概要； 份记分卡列出每个干扰的得分，以及承受力和自主恢复指数的总得分： 份对干扰反应的概述，列出的导致崩溃（即系统或软件组件关闭）、挂起（即系统无响应）、无 效结果、降级性能以及对性能没有显著的影响（即没有影响承受力）的干扰； 发现和建议的描述，包括对构成SUT的组件的优势和劣势或改进机会： 描述SUT中使用的产品，包括软件、硬件、OS和网络； 5.3中规定的数据元素和5.4中规定的质量测度： 对每个干扰，报告还应提供基线和测试的图，其中以X轴表示时间、Y轴表示交易率，以将每 个测量区间和注入槽可视化： 应包括用于评价自主恢复指数的问卷。报告的每个部分将包括第5章中相关部分的摘录，以 提供一个周境。 示例报告参见附录A

应用规程不适用于本部分。

GB/T25000.452018

描述在测软件系统的概况，以及对结果和主要发现的概述。 注：各章的范围以斜体表示。在实际的报告中可以删除。 本文档包含了开源DayTrader2.0应用程序的易恢复性测试的结果和产品建议，由HHHHv1.6 HTTP服务器，AAAAv1.6应用程序服务器和DDDDv6.0DBMS服务器组成软件系统解决方案。 该软件系统解决方案的承受力得分0.81（满分1.00），自主恢复指数得分0.63（满分1.00）。这对先 前DayTrader1.0应用程序在HHHHvl.5HTTP服务器、AAAA1.6版应用程序服务器和DDDD 75.0DBMS服务器上的可恢复性测试得分分别为0.75和0.55是有所改善， 承受力得分的改善是由于在其中一个节点出现故障时向集群中的其他节点分配工作的应用程序的 改进。自主恢复指数得分的改善是由于故障节点的工作负载自动转移到群集的其余节点，无需操作员 干预。 更多细节可以在报告中的下列条款中找到

一份记分卡列出每个干扰的得分，以及承受力和自主恢复指数的总得分。 此记分卡显示每个故障对系统的承受力和自主恢复指数得分所作的贡献。承受力评分是从0到1 的分值，反映了系统在施加十扰时服务请求的能力。自主恢复指数的贡献是从0到4的分值，其描述了 在施加干扰时系统表现出的自主成熟级别。见表A.1。 注：以下的数字是虚构的。

GB/T25000.452018

A.3对于扰反应的概述

GB/T25000.452018

表A.2王扰反应的总结

当集群内的一个应用程序服务器岩机时，工作负载会在剩余服务器间快速重新平衡，同时事务 最少失败。 劣势/改进机会： 集群没有检测到并绕过由于各种干扰而导致容量损失的“病态”应用程序服务器。这会导致群

已识别的应用程序和产品缺陷列表及其当前状态

硬件体系结构和配置的属性应足够详细地描述，以便复制硬件和OS配置。这些包括但不限于以 下内容： 供应商和型号； 系统可用日期； CPU(处理器类型、CPU的数量和速度（MHz/GHz））； 一缓存（L1、L2、L3等）； 主内存（兆字节）； 使用的磁盘和文件系统； 网络接口；

GB/T25000.452018

5.1.2系统软件配置规

GB/T25000.452018

产品名称： IBMDB2通用数据库9.1 可用日期： 2007年2月 注/调优信息： 通过db2tune.sh脚本调优性能。见附录XXX...《这只是一个例子。附录XXX不存在。 <为SUT中的其他组件添加其他软件，例如应用程序服务器、HTTP服务器、测试负载模拟器、故 障套件驱动程序等）

A.5.1.3应用程序

A.5.1.4需要的其他软件

缺陷负载驱动套： 实例数：2（每个故障负载服务器硬件1实例） 软件供应商：由本地开发部XXXX 产品名称：承受力测试仪1.0 可用性日期：2009年4月

缺陷负载驱动套： 实例数：2（每个故障负载服务器硬件1实例） 软件供应商：由本地开发部XXXX 产品名称：承受力测试仪1.0 可用性日期：2009年4月

bs标准A.5.1.5储存数据

GB/T25000.452018

程序正确工作所需的或对SUT的性能有任何影响的所有数据，只要它们不包含在任务类型输入 的描述中，应全部在数字存储媒体上呈现。它们应格式化在SUT上就绪可用和存储，无需进一步修改。 这些数据的例子可以是： 数据文件，对于正确计算所需的； 程序所使用的输出数据文件，当测试开始时不为空的； 数据库系统的数据。 数据库由DayTrader应用程序生成的500000个账户作为其数据生成过程的一部分

A.5.1.6其他信息证明

测试人员有责任提交测量结果的证明。因此，除了本部分要求的文档外，测试人员还应提供他 已选择的其他文档，这些文档适合由外部人员/组织重复测量以获得相同的结果

A.6.1工作负载规格说明

镀锌板标准A.6.2工作负载参数集