1. 关于本文
本文为度量和报告实践提供了实用指南,分为五个主要部分,涵盖:
- 本实践的基本信息
- 本实践相关的流程和活动,及其在服务价值链中的作用
- 参与本实践的组织和人员
- 支持本实践的信息和技术
- 合作伙伴和供应商在本实践中的注意事项
1.1 ITIL® 4 认证体系
本文选定内容可作为以下教学大纲考试的内容:
- ITIL领导者 数字化和IT战略
相关详细信息,请参阅相关的教学大纲文档。
2. 基本信息
2.1 目的与描述
- 关键信息
度量和报告实践的目是:通过降低不确定性级别,以支持更好的决策与持续改进。这是通过收集各种管理对象的相关数据,并在适当环境中评估这些数据的有效性实现。管理对象包括但不限于产品和服务、实践和价值链活动、团队和个人、供应商和合作伙伴,以及整个组织。
许多管理对象是有联系的,各自的度量标准和指标也是相关的。例如要为度量和报告实践设定明确目标,那么基于诸如客户/市场相关性和卓越运营等领域,了解组织目标相当重要;明晰高水平和水平级别目标的关系也很重要。
关键绩效指标(KPI)可以基于这些目标达成一致,并以此来衡量成功与否。许多情况下的实用实践,是为每个目标定义关键成功因素(CSF),然后为关键成功因素定义KPI,以便进行更精细更透明的度量和评估。
2.2 术语和概念
2.2.1 度量
- 定义: 度量(Measurement)
"度量"的定义有两个重要方面。首先,度量的结果是一种用数值定义的观察结果,它提供了关于事物好坏情况的明确答案。其次,度量的目的是降低目标状态的不确定性。
2.2.1.1 为何度量
度量并非是成功管理的唯一助力。通过领导力、沟通、设计、直觉力和其他方法也可解决管理的挑战。所谓"我们无法管理不可度量的东西"是不正确的。
度量提供的信息可用于决策与确定问题,为解决管理难题并确保为激励提供坚实基础。
度量没有内在价值,除非基于管理背景中应用时才有价值。度量有助于完成四个管理任务:
- 影响行为。组织通过定义目标并结合可衡量的指标,为活动和结果设定预期方向。每个目标应具有一个或多个指标,以便能评估进展情况。
- 变更理由。任何改进倡议(或变更)都需合理理由。显示负趋势或偏离目标值的指标都是变更的量化参数。
- 验证决策。度量有助于确保活动完成,有助于员工向目标对齐,并且有助于决策产生预期效果。
- 干预。度量指标,特别是预示性指标(见2.2.2.5),是纠正措施的触发器。
组织度量他们的活动、资源(在服务管理的所有四个维度中)以及产品和服务。
最常见的度量类别包括:
- 绩效:通过管理目标达到了什么?
- 成熟度:管理目标是否具备实现目的的必要能力?
- 合规性:目标否遵从内部、外部要求?
2.2.1.2 度量方法
度量有两种常见方法:
- 基于跟踪与监控工具的数据计算
- 调查
信息系统提供管理对象的客观信息。但该类信息通常手动输入,因此可能不准确。“从信息系统获得“并不总是意味着"可靠"。
基于调查的信息更主观,但是某些度量指标只能通过调研人员获得。例如不考虑用户的主观观点,就不可能理解并改进服务质量。
2.2.2 术语和概念
- 定义:度量指标
度量指标的数据可通过技术或程序收集;无论源和收集方法是什么,度量指标始终描述一个管理对象。与大多数 ITIL 实践相关的典型管理对象是服务、实践、配置项目和服务管理活动。
不同度量指标描述管理对象的不同方面。例如实践指标可以指实践的有效性、效率、生产力或一致性。
构建完整的度量指标系统,需将不同类型的指标结合,使我们手中的任务能够多维视图呈现;反之亦然:在度量指标系统中缺少某种类型指标,可能会导致无法度量管理对象的某些特性。
2.2.2.1有效性指标
这些度量指标表明一项(或一组)相关活动实现目的并达成目标的程度。对于ITIL实践,这些指标可以从实践目的声明和实践成功因素(PSFs)得到。
提示:
ITIL实践指南的2.5节中的度量指标示例已映射到2.4章节所述的实践成功因素(PSFs)中。
2.2.2.2 效率指标
这些度量指标描述了组织如何利用资源,执行活动,以及管理产品和服务。例如变更实施实践的效率指标,是首次尝试实施变更而无需返工的百分比。
2.2.2.3 生产率指标
这些度量指标描述了执行的工作量和结果输出。这些指标也可以被描述为实践的“吞吐量”。例如生产率指标可以反映问题管理实践的生产率指数,可定义为(N+C)/(O+C),其中N是在生产周期内登记但未解决的新问题数量,O是期末没能解决的问题数,C是在周期内解决关闭的问题数。该度量指标表明了与过去积累的问题数相比,一个时期内通过实践彻查的问题数量。
2.2.2.4 一致性指标
管理对象和管理机构对该度量指标感兴趣。例如服务级别管理实践的一致性指标,是服务报告按时交付的百分比。
有关适用于服务管理四个维度中,组织资源的度量指标分类,请参阅 ITIL® 4:指导、计划和改进的第 4.3 章节。
2.2.2.5 滞后和预示性指标
滞后指标报告已取得的成就。如“按时处理用户请求百分比为87%。”滞后指标为管理者和客户提供了有用的信息,但影响力有限。从业者只能组织能够产生预期结果的活动,而不能直接改变请求处理的及时性。
预示性指标有助于预测未来可能发生的事情。预示性指标难以衡量,但易受影响。例如,管理者可以通过增加资源,或调整队列处理规则,改变服务台员工对来电的反应速度。这些努力可以通过诸如“每位专家的平均请求数”或“一段时期内正在处理中的请求占比”等指标来衡量。这些预示性指标不为客户或用户提供信息,但改进了用户体验。
2.2.3 关键绩效指标
度量指标只有在支持管理目标的重大方向的决策时才有效;换句话说,当它们作为指标时,最重要的指标被称为关键绩效指标 (KPI)。
- 定义
指标:用于评估和管理某物的度量标准。
关键绩效指标:一种用来评估成功达到目标的重要度量指标。
绩效:从系统、人员、团队、实践或服务的角度,对完成/交付情况的度量。
只有对评估对象的状态至关重要的度量指标才是KPI,通过管理背景区分关键信息和补充信息。当用于描述对象最重要的属性或显著影响这些属性的因素时(例如描述瓶颈严重程度的因素),指标才是“关键的”。
KPI有助于评估对象的状态,例如“好”或“坏”、“可接受”或“不可接受”。只有当一个指标具有一个约定的目标值和一个公差(与目标值的可接受偏差)时,指标才是KPI。
大多数用于服务和实践的指标具有“目标趋势”:要么上升,要么下降。 例如,完成变更的效率提高,投产时间(TTM)减少。以上示例中,公差带是单向的。 如果一个指标的目标趋势是增长,那么它的公差就会低于目标值。
要将指标作为KPI,重要的是:
- 识别关键度量指标
- 确定目标值和趋势
- 定义公差
2.2.3.1 KPI和行为
KPI 可以激励个人,推动积极结果。 然而为个人设定目标也会导致不良行为; 例如服务台工作人员可能会被迫缩短通话时间,从而可能对客户满意度和解决时间产生消极影响。
理想情况下运营KPI应为团队而非个人设置。这意味着整个团队可以在目标和行为方面具有一定的灵活性。个人绩效需要特定的指导方针,但这些指导方针应该在团队的目标范围内,基于为组织创造价值的背景下设定。聚焦价值而非死抠细节。
2.2.4 报告
基于度量的信息通常以报告或仪表盘的形式呈现。报告应支持决策,因此它们应与收件人和主题相关。
报告和仪表盘应该让利益相关者轻松查看需要做什么并采取行动。
一个好的报告或仪表盘应该回答两个主要问题:
- 我们与约定的目标相比如何?
- 是什么阻碍了我们取得更好的结果?
为了支持决策,报告通常包括数据分析,如比较:
- 当前度量指标的目标值
- 当前度量指标值与过去的值
- 不同(相关)的当前度量指标
报告还可以描述当前状态的可能原因、高风险项、整改建议、预防措施以及其他建议。
根据目的和内容,报告的风格可以是运营风格或分析风格。
2.2.4.1 运营报告
创建运营报告是为了监控绩效、识别偏差和启动整改措施以支持运营。
运营报表应基于事实,包含计算、比较、关联分析等。还可能包括事件和事故统计、服务中断信息、根据约定目标执行任务的完成率、质量和完成的工作量等。此类数据通常可以自动收集(通过工作流管理系统、监控工具和其他自动化手段)。
如果采用自动化手段,运营报告则可以及时且经常生成(每天或每天多次)。这使得运营报告成为了最新数据的来源。
仪表盘具有以下关键属性的运营报告:
- 它只显示最相关的数据
- 所有数据都呈现在一个屏幕上
- 它可以在线访问(与电子邮件或纸质形式的分页报告相反)
仪表盘的数据可实时、按计划或按需求更新。这意味着只要需要,管理对象的最新信息随时可用。而历史数据会随着仪表盘更新逐渐失去可用性。
2.2.4.2 分析报告
分析报告揭示隐藏的问题或瓶颈,确定可能的原因和改进机会。与主要关注事实及其解释的运营报告不同,分析报告涉及数据分析、趋势及其解释,对正在发生的事情深入调查,及分析管理者如何影响这些事情。
此类报告通常由熟练的分析师制作,他们可以是内部员工或外部顾问。根据评估范围,分析报告可以在几天到几个月内生成。因此分析报告的创建频率远低于运营报告,并且支持决策的时间更长,有时甚至超过一年。
分析报告通常在指定区域分页发布或发送给利益相关方。需要经过正式批准流程后才能用于指导管理决策和进一步行动。
2.3 范围
对于约定的管理对象,度量和报告实践包括:
- 定义度量指标和报告方法
- 确保整个组织遵循约定的方法
- 度量和报告活动始终集成于组织的价值流中
- 维护管理报告质量,满足组织的需求
- 持续回顾和优化整个组织的度量和报告
有些活动和责任领域尽管与度量和报告密切相关,但是未包含在度量和报告实践中。这些都被列入表2.1中以供参考。需谨记ITIL实践只是在价值流环境中使用的工具集合,应视情况进行整合。
表2.1其他实践指南中描述的与度量和报告实践相关的活动
2.4 实践成功因素
- 定义
实践成功因素,达成实践目标所必需的一系列复杂功能组件
实践成功因素(PSF)不仅是一个任务或活动,还包含所有服务管理思维模型组件。实践中PSF的活动和资源的性质可能有所不同,但它们共同确保了实践有效。
度量和报告实践包括以下 PSF:
- 确保目标驱动度量
- 确保度量数据的质量和可用性
- 确保有效的报告以支持决策
2.4.1 确保目标驱动度量
只有在帮助管理者实现目标时,度量才有价值。有用的度量是与目标相关联的。
图2.1是在ITIL4:指导、计划和改进中第4.2.2.1节描述的规划和评估模型,说明了管理对象的目的,目标,指标和度量之间的直接联系。
图 2.1 规划和评价模型
基于一个或一组目标形成度量和评估系统,涉及几个步骤。这些步骤普遍适用于任何被管理对象,无论是服务、实践、项目还是资源。
2.4.1.1 第1步:定义目标
第一步定义目标并约定度量和评估系统用途,这是最重要的。其后所有步骤都取决于目标设定的质量。
通常基于管理对象的意图约定目标,并且确保目标能够实现。
对于一个项目或其他一次性活动,定义目标通常很简单,因为项目通常是为了实现特定的成果而进行的。此外,在许多组织中,项目需要正式论证、尽职调查和书面解释;它们必须得到权威机构(如董事会)的正式认可。
对于实践、产品和服务,目标通常与有效性、一致性、效率或生产力这四种类型的指标之一相联系。目标也应遵循SMART原则。例如,目标声明可以是“通过按时完变更和保持最低IT风险级别来确保IT服务质量”。一个相关的SMART目标可能是“到今年年底,按时完成90%的变更”。
2.4.1.2 第2步:识别成功因素
大多数目标需要进一步分解以便进行有效的管理和度量。该场景下定义成功因素通常会有所帮助。
成功因素描述了成功必须达到的条件或特征。
例如,与ITIL实践相关的成功因素被称为实践成功因素(PSFs)。每个ITIL实践指南都在第2.4节中描述了PSFs。
识别成功因素是项目规划和风险管理的一个独特阶段。对小规模活动来说没有通用规则;一些组织系统性地识别成功因素,而另一些组织则完全无视它们,而是将指标直接映射到目标。
2.4.1.3 步骤3:选择度量指标和度量工具
在该步骤中,为确定的目标和成功因素选择度量指标。度量指标分类有助于确保度量系统的完整性。如果正确定义目标和成功因素,则度量指标应不难确定。
应根据可用的度量工具选择度量指标。技术能力会严重限制可度量的内容,有时可通过组织措施弥补技术限制,如手动收集数据。但人工解决方案更昂贵,且通常提供的是延迟和不准确的数据。
2.4.1.4 步骤4:形成关键绩效指标体系
下一步是根据所选度量指标定义KPI。这涉及根据约定的目标和成功因素挑选最重要的度量指标,并为每个度量指标建立目标值、趋势和阈值。
最终的KPI 系统必须是平衡的。例如,系统应能识别忽略对象状态某些方面导致有利于其他方面(如追求速度时忽略了质量)。表 2.1 列出了一些变更支持实践的示例KPI。
表2.1 变更支持实践KPI示例
2.4.1.5 步骤 5:聚合度量数据
最后一步是选择一个聚合算法来计算最终得分。
聚合KPI可能很困难的,因为它们通常以不同的单位表达,并且可能具有不同的目标趋势。为了消除这些差异,KPI通常使用以下公式转换成百分比评级:
R=max(0;min(1;(K-M)/(T-M)))
其中K代表度量的实际价值,T是目标价值,M是阈值。
这个公式有助于在归一化百分比评级中表达各种度量指标。他们的值可以分为区域:
- 表示目标的绿色区域(100%)
- 代表阈值和目标值之间的绩效的黄色区域
- 绩效低于阈值的红色区域(0%)
如图2.2所示:
图2.2颜色编码归一化评分
可以汇总标准化的 KPI 生成绩效记分卡。这通常需根据每个 KPI 的相对重要性分配权重。绩效记分卡令度量和评价结果结构化呈现,用以支持决策。
有多种聚合 KPI 的方法,包括加权平均法、乘法、动态权重等。
2.4.1.6 总结
确保目标驱动度量有五个步骤:
- 定义目标
- 识别成功因素
- 选择度量指标和度量工具
- 形成关键绩效指标体系
- 聚合度量数据
这些步骤普遍适用于任何管理对象,无论是服务、实践、项目还是资源。也可以使用此方法创建 全组织的测量和评价系统。
下面的示例说明了如何将所述方法应用于服务的测量和评估
2.4.2 确保度量数据的质量和可用性
没有数据就没有报告。如果数据不完整、不准确或不一致,可能会导致做出错误决策。确保数据质量和可用性是度量和报告实践的关键。高质量数据应该符合标准,符合任务场景,能够清晰展示并可供数据使用者访问:
- 高质量数据符合标准,包括数据源的准确性、客观性、可信度和声誉
- 符合场景的数据是非常有用且有价值的。它包括完整性、相关性、及时性和数量。
- 清晰表示的数据是可以理解的、一致的和可解释的。
- 可访问的数据可供指定用户使用,并可按约定访问
度量和报告实践主要侧重于确保度量信息符合场景和表征质量。
实践还定义了对监控和度量工具的要求(请参阅第3.2.1节)以及报告所需的数据的收集和处理要求(请参阅第3.2.2节),以确保在所有四个领域中的使用质量。而数据的内在质量是由其他实践(监控和事件管理,服务台,所有作为数据源记录的实践)来保证。可用性管理和信息安全管理实践确保信息的可访问性。
2.4.3 确保有效的报告以支持决策
为确保报告有助于决策,报告的设计应回答以下问题:
- 谁是报告的用户?报告支撑管理者决策。因此管理者是使用方也是需求的主要来源。
- 报告的用途是什么?它应该支持什么样的决定?
- 谁生成和使用报告?该问题的答案会影响如何交付报告、谁有权访问报告以及报告在哪些媒介上使用。
- 报告将如何使用?该问题的答案说明了报告中应该包含哪些数据,生成数据的频率,以及应该具有哪些交互功能。
- 报告应该包含哪些数据?该问题的答案有助于确定包含在报告中的KPI、需要补充的数据、报告跨越的时间段、所需数据的数据源,以及从不同来源获取数据的方式
- 报告数据是如何构造和呈现的?许多技术可以用于构造和展示数据。包括:
- 将KPIs逻辑分组,以在逻辑区域中显示报表,每个逻辑区域对应某一主题
- 聚合几个KPI以显示总体成功,有助于识别何处需要更多工作
- 定义报告如何基于分析属性分组,如区域或服务对数据进行分组,用以识别瓶颈
- 选择合适的可视化技术,如表格、图表或流程示意图。
2.5 关键度量指标项
应该在每个实践所贡献的价值流的背景下,评估ITIL实践的有效性和绩效。与任何工具的绩效一样,实践的绩效只能在其应用范围内进行评估。然而工具在设计和质量上可能有很大差异,这些差异决定了工具在根据其目的使用时的潜力或能力。
度量和报告实践的关键度量映射到其PSFs。它们可以作为价值流背景下的KPI,用于评估实践对这些价值流的有效性和效率的贡献。表2.3给出了一些关键度量指标项的示例。
表2.3 实践成功因素的关键度量示例
将度量指标正确地聚合成复杂的指标(请参阅2.4.1),将使数据更容易用于价值流的持续管理,以及定期评估和持续改进度量和报告实践。度量指标应基于组织的整体服务策略和优先级,以及实践所贡献的价值流目标而设定,而非遵循所谓唯一的最佳解决方案。
3.价值流和流程
3.1 价值流贡献
与任何其他 ITIL管理实践一样,度量和报告实践有助于实现多个价值流。需谨记价值流从不是由单个实践形成。度量和报告实践与其他实践相结合,为消费者提供高质量服务。实践对价值链活动的主要贡献是:
- 计划
- 改进
- 设计与转换
- 客户粘性
- 获取/构建
- 交付和支持
图3.1中可以看到度量和报告实践对价值链活动的贡献。
图3.1 度量和报告实践对价值链活动贡献的热图
3.2 流程
每个实践可以包括一个或多个流程和活动,这可能是实现实践的目的所必需的。
定义:流程
将输入转化为输出的一组相互关联或相互作用的活动。流程采用一个或多个明确的的输入,并将度量和报告实践形成了两个流程:
- 设计度量和报告系统
- 报告和评估。
3.2.1 设计度量和报告系统
该流程包括表3.1中所示的活动,并将输入转换为输出。
表 3.1测量和报告系统流程的输入、活动与输出
图3.2显示了该过程的的工作流程图。
图3.2 测量和报告系统流程设计的工作流
这些活动可由组织中的多人以不同形式进行。表3.2列出了一些流程活动的例子。
表 3.2 设计度量和报告系统的流程活动
3.2.1.1报告和评估
该流程包括表3.3中列出的活动,将输入转换为输出。
表3.3 活动和评估流程的输出输出
图 3.3显示了这个流程的工作流程图。
图3.3 报告评估过程的工作流
这些活动可由组织中的多人,以不同程度正式执行。表3.4提供了流程活动的示例。
表3.4报告和评估过程的活动
4. 组织和人员
4.1 角色、能力与职责
实践指南没有描述实践管理角色,如实践所有者、实践领导、或实践教练。相反,他们专注于每种实践所特有的专业角色。每个角色的安排和命名因组织而异,因此在ITIL中定义的任何角色都不应被视为强制性或推荐的。需谨记角色并非职位。一人可担多角,一角可给多人。
流程和活动的场景中描述了角色。每个角色都具有表4.1中所示模型的胜任能力概要。
表4.1能力代码和能力概要
表4.2列出了度量和报告实践中可能涉及的角色示例,以及相关的能力概况和具体技能。
表4.2负责度量和报告实践的角色示例
4.2 组织结构与团队
度量和报告实践是组织为实现价值共创所做一切的基础,因此人人有责。例如,实践管理者应该度量和评估实践,以提高其有效性和效率;服务和产品经理需向客户提供服务质量报告,以实现改进。
如果组织中有专门的团队,那么度量系统的开发实践、度量和报告方法的持续管理通常会委派给质量管理团队。
5. 信息和技术
5.1 信息交换、输入/输出
度量和报告实践的有效性,是基于所使用的信息的质量。包括但不限于以下信息:
- 组织的各级目标
- 组织的投资组合与服务供应
- 外部报告要求
- 基础设施监控数据
- 应用程序监控数据
- 业务事务监控数据
- 服务管理记录(事故、变更等)
- 客户和用户的反馈
收集和处理的信息主要用于生成报告。但信息在审计、质量管理、持续改进、服务合规等各种场景下也可能很有价值。因此,度量和报告实践应关注数据的质量(见第2.4.2节)。
度量指标通常以报告或仪表盘形式呈现,以支持良好的决策。它们应与信息的接收者相关,并与所要求的主题相关。报告和仪表盘应该令接收者很容易地看到需要做什么,然后采取行动。
报告中信息的内容、结构和呈现形式直接影响决策效率。为了支持决策过程,报告不仅应包括测量数据,还应包括处理结果,有时还应包括数据分析,以及包括:
- 目标与实际价值,以检测偏差和评估当前状态
- 随时间推移的KPI行为,以确定趋势和动态
- 比较和关联KPI,以分析趋势并确定瓶颈。
在第3节中列出了该实践的关键输入和输出。
5.2 自动化与工具
在大多数情况下,度量和报告实践可显著受益于自动化。表5.1中列出了涉及自动化可行有效的解决方案。
表5.1 测量和报告活动自动化解决方案
6. 合作伙伴和供应商
很少有组织仅仅使用自己内部的服务和资源。多数场合,组织都会依赖由外部第三方提供的服务(参见ITIL基础:ITILv4版第2.4节-服务关系模型)。在服务设计、架构管理和供应商管理的ITIL实践指南中描述了支持服务引入关系和依赖关系。
供应商和合作伙伴为组织提供服务并为组织的价值流做出贡献。 因此,相关的第三方合同、服务和关系是度量评估的对象。
供应商通过数据管理、报告和分析,在度量和报告方面发挥重要作用,增强组织能力。由于外部度量和报告服务包含高级分析报告、仪表盘工具、应用程序开发,因此大受欢迎。 此外,在服务管理工具中还有许多内置监控工具、内置的报告和分析功能,以及其他功能可作为供应商提供服务的一部分。
7. 重要提醒
实践指南的大部分内容,可作为一个组织在建立和支持自身实践的建议。实践指南是组织可能考虑的原则目录,而非答案列表。使用实践指南的内容时,组织应始终贯彻ITIL指导原则:
- 聚焦价值
- 从当前开始
- 通过反馈迭代推进
- 协作和促进可见性
- 通盘思考和工作
- 保持简单实用
- 优化和自动化。