测量和评估电子书

专家观点 测量和评估 内容 04Introduction 第1章数据和分析基础 数据和分析101：企业培训的成功秘诀 06 TarynOesch，CPTM|管理编辑，数字|培训行业有限公司。 我听说过的培训结果在哪里？ 09 AndrewDornon|分析师|BTS 数据：事实或虚构 11BonnieBeresford|绩效和学习分析总监|GP策略 第2章：程序测量衡量学习效果 19SerafimMendonca|企业发展高级副总裁|ClarityConsultants 在衡量培训ROI时要记住的5个注意事项 22DanBiewener|培训研究总监|Simplilearn 你的多样性和包容性计划有多有效？ 25 TarynOesch，CPTM|管理编辑，数字|培训行业有限公司。 培训评估最重要的受众？不是你想的人MichaelP.Lembach博士|全球研发副总裁|WilsonLearningWorldwideJasonMyers|全球评估总监|WilsonLearningWorldwide 29 培训能拯救生命吗？案例研究 32 PaulLeone博士|高级ROI顾问|Verizon 关于测量和评估的专家观点|20192 第3章评估工具和技术 36 如何评估评估：关于选择和发展评估的知情决策 ScottGregory|CEO|Hogan评估 40 课堂评估：早期和经常问 DougNicotera,M.Ed.|高级教育工作者和多媒体制作人|宾夕法尼亚州立大学健康医疗集团 43 你怎么知道你的训练是否奏效？尝试使用原型 StacieComolli,M.Ed.|学习和表演总监|TTA 关于测量和评估的专家观点|20193 INTRODUCTION 证明学习和发展的影响 培训行业的研究一直发现，衡量有效性是学习与发展（L＆D）的挑战，但对于成功的培训组织而言也至关重要。它确保未来的培训计划具有适当的针对性，并帮助学习型领导者向提供培训预算的高管证明投资回报（ROI）。 幸运的是，技术正在帮助测量、评估和评估比以往任何时候都更容易。从大数据到高级分析再到评估自动化，学习型领导者比以往任何时候都拥有更多的数据，而且更容易分析这些信息并将其用于决策。然而，这种新发现的轻松带来了潜在的困惑，即从哪里开始，以及如何浏览成堆的数据，以提取最可行、最有影响力的见解，从而为学习者和公司带来培训成果。幸运的是，我们在这里帮助您将一只脚放在另一只脚的前面。 这本电子书探讨了测量和评估专家的观点：他们对数据分析的基础知识，评估培训计划的最佳实践以及有效评估课堂内外学习者的工具和技术的见解。在组织中使用这些技巧和策略将帮助您确定L＆D的影响并向利益相关者证明其ROI。 我很想听听您对TrainingIndustry.com社区的这组文章的看法。请随时通过info@trainingindustry.com与我们联系。 TomWhelan博士 培训行业有限公司企业研究总监. 关于测量和评估的专家观点|20194 CHAPTER1 数据和分析基础 关于测量和评估的专家观点|20195 数据与分析101：公司培训成功的提示 TarynOesch是TrainingIndustry，Inc.屡获殊荣的数字内容执行编辑，也是培训行业播客TheBusinessofLearning 的联合主持人。 分析，预测分析，诊断，数据，大数据和数据挖掘都是企业培训中经常使用的术语。但是它们的含义是什么，培训专业人员需要知道什么？以下是一些成功的定义和提示。 数据、分析及其用途 在培训中，分析是衡量个人、系统或组织绩效的过程。培训诊断是通过评估，分析和数据收集来检查和评估培训和组织绩效的过程。大数据是指复杂的大型数据集，难以使用传统方法进行分析，但可以揭示重要的模式和关系，为决策提供信息。 数据挖掘和预测分析“是数学和计算技术的集合，可以揭示数据中的新见解，”JeffDeal和GerhardPilcher 的电子邮件说，他们是“挖掘自己的业务：理解和使用数据挖掘和预测分析”的作者。 数据挖掘将数据组织成模式和关系，预测分析使用这些数据对未来进行预测。得益于技术，人工智能（AI）通过机器学习越来越多地用于此过程，该过程可自动执行分析数据和进行预测的过程。然后，使用计算机的人确保提出正确的问题，并根据Qlearsite联合创始人PeterClar的说法，利用他们的经验来解释AI告诉他们的内容：“人类提出好的，相关的问题的能力与能够在大数据中搜索统计答案的智能机器的结合非常强大。." Deal和Pilcher表示，分析可以推荐新的培训并衡量其有效性，建议对现有培训进行更改以改善结果，并衡量“培训与员工保留之间的关系”以及“培训与员工满意度之间的关系”。克拉克总结说，“数据科学”将证明学习的“投资回报”……简而言之，[确保]学习和发展功能为组织带来更多价值。." Degreed数据科学总监JamesDesmore在一封电子邮件中写道：“数据科学是使学习体验更加个性化和社交化的关键。使用“搜索和推荐算法”，员工可以使用他们喜欢的一种或多种模式来学习他们需要的技能。数据还可以帮助学习者与同龄人联系起来，相互学习和协作。 为了在培训中获得数据和分析的好处，这里有一些提示。 1.使用相关数据。 “仅仅因为它很有趣并不意味着它很有价值，”Densmore谈到培训专业人员可用的数据。了解您的业务需求，然后定义可操作的指标，使您能够开发培训以满足这些需求。”通常，“Deal和Pilcher说，”有效的基线度量自然会出现，成为衡量ROI的有效工具。” “数据挖掘将数据组织成模式和关系，预测分析使用数据进行预测。 Qlearsite使用自然语言处理将书面文本转换为“主题和情感的可分析分数”。克拉克说，多达80％的企业“人员数据”包括通信，调查回复，绩效评估，评估和其他书面文本。以可用的方式捕获这些信息很重要。 2.明智地利用技术。 Densmore说，算法从你提供给他们的数据中“学习”，“算法只和你训练他们的数据一样好”。当使用机器学习或其他技术支持的分析技术时，评估你的数据并“根据特定领域和用例定制”。 3.固化内容的想法。 互联网上有大量的内容，学习者可以有效地使用这些内容来提高他们的表现。培训专业人员可以帮助确保他们使用内容策展在正确的时间访问正确的内容。Desmore警告说，L&D组织应该将内容分类为相互关联的主题，而不是使用层次结构，因为层次结构没有考虑主题的相互关联性。 询问学习者他们想学什么，根据他们的角色确定他们需要学习什么技能，“看看他们一直在消费的内容”，然后使用机器学习系统中的所有数据来推荐相关内容。 “数据和分析是企业培训中的强大工具，但前提是它们被战略性地使用。 4.不要过度简化。 克拉克说，“两个指标的简单关联可能会产生错误的信号。”例如，一个培训计划的参与者可能比另一个培训计划的参与者得分更高，但这是否意味着第一个计划更好？可能是；另一方面，参加该计划的人可能比熟练 其他计划的参与者。统计因子分解可以缓解这个问题，而自动化可以帮助没有数学背景的L＆D专业人员更轻松地完成该因子分解。 5.沟通结果。 Densmore认为，确保从数据中得出的结论传达给L&D经理。他们需要知道“什么内容产生了最大的影响，学习与行业趋势和新兴技术之间的差距”。这样，他们就可以战略性地规划项目和资源。 数据和分析是企业培训中的强大工具，但前提是它们被战略性地使用。使用这些技巧，让你的数据为你和你的员工服务。 自定义免费订阅以接收相关内容。 我听说过的培训结果在哪里？ AndrewDornon是BTS的分析师，在那里他帮助销售组织思考销售的未来。此前，他共同创立并领导一家资助技术初创公司的增长和营销工作。 为什么每个人都谈论结果测量 结果衡量（特别是衡量业务影响，或柯克帕特里克模型的第4级）是任何行业的圣杯-包括培训。30年前，营销人员对投资回报率（ROI）的对话感到恐惧。随着数字营销（以及相应的数据级联）的出现，营销人员可以轻松显示他们的每个营销合格线索（CPMQL）的成本，并证明更大的预算是合理的。 这种类型的转变是所有培训专业人员都渴望的。尽管面临挑战，但各种培训和支持人员继续预示着他们对结果衡量的奉献精神。在培训计划之后，有具体的业务成果向领导者展示，将更容易要求更多的投资和员工人数。然而 ，对于尽可能多的结果衡量的讨论，相对较少的培训（甚至销售培训）计划证明其业务影响。 为什么测量结果如此罕见 去参加任何培训会议或细读任何供应商网站，你会发现每个人都承诺三个简单的步骤来衡量影响-但这种情况很少发生。为什么？ 分析本身其实很难 您必须有权访问关键业务数据。然后，您必须提前构建实验，尽量避免混淆变量并进行回归分析，以确保培训本身确实推动了变化。普通的培训组织内部可能没有这种能力，这并不令人惊讶。 大多数人不想衡量结果 相反，大多数供应商和内部培训专业人员都被激励不衡量结果。在现状下，发现一个空的结果（没有或消极的变化）将是一个主要的培训计划的问题，但它可能会发生更频繁比我们想相信。获得良好的净发起人分数并确保您的利益相关者高兴要比告诉他们50万美元的培训计划的结果要舒服得多。 我听说过的培训结果在哪里？ 你能做些什么使分析更容易 选择您已经有权访问的数据和已经测量的指标。创建自然实验，以便您拥有控制组，而不会在训练中遗漏大型队列 。引入战略，财务或运营分析师来提供帮助；他们将渴望看到ROI的证明或改进。从长远来看，您需要使用数据来制定干预措施，然后观察该指标的变化。 “改变组织激励措施，以奖励实验和测量结果。” 改变文化和激励措施 在向领导层提出商业案例时，提出关于商业影响的公开假设，并预先承诺对其进行衡量。创建一个最小可行的训练计划，并在扩展之前测试您的假设。作为进行更多实验的交换，获得领导支持以接受空结果。从长远来看，你需要改变组织的激励措施来奖励实验和测量结果，而不是领导领导者和参与者喜欢的大型培训计划。 解决结果衡量问题将改变我们在组织中构建能力和推动绩效的方式。但是，除非我们努力理解如何设计实验和改变组织内部的激励措施，否则我们对自己和同事都是一种伤害。培训将经历类似于过去几十年的营销转变。我们可以等待它发生在我们身上，或者我们可以让它发生。 自定义免费订阅以接收相关内容。 数据：事实或虚构 BoieBeresford是GPStrategies的人力资本和绩效改善战略家和绩效和学习分析总监，拥有超过20年的从业经验。她拥有人力资本管理博士学位，合著了《发展人力资本：使用分析来计划和优化您的学习和发展投资》一书，并定期在行业会议上介绍她与《财富》500强和非营利公司的获奖作品。 在一次大型体验式销售培训活动后的两个月，这位学习型领导者吹嘘受过训练的销售人员做得有多好。上个月，他们平均售出83个小部件，而未经培训的同事仅售出60个。当他将结果提交给销售领导团队时，他的热情迅速减弱。他们解释说，他们有意邀请较高的表演者参加活动，以表彰他们的表现。 100 80 60 已售出单位 40 20 销售业绩（培训后） 60 83 0 受过训练 未经训练 培训真的成功了吗？销售结果是事实还是虚构的？ 这位学习领导者在分析数据时陷入了一个常见的陷阱：他没有深入挖掘。他的调查很短，他没有提出可信的论点，即培训有助于销售增长。 许多因素都会影响员工的绩效，在可能的情况下，在测量计划中考虑这些因素非常重要。 •选择偏差 •人口因素 •组织环境 •与时间相关的事件 注意这些其他因素将提高任何分析的质量和实用性。每个因素描述如下: 场景A：销售业绩（培训活动前v后 ） 已售出单位 100 83 60 80 60 40 20 0 受过训练 之前 未经训练 After 场景B：销售业