测量和评估电子书

专家观点 测量和评估 INTRODUCTION 证明学习和发展的影响 培训行业的研究一直发现，衡量有效性是一种 对学习和发展(L&D)的挑战-但也是至关重要的对于一个成功的培训组织。它确保未来的培训计划将 适当的针对性，并帮助学习领导者证明投资回报(ROI) 提供培训预算的高管。 幸运的是，技术正在帮助进行测量、评估和评估 比以往任何时候都更容易。从大数据到高级分析再到自动化评估，学习型领导者比以往任何时候都拥有更多的数据-并且更容易分析这些信息并将其用于做出决策。有了这个然而，新发现的轻松带来了关于从哪里开始的困惑的可能性 以及如何浏览成堆的数据以提取最具可操作性、最具影响力的这些见解将推动学习者和公司的培训成果。幸运的是， 我们是来帮你把一只脚放在另一只脚前面的. 这本电子书探讨了测量和评估专家的观点： 他们对数据分析基础知识、评估培训的最佳实践的见解程序，以及有效评估学习者进出的工具和技术 在你的组织中使用这些技巧和策略将帮助你 确定L&D的影响，并向利益相关者证明其投资回报率。 我很想听听你对这一系列文章的看法TrainingIndustry.com的社区。随时联系我们info@trainingindustry.com. TomWhelan博士 培训行业有限公司企业研究总监. 关于测量和评估的专家观点|20194 CHAPTER1 DATA和分析基础 关于测量和评估的专家观点|20195 DATA和分析101：成功的提示公司培训 TarynOesch是TrainingIndustry，Inc.屡获殊荣的数字内容执行编辑。以及培训行业播客“学习商业”的联合主持人。 分析、预测分析、诊断、数据、大数据和数据挖掘都 公司培训中经常使用的术语。但是它们是什么意思，什么是培训专业人员需要知道吗？这里有一些成功的定义和提示。 数据、分析及其用途 在培训中，分析是衡量个人、系统或组织的绩效。培训诊断是检查和 通过评估、分析评估培训和组织绩效和数据收集。大数据是指难以 使用传统方法进行分析，但可以揭示重要的模式和为决策提供信息的关系。 “数据挖掘和预测分析”是数学和计算的集合 可以揭示数据新见解的技术，“根据JeffDeal的电子邮件 和GerhardPilcher，《挖掘自己的业务：高管入门》一书的作者理解和使用数据挖掘和预测分析。“ 数据挖掘将数据组织成模式和关系，并进行预测分析使用数据来预测未来。多亏了技术，人工 智能(AI)通过机器学习越来越多地用于这一过程，这自动化分析数据和做出预测的过程。 然后，使用计算机确保提出正确的问题，并且根据Peter的说法Qlearsite的联合创始人Clark利用他们的经验来解释AI告诉他们的内容：“人类提出好的、相关问题的能力和智能的结合 能够在大数据中搜索统计答案的机器非常强大”。 Deal和Pilcher表示，分析可以推荐新的培训并衡量其有效性，建议对现有培训进行更改以改善结果，并衡量“培训与员工保留”和“培训之间的关系” 和员工满意度。“。克拉克总结说，数据科学将证明‘ 学习的投资...简而言之，[确保]学习和发展功能为组织带来更多价值。” Degreed数据科学总监JamesDensmore在电子邮件中阐述 “数据科学是使学习体验更加个性化和使用“搜索和推荐算法”，员工可以学习 他们需要使用他们喜欢的模态或模态的技能。数据也可以帮助将学习者与同龄人联系起来，相互学习和协作。 为了在培训中获得数据和分析的好处，这里有一些提示。 1.使用相关数据。 “仅仅因为它很有趣并不意味着它很有价值，”Densmore谈到数据时说。提供给培训专业人员。了解您的业务需求，然后定义 可操作的指标，使您能够开发培训以满足这些需求。 “通常，”Deal和Pilcher说，“一个有效的基线测量自然会出现成为衡量ROI的有效工具。” “数据挖掘将数据组织成模式和关系，并且预测分析使用数据进行预测。” Qlearsite使用自然语言处理将书面文本转换为“可分析” 主题和情绪得分。“。高达80%的企业“人数据” 包括沟通、调查回复、绩效评估、评估 和其他书面文字，根据克拉克的说法。捕获这些信息很重要以一种可用的方式。 2.明智地利用技术。 算法从你提供给它们的数据中“学习”，“算法是 只有和你训练他们的数据一样好，”Densmore说。当使用机器学习或其他技术支持的分析技术，评估您的数据和 “将其定制为特定的域和用例。” 3.彻底的内容。 互联网上有大量的内容，学习者可以有效地使用 提高他们的表现。培训专业人员可以帮助确保他们获得 在正确的时间使用内容策展正确的内容。Densmore提醒L&D组织应将内容分类为相互关联的主题，而不是使用层次结构，它没有考虑到主题的相互关联性。 询问学习者他们想学什么，确定他们需要学习的技能 在他们的角色上，“看看他们一直在消费的内容”，然后使用所有这些数据在您的机器学习系统中推荐相关内容。 “数据和分析是企业培训中的强大工具，但前提是 它们被战略性地使用。" 4.不要过度简化。 克拉克说，“两个指标的简单关联可能会产生错误的信号。” 例如，一个培训计划的参与者的分数可能高于 参与者在另一个，但这是否意味着第一个程序更好？它可能另一方面，参加该计划的人可能比 其他计划的参与者。统计因素可以缓解这个问题，并且自动化可以帮助没有数学背景的L&D专业人员完成这种因素更容易。 5.沟通结果。 确保从数据中得出的结论传达给L&D经理。 他们需要知道“什么内容发挥了最大的作用，学习上的差距与行业趋势和新兴技术，”根据Densmore的说法。这样，他们可以战略性地规划项目和资源。 数据和分析是企业培训中的强大工具，但前提是它们被使用使用这些技巧，让你的数据为你和你的员工服务。 自定义免费订阅以接收相关内容。 我听说过的培训结果在哪里？ AndrewDornon是BTS的分析师，在那里他帮助销售组织思考 以前，他与他人共同创立并领导一家被资助的科技初创公司的增长和营销工作。 为什么每个人都谈论结果测量 结果衡量(特别是衡量业务影响，或第4级 柯克帕特里克模型）是任何行业的圣杯-包括培训。三十年前，营销人员害怕投资回报率(ROI)对话。随着 数字营销(以及相应的数据级联)，营销人员可以轻松地展示 他们的成本/营销合格领导(CPMQL)，并证明更大的预算是合理的。 这种类型的转变是所有培训专业人员都渴望的。尽管挑战、培训和支持各种不同的人继续预示着他们的致力于成果衡量。有具体的业务成果向领导者展示遵循培训计划将更容易要求更多的投资和 然而，对于尽可能多的结果测量讨论， 相对较少的培训(甚至销售培训)计划证明了它们的业务影响。 为什么测量结果如此罕见 转到任何培训会议或细读任何供应商网站，你会发现 每个人都承诺采取三个简单的步骤来衡量影响——然而这种情况很少发生。为什么？ 分析本身其实很难 您必须有权访问关键业务数据。然后，您必须构建您的提前实验，尽量避免混淆变量并进行回归 进行分析，以确保培训本身实际上推动了变革。这还不是全部令人惊讶的是，普通的培训机构在内部可能没有这种能力。 大多数人不想衡量结果 相反，大多数供应商和内部培训专业人员都受到激励，不要度量结果。在现状下，找到空结果（无或负变化） 对于一项重大的培训计划来说是有问题的，但它可能会发生更多比我们想象的要频繁得多。获得好的网更舒服 发起人得分，并确保你的利益相关者很高兴，而不是告诉他们 50万美元的培训计划的结果是nada。 我听说过的培训结果在哪里？ 你能做些什么使分析更容易 选择您已访问的数据和已测量的指标。创建 自然实验，所以你有控制组，而不遗漏大队列 从你的培训中。请战略、财务或运营分析师来帮助；他们会渴望看到ROI的证明或改进。从长远来看，你会想要使用数据来制定干预措施，然后观察这一指标的变化。 “改变组织激励措施，以奖励试验和 测量结果“。 改变文化和激励措施 在向领导层提出商业案例时，提出一个关于商业的公开假设 impact,andpre-committomeasuringit.Createaminimumviabilitytrainingprogram, 并在缩放之前测试您的假设。作为进行更多实验的交换，获得 Leadershipbuy-intoacceptinganullresult.Inthelongerterm,you’llwanttochange 奖励实验和测量结果的组织动机 而不是领导领导者和参与者喜欢的大型培训计划。 解决结果测量问题将改变我们构建能力的方式并推动我们组织内的绩效。但直到我们努力工作了解如何设计实验并改变我们内部的激励措施 组织，我们对自己和我们的同事都是有害的。培训将经历类似于过去几十年的营销转变。我们可以 要么等待它发生在我们身上，要么我们可以实现它。 自定义免费订阅以接收相关内容。 数据：事实或虚构 BonnieBeresford是人力资本和绩效改善战略家和董事 GPStrategies的绩效和学习分析，拥有超过20年的从业经验。她拥有人力资本管理博士学位，合著了《发展人类》一书。 资本：使用分析来计划和优化您的学习和发展投资，以及定期在行业会议上展示她与财富500强和非 盈利公司。 在一次伟大的体验式销售培训活动后两个月，学习领导者 吹嘘训练有素的销售人员做得有多好。上个月，他们卖了83 widgetsonaverage,whiletheiruntrainedcolleaguessoldonly60.Whenhepresent 结果到了销售领导团队，他的热情很快减弱了。他们解释说他们故意邀请更高的表演者参加活动，作为一种认可 他们的表现。 SP PT US T 培训真的成功了吗？销售结果是事实还是虚构的？ 这位学习领导者在分析数据时陷入了一个共同的陷阱：他没有挖得足够深。他的调查很短，他未能做出可信的 认为培训有助于增加销售额的论点。 许多因素都会影响员工的绩效，在可能的情况下，重要的是在测量计划中考虑这些元素。一个好的分析考虑到其他因素： •选择偏差 •Demographicfactors •组织环境 •与时间相关的事件 注意这些其他因素将提高任何分析。每个因素描述如下： SA:SPBATE US T BA SB：SPBATE US T BA 选择偏差 在体验式销售培训活动的情况下，根据设计，许多与会者 werealreadyhighperformers.Inotherwords,therewasabiasregardingwhocouldattendthetraining.Abestpracticeforanalysisperformanceistocompare每位员工的前绩效至培训后绩效(经过培训和 untrained)。考虑下面的两种情况。 在方案A中，学员已经是高绩效的。而他们的销售确实做到了改进，绩效较低、未经培训的员工改进更多。在方案B中，学员表现不佳，并意识到销售额的急剧增长。包括 分析中的先前表现增加了调查结果的洞察力和可信度。 人口统计因素 在培训的背景下，人口统计数据包括任何个人或群体特征。个人人口统计学的例子包括年龄和任期，以及群体人口统计的例子包括部门和地区。 请考虑以下示例，在该示例中，组织实现了多个提高员工敬业度的措施。有用吗？ E 75% 75% 100% 75% E50% S 25% 0% 去年今年 添加个人（年龄范围）和组（部门）人口统计数据提供一个有趣的参与观点。年轻人的参与增加了 employeesbutdecreasedamongolderones.Italsoincreasedinthecustomer 服务部门，但销售额下降。 E AG 100% 75% E S50% 25% 0% 去年今年 <3030-49>49 E D 10