“让教评结果更有说服力”，你还缺啥？

　　怎样用大数据平台把教学、教评打通，改进教学质量？相信Mita一定会给老师们带来不一样的“蜜汁”体验。

　　注：本文整理自麦可思2016年春季高校管理论坛

　　应运而生的Mita

　　Mita的全称是麦可思智能助教，研发灵感来自于我们与一线的高校管理者和老师的深度访谈。我们访谈的主要内容就是日常教和学过程当中真实的挑战。比如说有的管理者一直很想通过教改实现小班化教学，可他担心会增加老师的工作量；有的老师一直很想增加课上的互动，可他教的是几百人的公共课。所以我们最初设计Mita的时候，就在考虑如何让教学变得更加省力和有效，即提高边际收益率。有的高校管理者一直关注每到期末出现的挂科生，但是等到期末学校再向学生提供帮助就晚了，就好像飞机已经坠落了一样。所以我们设计Mita的时候就强调及时预警功能，好像飞机还在飞行过程中，一旦出现了故障，例如偏离航线，仪表盘上面就会闪烁起一盏红色的小灯。还有的管理者一直关注教评，尤其担心学生主观评价的真实可信程度会受到质疑，所以在设计Mita的时候强调要采集老师的教和学生的学这两方面的客观行为数据。因为教和学是日常的高频行为，所以我们可以积累丰富的行为数据，让教评的结果更具有说服力。

　　在研发过程当中，我们也专门学习了国家的政策，发现以下很多政策其实都可以给Mita发挥的空间，尤其是“加快信息技术与教育教学深度融合”，当然，我们也相信在实施的过程当中会遇到一些阻力，包括不让手机进课堂。2015年夏天，一位法国科学家跟我们说道，不要小看这一部小小的手机，它具有的计算能力已经超过了60年代美国国家航空航天局所有计算机具备的计算能力，可我们担心让它进课堂，其实是没有必要的。

　　政策链接

　　《教育部高等教育司2016年工作要点》

　　五、加快信息技术与教育教学深度融合

　　六、加强课堂教学管理，提升教师教学能力

　　七、加强高校教学质量保障体系建设

　　八、加强教育教学改革工程项目管理

　　我们还收集了真实教学过程中教师遇到的挑战。在教的时候，教师可能重复使用考题，或者说看错课表而旷课，引发一些教学事故。还有一种情况，因为现在教学跟绩效的挂钩越来越密切，有的老师可能会因为教学排名太靠后影响评职称。对学生来说，主要是因为生源下降，学校里会有一部分学生因学习困难导致休学、退学，甚至发生极端的自杀事件等。所以Mita 也特别希望在这方面提供帮助，终极目标是不让一个学生掉队，减少学生在学习方面的失败率。

　　高校大数据应用的五座高峰

　　高校现在面临的还有一个技术方面的挑战。我们在提到大数据的时候，会用五个特点来概括，简单来说就是大、杂、快、真、值。高校在应用大数据的时候，就需要跨越这五座高峰。

　　第一个就是“大”，这个最明显的就是海量数据的采集、存储以及处理。相信不少学校在选课高峰期，都曾暗自希望网络系统不要崩溃。

　　第二个是“杂”，高校数据的来源不一样，结构也不一样，有图片、有视频，还有学生在讨论区的留言。怎么样把这些来源和形式多样化的数据打通、对接和整合？这也是一个挑战。

　　还有一个挑战就是“快”，现在大家已经越来越没有耐心，一旦输入了数据，就马上需要收到反馈。就这个反馈的环节，其实也是一个挑战。很多高校管理者特别需要在数据方面有一个快速反应部队，比如，如果有学生投诉某老师教学不认真，这个管理人员需要花一周甚至更长的时间去人工采集证据，还是现在可以马上拿出手机或者打开电脑，看一下这位老师的教学行为究竟怎么样？

　　接下来是“真”，前面提到学生的主观评价。比如，这个学生不交作业，甚至他的成绩是挂科，再用他给的主观评价来评价教师，就值得商榷。如果缺乏客观的数据，我们上课的老师会觉得很委屈，负责教评的管理人员就会因为学生的主观评价背上黑锅。

　　最后的这个“值”也很有意思。就是大数据本身并不产生价值，只有经过专业的挖掘和分析，对我们实际的工作产生了帮助，那才会有价值。大家联想一下，为什么要讲数据挖掘，这就跟挖矿的道理一样。可能你挖出来的80%都是没有用的石头和沙子，只有经过专业的工作才让不到20%有价值的部分显露出来。这部分工作很辛苦、很枯燥，也很机械化。这部分工作就该通过平台或Mita来完成。让机器来做机器该做的事情，让人做人该做的事情。

　　Mita究竟什么样？

　　我们在设计的时候就考虑到一定要简单好用，只要你会上网，会用微信，操作Mita就完全没有问题。

　　目前已经有老师试过我们的系统，提了很多反馈。有的疑问是，如果学生在宿舍，他的同学把这些二维码或者代码用短信发给他怎么办?其实，上课的老师可以控制签到时间，比如说一分钟、三分钟，让学生不够时间来传送。

　　其实我们更加鼓励另一种做法，老师接下来用一系列互动过程来保证这个学生只有本人在课堂上才能够完成。比如测试，老师可以事先编好一些测试的题在课上发布，让学生实时填写。每一道测试题，老师可以看见每一个选项的人数，哪些学生选了，还可以追问，抽学生来回答。在高等教育的教学过程里，我们特别侧重一些布鲁姆分类法里的高端思考能力，其中就包括解决问题的能力、综合思考的能力。提问的环节可以考查学生是不是随便选了一个答案。

　　对学生的提问情况，老师还可以进行现场记录，因为如果班上有几百个学生，老师会记不清学生平时的表现，而Mita可以帮助老师记录学生在课堂上的表现。如果觉得学生回答得特别好，还可以给他一些奖励。

　　刚才我说了用Mita采集这些数据就是老师教和学生学方面的，其实这是第一步，接下来将这些数据汇总起来，真正变成管理工具，包括第一个给管理者用的仪表盘，还有给教师用的教学档案。我觉得教学档案很有意思。

　　Mita还可以给管理者提供“仪表盘”，当时设计的目的是让管理者不用进教室，也能够掌握教学的动态，比如说签到可以看每月、每周、每天甚至每小时，而且可以看院系的排名情况。对老师来说，他们更关心每一个学生掌握的知识，甚至精确到每一个知识点，这可以反映学生参与测试的情况，以及回答的正确率。对学生来说，一定要有及时的预警，老师可以在Mita系统里面设计一些预警的触发值，迟到、旷课或未交作业累计了一次、两次。而且我们可以给学生显示“你击败了班上百分之多少的同学”，因为同伴学习对学生的激励作用最大，最有竞争的动力。

　　总结一下，学校需要建立一个用于改进教学的大数据平台。这个大数据平台的发展趋势，会把现在已有的教学、教评甚至教务都打通。这个平台上的数据来源，一部分是高校已经有的，还有一部分可以通过麦可思的就业跟踪、教评、Mita或其他工具采集。当然不可避免的还会有一些噪音出现。平台上的这些数据经过专业工具的挖掘就可以产生价值。这种专业的挖掘，一定是一种积累，例如积累了三年的数据，就可以看出趋势。还有就是订制，一定要根据每个学校、每个院系不同的特点做一些二次开发。这种数据挖掘产生的结果，就可以用来做精准的分析，通过数据驱动进行精准管理，比如教师发展、战略规划、教学质量和专业建设等。

　　大数据如何改进高校教学？

　　接下来我给大家再举例说明，怎样用大数据平台把教学、教评打通，改进教学质量。这个例子是麦可思的教学质量管理平台。对比一下，这个教学质量管理平台和传统教评有哪些本质区别。首先，传统教评的发起时间一般在期末，已经没有办法对本学期这门课进行改进，但是平台可以及时改进。而且期末发起调查，评课学生动力不足，因为老师拿到这些评价再进行改进，受益的是下学期的学生，所以这有一个反馈与改进在时间上的错位。传统教评一般是全校统一的问卷，不分专业也不分年级，但是质量平台上有模块也有题库，不同学科、不同年级，管理者和老师可以灵活组卷、自由设计。传统教评是校级的统一行动，从上到下，但是质量管理平台的发起方至少包括四级：全校、院系、专业和教师。传统教评如果采用纸质问卷，采集与分析都太慢，不能做到实时可视化呈现，管理者不会随身带着一本厚厚的报告，而是随时拿出手机或者打开电脑，就可以查看这些数据。最后一点就是传统教评还是主观评价，加上Mita采集的客观行为数据，让教评结果更完整、更有说服力。

　　这样一个教学质量管理平台，其实面向三个层面的用户：校级、院系级、教师级。教师这一级以即时性评价为主，频率更高，精细度也更高。教师关注每一个学生对知识点的掌握情况。院系发起的评价频率会低一点，半个学期或者是每个月，或者遇到了评估、审核的时候，不需要精确到每个知识点的情况。到了校级发起的频率又会更低一点，而且校级更关心院系排名的对比。

　　总结一下，用大数据改进教学的四个理念：第一，建立一个大数据平台，把教学、教评、教务的数据都对接、整合、打通。第二，教学应当也可以变得省力、有效。第三，教评既要主观评价，也要客观依据。第四，教学质量的管理如果没有对过程进行管理，那么也就没有办法对结果进行控制。

　　麦可思研究所有原创内容，未经授权不得转载。对于使用产生的一切侵权问题，我们将保留依法追究的权利。专注高等教育，微信搜索“麦可思研究”查看更多内容。