教学能力发展

“医教争鸣”第十一期直播回顾|教育测量评价的理论与应用

2023-09-25 浏览次数:10

本期活动由中国医科大学副校长曲波老师和中国医科大学国际医学教育研究院左天明老师担任主讲。中国医科大学孙宝志老师、北京师范大学刘红云老师、国家医学考试中心张颖老师及中国卫生统计杂志社郭海强老师担任研讨嘉宾,围绕教育测量评价理论和实践的热点及前沿问题进行研讨,分享经验。中国医科大学国际医学教育研究院赵阳老师担任主持。
图片
▲赵阳老师担任主持人
主讲
环节

图片

▲曲波老师进行主题汇报

作为主讲人,曲波老师以《教育测量:理论与实践》为题作报告,聚焦教育测量与教育评价,介绍了教育测量的发展历程、指出了教育评价的重要作用和现实意义,深入浅出的阐述了经典教育测量理论和概化理论的概念、应用、优势和局限性等。同时结合多年教育评价改革的研究与实践,强调了试卷与试题分析的重要性,通过具体实例展示说明了如何提高命题质量。

图片

▲左天明老师进行主题汇报

随后,主讲人左天明老师以《项目反应理论在医学教育中的应用》为题作报告,介绍了现代教育测量中项目反应理论的产生背景及其实际意义。对各不同参数的项目反应理论进行了简介,并结合在计算机模拟病例(CCS)的具体应用详细介绍了如何应用Rasch模型分析提高医学教育的命题质量。

研讨
环节

图片

▲研讨环节

在研讨环节,孙宝志老师、刘红云老师、张颖老师和郭海强老师分别围绕“教育测量理论:经典测量理论、概化理论、项目反应理论”“教育测量理论对于提高命题质量有哪些帮助?”“如何应用教育测量理论指导题库建设与组卷?”“教育评价中的统计学思维与统计设计原则”等4个议题进行了精彩的发言、展开了颇具学术深度与应用实效的“争鸣”。

都有哪些“争鸣”?

我们一起来看看吧~

Q1


1、教育测量理论:经典测量理论、概化理论、项目反应理论

图片

图片

对于教育测量评价,我们知其然还要知其所以然。世界范围内的医学院校在教育测量与评价方面继承前人优秀成果并积极探索实践,做出了很多贡献。尤其从认知理论,发展到如今的第二代认知诊断,是对世界教育测量学发展的贡献。

认知诊断也可以应用于行为测试(performance test),而病案编写、评分方案设计和评分方法对于像计算机模拟病例这样的测试是重中之重,运用科学的教育测量理论指导标准化病人评分,探索自适应测验等新方法是保障运用现代信息技术科学、合理地估计被试能力的重要途径。

图片
图片


Q2


2、教育测量理论对于提高命题质量有哪些帮助?

图片

图片

我们应该对教育测量理论在医学教育领域如何保证考试的效度和信度有更多思考。测量工具能否真正考核出考生的能力,不是人为说能就是能,而是需要对实测数据进行科学分析并通过具体指标来判断。

教育测量理论产生、发展和拓展应用为考试科学性提高保障,并主要回答以下两个重要问题。第一、试卷的整体组成是首先要思考的问题,也就是测量结构的问题,要在考试的设计阶段就要清晰明确,例如:学科内容,题型,情境任务,认知分级等等指标的结构和比例,核心素养的有关能力怎么考,评分标准是否合理、评分点的区分度都是特别需要思考的问题。这都是保障考试效度的重要基础。第二、考试结束并不意味着考试测量的结束,试题指标的好坏,要从教育测量理论角度去思考,试题质量如何,测量误差的产生,是否还需要分析更多的指标都是我们要去思考的问题。考试以后还要对考试内容、难度、选项设计、拟合度等指标进行总结分析,哪里与设想的一样,哪里不一样,原因是什么?回答了这些问题并不断改进才能切实提高命题和考试的质量。 

图片
图片

Q3


3、如何应用教育测量理论指导题库建设与组卷?
图片

教育测量理论对于指导题库系统的建立有非常重要意义。经典测量理论计算简单,应用最广泛,但存在样本依赖的不足,不同区域、不同院校的数据计算出的试题指标在具体应用时可能会产生比较大的误差。项目反应理论计算起来相对复杂,而且很难充分满足单维度的假设前提,因此在医学教育领域中的应用比较受限。

医师资格考试是高风险考试,在保证其效度、信度的同时,还要考虑等值化,这样不同区域测量的结果才可以进行比较,并提供认知诊断。国家医学考试中心也在心血管等领域小范围尝试概化理论研究和实践,对于规范评分,减少考官数,保证评分者信度有深远意义。

图片
图片


Q4


4、教育评价中的统计学思维与统计设计原则
图片

图片

教育测量与评价都是统计学原理的具体应用,也看到发表的统计学相关论文中也有很多医学统计专家在教育测量的实践进行了具体研究和推广应用的努力。我们也发现在医学教育领域,教育测量工具在心理测量中应用比较多,今后也希望有更多的医学考试应用研究。同时在教育科研中也要普及提高并规范统计研究模型与范式。

图片
图片

部分线上参会老师合影左右滑动查看更多)

  

最后,赵阳老师进行了活动总结,本期活动在线观看人数达到400人次。

                                                                                                         转自——全国医学教育发展中心微信公众号