机器学习技术能有效地分析定性焦点小组数据吗?

挑战

比以往任何时候都多, 研究人员可以接触到各种各样的广泛信息, 丰富的, 来自多个来源的教育相关文本数据, 如文献数据库(e.g., 教育资源资讯中心, 在线课程/调查的开放式回答, 网上论坛, 面对面课程或焦点小组的转录音频, 数字的文章, 还有社交媒体.

数据可用性方面的这种进步(加上新兴的分析技术)可以极大地增加发现新模式的可能性, 研究效率, 以及在教育环境中检验新理论. 例如, 新兴的分析技术能否基于机器学习, 比如主题建模, 有效地分析定性焦点小组数据, 以及可以确定哪些限制和/或建议?

解决方案

我们为伍斯特理工学院提供了支持，将主题建模的使用扩展到从焦点小组收集的数据上，这些小组的教师对学生实施了一些数学技术干预:, a game-based perceptual learning intervention; DragonBox 12+ (DragonBox), a widely used game-based technology application; and 2 versions of ASSISTments (Immediate Feedback and Active Control).

我们比较了定性编码和主题建模的结果. 与文本挖掘中通常使用的文本数据不同, 如上所述, 这项研究中的焦点小组涉及动态的人类交流, 老师们在学习的过程中以一种有意义的方式分享思想和经验, 处理, 并对主持人和其他参与者做出回应. 在这个过程中, 演员(在这种情况下), 教师)不断地轮流(并同时聆听)扮演演讲者和听众的角色(Watzlawick等)., 1967*; DeVito, 2016*). 像这样, 交流的模式在不断演变, 在焦点小组中交换信息的方向和深度可能会因教师群体和调解人的技能而大不相同.

这项调查使用的信息是与伍斯特理工学院合作进行的一项更大的随机对照试验(RCT)的一部分, 缅因大学, 和印第安纳大学在COVID-19大流行期间.

更大的研究是在10所中学进行的随机对照试验(9所面对面，1所虚拟)。, 包括3,600+ 7年级学生. 本研究测试了三种教育技术干预对七年级学生代数理解的影响, (a) FH2T, (b) DragonBox, (c)即时反馈, (d)主动控制. FH2T和DragonBox条件代表基于游戏的应用程序的使用. 即时反馈包括使用在线作业系统ASSISTments的问题集. 为了本研究的目的, 主动控制条件模仿传统的家庭作业，但仍然使用技术.

作为更大研究的一部分, 教师参与焦点小组讨论(a)教师对学生对数学技术的反应的看法, (b)教师和学生在使用数学技术时遇到的挑战, (三)各种应用对学生学习的影响, (d)疫情对学生教学的独特影响, (五)对数学技术的改进建议. 在34名参与研究的教师中, 16个国家(47%)参加了4次焦点小组会议中的1次.

在这个调查中, 我们检验了主题建模是否能够从教师焦点小组数据中提取出与更多定性分析方法一致的模式. 我们在本研究中探讨的具体问题是:

• 定性编码方法和主题建模方法产生了哪些主题?
• 关于焦点小组数据的分析，主题建模有什么局限性?
• 对于其他可能尝试使用从焦点小组收集的数据进行主题建模的研究人员，我们有什么建议?

与其他形式的文本数据(如文学、书籍或论文)不同，在这些文本数据中，一种类型的信息(如.g., 演员信息, 关于数据源的信息, 关于发现的信息被组织在一个部分中, 焦点小组产生的数据反映了动态的人际交流(1).e., 参与者以有意义的方式分享想法和经验, 处理, 并回应主持人和其他参与者). 引导者还可以引导参与者回到焦点小组的问题上，或者跟随焦点小组讨论的方向, 取决于所提出的研究问题.

结果

主题建模结果与定性编码结果高度吻合. 主题建模和定性编码的最大区别是在更高的层次上对主题的组织/分类.g.， 5个主题vs. 3主题). 在较低的层次, 两种方法都确定了许多相同的子主题和, 因此, 结果表明，学生们对使用不同的数学技术的反应是相似的. 在检查两种不同方法(主题建模和定性编码)的编码和叙事结果时, 两位研究人员发现，主题建模方法在捕获定性编码能够识别的细微信息方面效果较差. 例如, 定性编码能够更好地提供学生对每种学习工具的具体反应的细节, 因此, 能够提供比主题建模更细微的发现吗. 类似的, 定性编码能够更好地识别学生群体的差异和特定信息.e.特殊教育学生和速成学生)比主题建模方法.

本研究成功地将话题建模的应用扩展到焦点小组数据上. 一起使用, 研究结果表明，主题建模是对焦点群体数据进行多种编码的可行方法. 它可以很容易地在定性分析之前使用，以确定节点(如.e., 主题)或同时进行或在定性分析之后，以确定定性分析中可能固有的优势和劣势. 定性编码员的好处是技术的快速特性，它允许使用主题建模进行更快的编码.

*注:

DeVito J.A. (2016). 人际沟通书 (14日艾德.). 英国伦敦:培生教育有限公司.

罗瓦兹拉威克,P.巴维拉斯，J.B.和杰克逊，D.D. (1967). 人类交际的语用学:对互动模式、病态和悖论的研究. 纽约，纽约州:W.W. 诺顿 & 公司.