不用考生实测就知道题难不难：这个AI试题评测框架把考试难度“量化”了 | TMLR

一道试题对人来说有多难，能否从大模型的解题过程中找到线索？

来自弗吉尼亚理工大学、马里兰大学、MBZUAI与匹兹堡大学的研究团队提出Epi2Diff：将大模型生成的推理轨迹拆分为“认知片段”，结合题目内容预测人类作答难度。

在SAT数学、SAT阅读与写作、Cambridge和USMLE四个真实测评数据集上，Epi2Diff在单次主实验的各项指标中均排名第一。其中，SAT数学难度分类准确率达到73.0%，比最强基线高3.2个百分点。

相关论文已被机器学习期刊Transactions on Machine Learning Research（TMLR）接收。

研究背景：题目语义之外，还有解题过程

判断新题难度是组卷和题库建设的基础工作。传统教育测量依赖考生作答数据标定，可靠但预试成本较高；仅分析题干语义，又难以判断解题过程究竟在哪里费力。

Epi2Diff将观察窗口延伸到解题过程：模型推演了多长时间、更多是在分析还是执行、是否反复切换策略？这些可统计的行为为难度预测提供了新的过程信号。

△Epi2Diff方法概览。图中LLM为流程示意；实验轨迹由QwQ-32B和Qwen3-32B生成。

需要强调，研究要预测的是人类题目难度。模型轨迹是可规模化获取的代理证据，最终仍由已有的人类难度标签进行监督，并非直接测量人类认知。

方法设计：把推理轨迹变成结构化特征

八类认知片段：模型在做什么？

一段推理往往包含理解题意、制定策略、执行计算和检查答案等不同活动。研究借鉴Schoenfeld的解题片段理论和ThinkARM扩展，将轨迹逐句归为八类：阅读、分析、计划、执行、探索、验证、监控和作答。

这些“片段”是句子功能标签，而非固定的八步解题流程。基于RoBERTa的分类器在ThinkARM的7067句人工标注数学推理测试集上达到79.9%准确率、0.761宏平均F1；目标领域补充标注评估的准确率为62.9%—74.2%，表明跨领域自动分类仍有误差。

83维过程特征：模型如何解题？

Epi2Diff进一步从轨迹中提取83维特征：3项长度统计、8类片段的词元数、8类片段的词元占比，以及64种相邻片段转移次数，分别刻画“投入多少”“投入在哪里”和“过程如何展开”。

例如，两条轨迹长度相近、分析与执行占比相似，但一条先集中分析再连续执行，另一条在分析与执行间频繁切换。转移特征保留了这类顺序差异。

△三道SAT数学题的轨迹统计。Total、Think、Answer按词数统计；Impl.等列是片段占比，如0.253表示25.3%。

实验通过QwQ-32B和Qwen3-32B，在直接作答及标为“弱、中、强”的提示条件下生成轨迹，再对特征取平均。这些提示用于诱导不同解题路径，不代表已验证的学生能力等级。

最后，将过程特征与Sentence-BERT得到的题目语义向量拼接，通过监督模型预测难度。四个数据集经验证集选择后，最终均使用XGBoost作为预测器。

实验结果：四类真实测评任务

分类与回归表现

评估包含1075道SAT数学题、1338道SAT阅读与写作题、793道Cambridge英语阅读题和667道USMLE医学题。两项SAT任务预测“简单、中等、困难”三类；另两项预测连续难度值。基线覆盖BERT等小模型微调、LLM零/少样本提示，以及全参数和LoRA微调。

△四个数据集的单次主实验结果。ACC、宏平均F1和R²越高越好；RMSE越低越好。

SAT数学准确率由最强基线的69.8%提高至73.0%，宏平均F1由0.705提高至0.728。SAT阅读与写作的提升较小：准确率由62.3%升至63.1%，宏平均F1由0.622升至0.626。

回归任务中，Cambridge的RMSE从8.200降至7.612，USMLE从0.298降至0.291；相应R²分别从0.299升至0.396、从0.076升至0.121。

重复实验与结果边界

补充的五次运行中，两项SAT任务的平均准确率和宏平均F1仍以Epi2Diff最高。但阅读与写作任务的领先幅度小于运行间波动，优势应谨慎解读。重复实验固定了轨迹与片段特征，仅改变下游预测器的随机种子。

消融分析：不是推理越长，题目就越难

SAT数学消融结果表明，性能提升不只来自轨迹长度。仅用题目语义时，宏平均F1为0.607；加入长度特征后为0.671；使用完整表示达到0.728。即使保留其他特征，去掉片段转移信息后也会降至0.676。

△SAT数学消融实验。正文引用最右侧Both(Role)列；Sem.为语义特征，FFea.为完整过程特征，Tran.为转移特征。

进一步的顺序打乱实验保留轨迹长度和片段频率，仅改变中间推理句子及标签的排列。原始顺序效果更好，支持局部转换顺序具有预测信息。

在SAT数学中，较难题目还伴随更多中间推演、更高的执行投入，以及更明显的“分析→执行”“执行→执行”“执行→分析”转移信号。不过，这些模式在其他领域复现有限，属于过程关联，不能视为人类认知的直接观测或因果证明。

应用价值：为题库建设提供可解释线索

Epi2Diff尝试把“题目如何被解答”转化为可比较的特征，为新题的难度预评估和人工审题提供辅助线索。实际使用仍需带标签的数据训练、目标人群验证及专家复核。其价值不是取代教育测量，而是为题目难度判断增加一组来自推理过程的证据。

论文标题：Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction
作者：Chenguang Wang*、Ming Li*、Xinyue Zeng、Zhuochun Li、Hong Jiao、Tianyi Zhou、Dawei Zhou（*共同第一作者）
论文链接：https://arxiv.org/abs/2606.28186
项目代码：https://github.com/c-steve-wang/Epi2Diff

文章来自于"量子位"，作者 "Epi2Diff团队"。