AI 生成内容泛滥，未来题库建设如何应对 AI 生成试题质量问题
大模型写题已经不是新鲜事——一句话生成二十道选择题，十秒钟出一份练习卷，效率让人惊喜。但用过的人都知道另一面：答案是错的、选项是含糊的、题干自相矛盾、难度忽高忽低，甚至同一套题里出现重复。题库一旦掺进大量低质量 AI 生成题，损失的不只是几道题，而是整库的信任。这篇文章讨论的不是“要不要用 AI 出题”，而是怎么用才不出事：AI 生成题有哪些典型缺陷、如何建立拦截机制、人机分工怎么划、未来题库的质量防线该搭在哪。
一、AI 出题的吸引力在哪
先把话说公道：AI 生成试题并非一无是处，它的优势是真实的。传统命题需要教研人员查阅课标、翻阅教材、推敲选项，一道好题耗时可达数十分钟；大模型能在秒级产出成批题目，且覆盖知识点广、表述多样，对于题量需求大、重复性强的练习场景，效率提升是数量级的。
它尤其适合三类场景：一是补充练习量，在已有高质量母题基础上做变式；二是覆盖长尾知识点，那些人工较少顾及的冷门考点；三是快速生成初稿，给教研老师做二次加工的底料。换句话说，AI 最合适的定位是“出题助手”，而不是“出题责任人”。把定位摆正，后面所有质量控制的设计才有前提。
但现实中，很多机构因为工期紧、预算少，直接用 AI 批量生成并入库，中间缺少把关环节。这就把“助手”当成了“责任人”，问题随之而来。
二、AI 生成题的五类典型缺陷
根据我们在题库加工项目中的实际抽检经验，AI 生成题最常见的问题可以归纳为五类：
第一类，答案错误。 这是最致命的。模型会把错误答案写得极其自信，甚至配上“详尽解析”。理科尤其危险：计算步骤看似严谨，中间某一步系数或单位错了，结论跟着错。人文类则表现为张冠李戴、时间错位。
第二类，题干与选项不自洽。 题干问“下列说法正确的是”，四个选项却没有一个完全正确；或者选项之间存在包含关系，导致多选；或者题干缺少关键限定条件，答案不唯一。这类题人工扫一眼容易漏，但学生会立刻卡住。
第三类，重复与同质化。 同一批生成的题目里，常常换了个数字或换了个主语，实质是同一道题。去重算法能拦掉高度相似的，但“换汤不换药”的变形题需要语义层面识别，难度更高。
第四类，难度失控。 模型对“难度”的理解不稳定，标着中等难度的题可能偏到竞赛水准，或者简单到毫无区分度。没有实测数据支撑的难度标注，基本不可信。
第五类，超纲与表述不严谨。 出现教材尚未涉及的知识点、使用了不在本学段词汇范围内的用语，甚至题干本身有歧义。这类问题直接影响测评的公平性。
三、防线一：让 AI 在约束里出题
第一条防线是把约束前置，而不是生成后再挑错。核心做法有三点：
一是给足上下文。 让模型知道这是给哪个年级、哪种教材版本、什么难度区间、什么题型出题。上下文越具体，生成的偏差越小。缺少约束的开放式生成，是质量问题的最大来源。
二是提供样例。 给模型几道经过验证的母题作为样例，让它按同样的风格和结构生成，比纯文字描述要求更有效。样例相当于给模型一个参照系。
三是结构化输出。 要求生成结果直接带上知识点、难度、答案、解析等字段，而不是自由文本。结构化输出不仅便于入库，也让后续的自动校验有抓手——字段缺失本身就是一道自动拦截。
四、防线二：机器自动校验
第二条防线是用规则兜住明显的错。可以自动化的检查至少包括：
答案自洽性校验：把所有选项逐一代入题干，验证逻辑是否成立；多选题答案数量是否符合规则；填空题的答案是否落在合理范围。
去重与相似度检测：与库中已有题目做相似度比对，超过阈值即标记为疑似重复，转人工判断；同时对同批次内部做互查，防止批量雷同。
格式与符号校验：数学公式是否语法合法、特殊符号是否缺失、图片引用是否存在、答案与题干是否一一对应。这类问题机器查得又快又准。
约束合规校验：知识点是否在课标范围内、难度标签是否落在指定区间、题型字段是否合法。
机器校验的价值在于批量、稳定、不疲倦，能把百分之七八十的明显问题拦在人工之前，让有限的教研精力集中到真正需要判断的地方。
五、防线三：人工审核不可省
第三条防线是人工，也是最不可替代的一环。AI 生成题最大的风险恰恰是“看起来都对”——机器查不出逻辑陷阱，模式识别也抓不到“答案虽然唯一但其实有争议”的情况。这类问题只有懂学科的人能发现。
有效的人工审核不是逐题精读（那样成本会抵消 AI 的效率优势），而是分层抽样加重点复核：对每批次按一定比例抽检，重点复核高风险题型（计算、推断、多选）；对知识点首次出现的题、模型置信度低的题，加大审核力度；对抽检出问题的批次，回溯整批重审。
另外一个容易忽略的做法是让 AI 交叉验证：用另一个模型或同一个模型的不同提示词，对已生成的题目重新作答，看能否得到同样的答案。答案不一致的题目自动进入人工复核队列。这道“机器互检”能显著降低漏检率。
六、防线四：用实测数据给难度定价
第四条防线是把难度从“标注”变成“实测”。AI 标注的难度不可信，真正可靠的难度来自学生作答数据：一道多少人答对了，就是它的难度；高分组与低分组答对率的差距，就是它的区分度。
题库一旦投入使用，就应当建立回流机制：每次考试或练习的结果回写到题库，自动更新每道题的难度、区分度、作答次数。跑够一定数量的样本，题目的真实参数才能稳定下来。这也是为什么新入库的 AI 生成题应当先小范围试用，而不是立刻大范围铺开。
从长期看，这套回流数据还有更重要的用途——反过来筛选优质生成提示词。哪些提示词生成出来的题目实测质量高，就把它们固化成模板，形成正循环。题库运营的价值，正是在这种“用产生数据、数据优化生产”的闭环里积累出来的。
七、人机分工怎么划才合理
把四条防线串起来，可以划出清晰的分工：AI 负责产量，负责快速生成候选题目、生成变式、生成解析草稿；机器负责规则，负责格式、去重、自洽性、相似度的批量筛查；人负责学科判断，负责抽检、争议判定、超纲把关、最终入库签字；使用数据负责校准，负责让难度和区分度回到真实。
这套分工的关键在于人始终握着最终裁定权。AI 是产能工具，不是质量责任人。当出现争议时，以学科教研的判断为准，而不是以模型输出为准。这条原则守住，题库的质量底线就守住了。
成本上也要算清账：完全人工出题成本最高但质量最稳；AI 加四道防线能把单题成本压到纯人工的几分之一，同时把错误率控制在可接受区间；纯 AI 不设防，成本最低但风险最大——一旦错误题流入正式测评，造成的损失远超省下的钱。这笔账在考试、认证、评价类场景尤其重要。
八、给题库建设者的三点建议
第一，不要一次性大批量生成后集中入库。小批量生成、及时抽检、确认质量稳定再放量，避免“一次性几万道里掺了三千道错题”的灾难。
第二，给 AI 生成题打来源标记。在元数据里标注“AI 生成”“已人工复核”“已实测”等状态，日后一旦某道题出问题，可以快速定位同批次、同提示词的所有题目，做到可追溯。
第三，把质量指标写进验收。与供应商或内部团队协作时，明确错误率上限、抽检比例、去重率、退题机制。用数据验收，而不是“看着差不多就行”。
AI 让出题变快了，但没有让出题变简单。未来题库建设真正的竞争力，不在于能不能批量生成，而在于有没有一套把错误拦在入库之前的质量体系。谁把这道防线搭得扎实，谁才敢让自己的题库被反复使用。
关于我们
本文由 北京海天雷鹰科技有限公司 整理发布。
公司成立于 2001 年，专注档案整理与数字化、试题结构化录入、期刊校对、数据标注等一站式数据服务 20 余年。针对标准文档形近字符识别、复杂公式排版、多层级档案规整、题库结构化加工等行业难点形成成熟作业方案，适配科研院所、教育机构、企事业单位的批量数据处理需求。
累计完成数十万份专业文档数字化、题库结构化加工项目，服务过多家科研机构、院校及企事业单位。核心团队 20 年以上行业经验，建立多层级质检审核机制，数据成果准确率稳定可控；持有 ISO 9001/27001 等体系认证、多项自主软件著作权、企业信用 AAA 等级。
如果您有档案数字化、试题录入、数据标注、EPUB电子书等方面的需求，欢迎联系我们：
- 电话：010-84907553
- 邮箱：736232918@qq.com
- 官网：www.beijingocr.com
本文为原创科普内容，如需转载请注明出处。关注我们，持续分享数据服务行业的实战经验与行业洞察。