百度 AI Agent 开发二面:流式解析、判分口径与事务边界
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 你的项目需要等待模型生成内容。流式输出能解决什么问题?首字延迟和总耗时应该怎么区分?
- 如果流式返回 JSON,你能每收到一段就
json.loads吗?怎么判断它完整结束了? - 如果流式生成到一半中断,能让模型「接着写」,然后把新文本拼到原来后面吗?重新生成和断点续传有什么区别?
- 结果完整拿到了,接下来谈正确性。你的助手为什么用程序判断单选答案,却只把模型的简答反馈当学习建议?
- 要评估刚才说的简答判断,只看准确率够吗?假设 100 份答案里只有 10 份实际有错,全判正确会发生什么?
- 根据这些失败样本修改提示词以后,原来那批题效果明显变好了,能说明方法更有效吗?
- 这些评估要调用真实模型,但日常开发不能每改一行都跑一遍。Mock 测试和真实模型评估分别验证什么?
- 查询之外,保存测验要写主表和题目明细。事务应该覆盖哪些步骤?为什么不把模型生成也包在事务里?
- 如果两个用户几乎同时保存,SQLite 使用 WAL 模式就能让它们同时写了吗?该怎样处理忙锁?
- 最后给一个排查题:要求生成五题,页面提示成功,但重新打开只看到两题。你会先查什么,怎么判断是哪一层的问题?
《参考解析》
流式输出改善的是等待感知,不是总耗时:首字延迟(TTFT)从发起请求到收到第一个可展示的字符,总耗时到最后一个字符结束,两者要分开度量。流式让用户在生成过程中就看到进展,但不能缩短模型的总生成时间,也不改变可靠性。排查「响应慢」时先分清用户说的是「一直没有内容」还是「有内容但迟迟不结束」,前者查连接、鉴权与上游排队,后者查生成长度、停止条件与网络分段。界面上的预览要与正式结果区分:预览可以逐段展示,正式结果必须等整体校验通过后再标记为可用。
流式 JSON 不能逐段解析:网络分块与 JSON 语法边界没有对应关系,一段可能停在字段名、字符串或转义字符中间。SSE 一类协议还会插入事件行与心跳,必须按协议先切出数据增量,再处理业务内容。稳妥做法是累积文本,在收到正常结束事件后整体解析与校验;若要提前展示,需要增量解析器并明确「一道题在什么时候闭合」,不能靠数大括号——字符串内部同样可能出现括号。还要校验结束原因:正常结束、达到输出上限、连接中断对应不同状态,只有前者可以作为成功。
重新生成不等于断点续传:模型请求是无状态的,「接着写」是一次新的生成,可能重复开头、改变题目顺序甚至推翻先前的答案。真正的续传依赖服务端持久化任务与可恢复的事件位置,是否支持要查具体接口。工程上更可靠的是应用层组合:保留已经完整且通过校验的题,只补生成缺失的题,最后统一做去重、题数与知识点覆盖检查;界面替换草稿而不是把两次响应直接拼接。同时要限制重试次数,避免恢复逻辑不断产生新请求。
程序判分与模型判分的边界:单选题在标准答案已核对、选项顺序固定时,程序比较选项标识即可得到确定、可复现、可测试的结果;让模型每次重新判断反而增加波动与成本。但这只保证执行既定标准,标准答案本身错了程序会稳定地判错,所以出题阶段仍要检查依据与选项歧义。简答题有多种正确表述,字符串匹配过严,需要按知识要点、必要条件和可接受的同义表达判断;可以让模型输出「满足与缺失的要点 + 证据」,但模型声称确定不能当作正式成绩,定位是学习辅助就保留争议反馈并允许人工复核。
类别不平衡下准确率会失效:100 份里 10 份有错,全判正确仍有 90% 的准确率,但一个错误都没找出来。把「实际有错」设为正类,精确率衡量被标错的样本中真正错的比例,召回率衡量全部错误中被找出的比例。设系统标出 8 份、其中 6 份确实错,则精确率 75%、召回率 60%,误报 2 份、漏报 4 份,准确率仍有 94%。对学习反馈而言,误报会误导学生,漏报会放过误解,两者要同时看,并按知识点、答案长度分层检查失败样本。
按失败样本改提示词会过拟合:反复参考同一批结果调整提示词,等于把这批样本当成了训练集,改善可能只对它们成立。要划分调试集与保留的测试集,并按章节或资料来源分组,避免近似题跨集合泄漏;比较新旧提示词时固定模型版本、参数与其他配置,必要时重复运行观察波动;分别统计误报与漏报的变化,而不是只报一个总分。
Mock 与真实模型评估的分工:Mock 用预设响应验证程序分支——正常结果、字段缺失、拒绝、超时、流中断——检查是否误保存、状态是否正确;它的价值是稳定触发分支,不能证明模型会生成合格内容。真实接口集成测试确认请求格式、事件解析与参数仍然对得上;内容评估用带判断依据的样本检查出题与反馈质量。把模型调用放在可替换的适配层,日常跑确定性逻辑测试,改提示词或换模型时再跑内容评估,质量下降时才能区分是解析出错还是模型输出不合格。
事务的边界:事务只覆盖需要共同成功的数据库写入,即插入测验主表与全部题目明细;完整内容先生成并完成结构与业务校验,再开启短事务写入,异常整体回滚,避免主表存在而明细只有一部分。模型调用耗时长且无法通过数据库回滚撤销已经发生的推理与费用,放进写事务既得不到跨服务的原子性,又会延长写锁持有时间;在 SQLite 这种单写者模型下代价更明显。
WAL 不是多写并发:WAL 改善的是读写并发——读者读快照、写者追加日志,读写可以更多并行——但仍然只有一个写者。遇到 database is locked 先检查事务是否过长、连接是否及时提交或回滚,再设置合理的 busy_timeout;对确定可重试的操作在回滚后做有限次重试,请求是否已提交不确定时用业务幂等键查结果,避免重复保存。只有持续写入竞争确实影响目标需求时,才评估换用支持并发写的数据库。
「五题变两题」的排查顺序:沿同一次请求用请求标识串起证据,先确认数据库里到底有几题。库里有五题,问题在读取条件、分页或前端状态;库里只有两题,再对照生成结果、校验结果与保存日志。合法 JSON 不等于满足五题要求,若模型只生成两题而程序判为合格,问题在业务校验;校验时有五题而写入后只剩两题,则查是否逐题提交、异常被吞或部分写入发生在事务外。修复后用桩复现三条路径:只返回两题的完整 JSON 应被拒绝,第三条明细写入失败时主表与前两题一并回滚,正常路径重新查询返回五题。