易思维 测试开发一面:造数 Skill 协议、OCR 评测与 RAG 切片策略
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
测试流程与需求
- 你所理解的一个完整的测试流程大概是怎样的?
- PRD 文档给到你时,出现哪些问题你认为必须要修改?
造数 Skill 与机器人
- 造数 Skill 建设中,大模型造数容易出现参数幻觉,你在 Skill 的 Markdown 里怎么定义 thought、action、observation 中 action 环节的动作与造数规则?
- 用户要求造 10 个带 A 标签的状态异常账户,大模型解析出「10」和「A 标签」传给脚本,脚本如何验证这两个参数的合法性、确认准确?
- 飞书机器人接入时排查到并发上下文串用问题,这个问题具体是怎么排查的?
OCR 评测
- 传音 OCR 多语种效果校验里,字符精确度、召回率具体怎么计算?
- OCR 评测集的规模大概有多大?
- OCR 评测 F1 分数很高,但业务上识别不准,可能是什么原因?
- Badcase 归因时,专有名词误识别、特殊字符识别异常,如何定位到具体根因?
切片与 AI 排障
- AI TestOps 智能测试平台做切片优化,为什么把切片长度定在 300~1000 字符?
- PRD 里有复杂表格,切片策略容易把表格切断,你会怎么优化?
- 表格跨两页的情况下,怎么保证上下语义连通?
- AI TestOps 集成自动化闭环和 AI 排障,Pytest 抛出断言错误时,AI 故障分析怎么获取并解析报错日志?
- 如何判断大模型给出的 bug 修复建议是否正确?
项目与沟通
- 省部级车规级安全气囊点火驱动芯片项目,你是项目负责人吗?团队规模大概多大?
- 和导师沟通时,导师依靠过往经验给出的判断和项目实际不匹配甚至有误,你怎么委婉沟通?
《参考解析》
完整测试流程:需求评审(口径、边界、异常分支、兼容性、灰度与回滚)→ 测试方案与用例设计(按风险分级,明确测什么、不测什么、为什么)→ 环境与数据准备(造数、Mock、依赖服务就绪)→ 执行(冒烟、功能、接口、回归,性能与兼容性按需)→ 缺陷管理(分级、复现步骤、影响面、修复验证)→ 发布把关(准入准出条件、灰度观测)→ 线上验证与复盘。每个阶段都要有可交付物与判定标准,否则「测过了」就是一句没有依据的结论。PRD 评审时值得坚持修改的问题包括:验收标准缺失或不可度量、状态机与异常分支未定义(超时、重试、并发、失败回滚)、数据口径与权限边界不清、跨系统依赖与兼容性未说明、灰度与回滚方案缺失、涉及资金或隐私的需求没有约束条件。提问时同时给出影响与建议方案,而不是只列疑问。
造数 Skill 的协议设计:thought 只允许推理与计划,不产生副作用;action 必须是白名单内的确定性动作(如创建账户、设置状态、打标签),每个动作都要有 JSON Schema 描述参数的类型、枚举、范围与必填项,模型只能填参数、不能改写动作语义;observation 回填执行结果、错误码与可读摘要,供模型决定下一步或向用户澄清。造数规则写进 Skill:哪些字段可以随机、哪些必须取自词典、状态迁移的合法路径、单批数量上限、幂等键与清理策略。参数校验必须放在脚本侧而不是提示词里——数量校验为正整数且不超过上限,「A 标签」校验标签是否存在以及当前用户是否有权使用,语义校验把「状态异常」映射到允许的异常枚举(冻结、欠费、风控命中),任一项不通过就返回明确错误让模型重试或反问,而不是用默认值兜底。所有造数记录带批次号,便于回收与审计。
并发上下文串用怎么排查:根因通常是会话状态存在进程级全局变量或单例里,同一进程处理多个会话时互相覆盖;也可能是缓存键漏了会话维度、异步任务没有绑定请求上下文。排查路径是先复现(并发压测,或人为交错两个会话的操作顺序),用请求 ID 与会话 ID 串起日志,确认被串用的具体字段(历史消息、用户身份、工具上下文),再看这些字段是在哪一层被共享的。修复是让上下文按请求隔离(显式传参、AsyncLocalStorage、每会话一个 context 对象),共享资源加锁或改成无状态,并用并发单测验证。飞书这类长连接场景,会话键至少要包含租户、群、线程与会话 ID,只用用户 ID 做键在群聊里必然串。
OCR 指标与高 F1 但不准:字符级评测先做对齐(编辑距离),CER = (替换 + 删除 + 插入) / 真值字符数,字符精确度 = 正确字符数 / 识别字符数,召回率 = 正确字符数 / 真值字符数;中文按字、英文可按词或字符,需明确是否忽略空白与标点、是否区分全半角。F1 高但业务不准,常见原因有五类:评测集与线上分布不一致(字体、版式、拍照角度、模板、语言混排);指标粒度错位(字符级得分高,但关键字段整段错);标注本身有噪声;长尾样本被平均值掩盖;业务判定要求「关键字段全对」,而评测按字符平均。改进方向是按字段与场景分层出指标、补齐真实分布的困难样本、对关键字段设一票否决。Badcase 归因要先分类再定位:是检测框漏检、切分错误、字符混淆(形近字、相似符号),还是后处理规则误伤;专有名词与特殊字符通常需要词典与语言模型纠错配合,定位时对比同一位置的检测框、识别结果与置信度,并回溯原图质量。
切片长度与表格处理:300~1000 字符是检索粒度与语义完整性之间的折中——切得太短,单块缺少足够上下文,召回后模型无法回答;切得太长,向量表达被稀释、检索精度下降,命中后还会挤占生成侧的上下文预算。表格切片的核心是保留表头:把表格转成 Markdown 并在每块重复表头,或按行组切分并附带列名;跨页续表要识别表头缺失并用上一页表头补齐,把「续表」与前页挂在同一父块下;更强的做法是父子块(子块用于检索、父块用于生成)与按标题层级做语义分块,检索后按文档结构合并相邻块。评估手段是构造一组「答案必须跨块才能拼出」的问题,看召回与最终回答的完整率。
AI 排障与修复建议校验:采集侧用 --tb=long、--junitxml 与日志开关拿到 traceback、断言期望与实际值、捕获日志与用例元数据(用例 ID、环境、提交号),按长度裁剪并保留首尾关键信息后交给模型。判断建议是否正确,看三点:是否给出定位依据(文件、行号、断言差异)、是否可执行(命令与改动明确)、是否经得起验证——在隔离环境按建议改动后重跑失败用例与相关回归,通过才采纳。无法验证的建议只能作为提示,不能直接提交;涉及配置、数据库、公共库的修改要加人工评审。另外要给模型设输入边界,日志里的用户数据与凭据必须先脱敏。