面灵AI→

超聚变 AI 软件工程师(大模型)一面:从 SFT、RAG 切块问到 Agent 循环与 Harness

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 为什么考研?
  2. 实习经历中你觉得工作强度如何?
  3. 你的项目里只做了 RAG,还有其他 AI 相关模块吗?
  4. 什么是监督指令微调?
  5. RAG 中 chunk 越大越好还是越小越好?
  6. embedding 的 topk 和相似度阈值是怎么设置的?
  7. 有没有调整过 rerank?
  8. Agent 的调用陷入循环,怎么解决?
  9. 什么是 Agent Harness?
  10. 了解它的交互模式吗,ReAct 和 tool calling 是一回事吗?
  11. 如何判断 Agent 完成了一个任务?

《参考解析》

监督指令微调(SFT):用「指令 + 输入 + 期望输出」的成对数据继续训练预训练模型,损失只算输出部分(对 prompt 做 loss mask),本质是最大似然。它教会模型按指令格式作答,不直接优化人类偏好;数据质量与多样性比数量更重要,要覆盖目标任务、边界与拒答。常见问题是灾难性遗忘和过拟合,做法是混入一部分通用数据、控制学习率与轮数、留出评测集。和 RLHF 的区别是 SFT 用专家示范做监督学习,RLHF 用偏好比较训练奖励模型再做强化学习。

chunk 大小是粒度与完整性的取舍:切得太小,每块语义不完整、召回数量多、上下文碎片化,答案容易缺前因后果;切得太大,一块里混入多个主题,向量被稀释、检索精度下降,注入也浪费 token。实践中按文档结构切(标题、段落、表格),单块 256 到 512 token、重叠 10% 到 20% 是常见起点,再用评测集调。更好的做法是「小快检索、大块生成」的父子块,或按语义做递归切分,而不是固定字符数硬切。

topk 与阈值看分数分布,不拍脑袋:先观察同一批 query 的相似度分布,阈值卡在明显断层处;topk 通常取 3 到 10,召回阶段可以放宽到 20 到 50 再交给 rerank 收敛到 5 条左右。离线用 recall@k、MRR、答案正确率调参,在线看端到端正确率与延迟。阈值过高会漏召回,过低会引入噪声,两者要分开评估。rerank 用 cross-encoder 对 query 与候选逐对打分,能显著提升相关性,代价是延迟,通常放在召回之后、生成之前,并限制候选数量。

Agent 死循环的处置:先设硬上限(最大步数、最大 token、最大时长),再做循环检测——连续几步工具调用与参数完全相同、observation 哈希相同,就判定为原地打转;同时要求模型在每步前更新任务状态,工具返回要区分「成功」「参数错误」「暂时失败」,参数错误不能原样重试。更根本的是把任务拆小、给清晰的终止条件,并在提示里要求先计划再执行。触发上限后不要静默结束,要向用户说明卡在哪、已尝试什么、需要什么输入。

Harness 是模型之外的运行时。它负责把模型接到真实环境:工具注册与调用、上下文与历史管理、权限与沙箱、循环控制与中断、错误处理、日志与轨迹、评测与回归。同一个模型换一套 Harness,任务成功率可能差很多,所以「模型能力」和「产品效果」之间隔着的就是这一层。

ReAct 与 tool calling 不是一回事。ReAct 是一种提示范式:让模型交替输出「思考—行动—观察」,靠文本驱动工具调用;tool calling 是模型接口提供的能力,按结构化 schema 返回函数名与参数,由运行时执行。两者可以叠加:用 tool calling 实现 ReAct 的行动步骤,既保留推理过程,又避免解析自然语言。只做 tool calling 而不显式推理也能工作,但对多步任务的可解释性和纠错能力弱一些。

判断任务完成要看可验证信号:优先用客观结果——测试是否通过、文件是否生成且内容正确、接口是否返回预期状态、数据库记录是否写入;其次是状态断言与规则校验;最后才用模型或人工判断。不能让模型自己说「完成了」就算完成,Harness 要把完成条件写进任务定义,并在结束时回读环境确认。线上还要记录成功率、平均步数、人工接管率,按任务类型分层看。