面灵AI→

滴滴 企业级算法实习生 一面

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍
  2. 实习经历:负责什么业务?上线了吗?模型输入是什么?
  3. agent 用的什么框架?为什么业务中没有用现成框架?
  4. 用的什么模型?有没有试过换大一点的模型看效果?
  5. 有没有做过微调、RL?
  6. 印象比较深的 bad case?
  7. 如何评价 agent 输出的好坏?指标怎么来?有没有量化指标?
  8. 对 agent 做评估为什么要分成这 3 个维度?
  9. 项目经历:介绍一下使用的数据集,是数据还是评判器?数据格式是怎样的
  10. 为什么要在不同的模型上做自监督学习?
  11. 如何判断自监督训练后模型能力真的得到了提高?
  12. 讲讲 DPO,训练流程?DPO 数据对来源?已有还是自己生成?怎么生成的?
  13. DPO 在验证集上指标提升是怎么计算得到的?
  14. 对 agent 编排有什么想法?agent 一直重试怎么办?如何评判 agent 每一步做的好不好?
  15. 了不了解机器学习、深度学习?transformer 架构了解吗,讲讲 MHA、KV Cache
  16. 平时用什么 agent 辅助编程?如何评估 AI 的回答是否让你满意?
  17. 反问

《参考解析》

agent 框架选型与自研:面试官问「为什么不用现成框架」是在考判断力。可以给的实在理由包括:业务链路需要深度定制(自定义状态机、审批与人工介入、与内部系统的鉴权打通),现成框架的抽象反而增加调试成本;框架版本迭代快、依赖风险大,核心链路自己控制更稳;以及明确知道自己只需要「工具调用 + 重试 + 日志」这几件事,自己写几百行比引入一整套框架更可维护。反面也要讲清:自研的成本在于可观测性、评测和边界处理要自己补,适合团队已有积累的场景。如果只是做原型,用 LangChain / LlamaIndex 这类框架起步更快。

评估体系为什么分维度:agent 的输出不是单一正确性,至少要对齐三类目标——任务是否完成(结果指标,比如答复命中、工单是否闭环)、过程是否合理(轨迹指标,工具选对了没、有没有多余步骤、有没有死循环)、以及体验与成本(延迟、token 消耗、人工介入率)。分开评估的原因是它们常常互相冲突:一味追求成功率会导致重试过多、延迟暴涨;只看延迟又会牺牲质量。指标来源要说清楚:离线评测集(人工标注的标准答案与期望轨迹)、线上埋点(成功率、放弃率、p95 延迟)、以及人工抽检样本。没有量化就老实说没有,别编。

自监督与 DPO:自监督(或领域继续预训练)的价值在于让基座模型适配领域语料与术语分布,代价是可能遗忘通用能力(灾难性遗忘),所以通常用较小学习率、混入通用数据、并做能力回归测试。判断「能力真的提高了」不能只看 loss:要在目标任务的留存评测集上比(分类准确率、生成质量人工评分、下游任务指标),并做基座对照与同分布 / 分布外两组测试。DPO 是用偏好对直接优化策略,跳过训练 reward model 与 PPO 的采样环节:数据是 (prompt, chosen, rejected) 三元组,来源通常是「对同一个问题采样多个回答 + 人工或模型打分排序」,损失让 chosen 的概率相对 rejected 上升(带 reference 模型的 KL 约束)。训练流程是:准备偏好对 → 冻结 reference 模型 → 用 DPO loss 微调 policy → 在验证集上看偏好准确率(chosen 得分高于 rejected 的比例)与人工胜率。指标提升必须在同一套验证集、同一评判口径下对比,说明评测是谁打的标、怎么避免自评偏差。

agent 编排与重试:编排的核心是把不确定性关进笼子:显式状态机 + 每步的输入输出校验 + 超时与步数上限 + 失败降级路径。重试策略要有上限和退避,并区分「可重试」(网络抖动、限流)和「不可重试」(参数错误、权限不足);连续失败要能跳出循环转人工,而不是无限试。评判每一步做得好不好,靠的是「过程指标」——工具选择准确率、参数正确率、是否达到预期中间状态,可以用带标注轨迹的评测集来自动打分,也可以用小模型或规则做裁判。

Transformer / MHA / KV Cache:Transformer 由多头自注意力 + 前馈网络 + 残差与 LayerNorm 堆叠而成;MHA 是把 Q/K/V 投影到多个子空间并行做注意力再拼接,让不同头捕捉不同关系;注意力的复杂度是序列长度的平方,所以长上下文是瓶颈。KV Cache 是自回归解码时的优化:把已生成 token 的 K、V 缓存下来,每步只算新 token 的 Q,避免重复计算历史;代价是显存随序列长度和层数线性增长,于是有了 MQA / GQA(多个 query 头共享一组 KV 头)来压缩。能答到「为什么是 KV 而不是 Q 也缓存」就说明真的理解了。

AI 辅助编程怎么评估:把「满意」拆成可核对的条件:代码能跑通(编译 / 测试通过)、符合仓库既有风格与约定、改动范围最小、边界与异常处理到位、依赖没有乱引入。做法是先让它给方案再动手、diff 逐段读、关键路径自己补测试;不满意的部分是设计判断和上下文缺失,需要通过给更精准的上下文、写清约束来改善,而不是换个更大的模型。作者提到这场面试「没有手撕、实习和项目问得超级多」,这个特征很典型——算法岗的实习面试越来越像「项目答辩」,事先把项目的评价指标、数据来源、失败案例准备成可追问的深度,比刷题收益更高。