面灵AI→

卓望 AI 工程师校招面:异常控制流、LoRA 与全量微调、初始化对称性

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 说说 try-except-else-finally 的内容:一次流程中会触发哪些块,每个块负责什么、有哪些作用?追问:如果 finally 和 try 两个块中都写了 return,执行情况是什么?如果只有 try 有 return,返回值的执行顺序是什么?
  3. LoRA、全量微调、QLoRA 的区别,它们适配的场景与技术点是什么?追问:如果要做某个系统,为什么会选择全量微调而不选 LoRA?
  4. 模型的初始化有什么方法?追问:全 0 全 1 的初始化会产生对称性问题,解释对称性出现的原因与后果。
  5. Agent 项目中提到的记忆内容设计架构是怎么做的?

《参考解析》

try-except-else-finally 的执行顺序。 正常流程是 try 执行完 → else(只有没有异常时才执行)→ finally(无论是否异常都执行)。try 中抛异常时跳过 else,进入匹配的 except,再执行 finally;没有匹配的 except 时 finally 执行完异常继续向上抛。finally 的语义是「清理」,用来释放资源、关闭连接、恢复状态,即使发生 return、break、continue 或异常也会执行。两个 return 的细节:try 中有 return 时,会先计算返回值并暂存,然后执行 finally,如果 finally 中也有 return,它会覆盖之前的返回值(并且丢弃暂存的返回值与未执行的清理),这是 Python 里明确不推荐的写法;如果 finally 没有 return,则函数返回 try 中暂存的值。只有 try 有 return 时,顺序是「计算返回值 → 执行 finally → 返回暂存值」,所以 finally 里对可变对象的修改会影响返回值,对不可变对象的重新赋值不会。

LoRA、全量微调与 QLoRA。 全量微调更新模型所有参数,效果上限最高、能学到与基座差异较大的能力,但显存与算力开销最大,每个任务都要存一份完整权重,也更容易灾难性遗忘。LoRA 冻结原权重,在部分线性层旁挂低秩矩阵 A、B(W + BA),只训练这两个小矩阵,参数量可降到千分之一量级,显存需求大幅下降、可插拔(一个基座挂多个 LoRA),适合风格与领域适配、指令微调。QLoRA 在此基础上把基座量化到 4bit(NF4)并冻结,再在其上训练 LoRA,进一步把显存需求压到单卡可训 7B/13B 的量级,代价是量化带来精度损失与推理/训练速度的权衡。选择依据:数据量与任务差异大、需要改变模型能力边界、且有足够算力时选全量;资源受限、任务聚焦、需要多版本快速切换时选 LoRA/QLoRA。

为什么有时仍要全量微调。 当任务与基座分布差异很大(新语言、新领域术语、结构化输出格式要求严格)、需要改变模型的推理能力而不只是风格、或 LoRA 的低秩假设不足以表达所需更新时,全量微调的效果上限更高;另外有些部署环境不方便加载适配器,要求单一权重文件。代价是成本与运维复杂度,所以通常先用 LoRA 验证可行性,再决定是否全量。

初始化的对称性问题。 如果把所有权重初始化为相同的值(全 0 或全 1),同一层的所有神经元在前向时输出相同、反向时梯度也相同,更新后仍然相同——它们永远学不到不同的特征,等价于一个神经元,这就是对称性破缺失败。全 0 还会让 ReLU 的梯度为 0(死网络)。正确做法是随机初始化并控制方差:Xavier/Glorot 初始化按输入输出维度缩放(适合 tanh/sigmoid),He 初始化按输入维度缩放(适合 ReLU),更深的网络还会用正交初始化或 LayerNorm 前的特殊处理。偏置通常初始化为 0,因为对称性由权重打破即可。

Agent 记忆架构。 通常分三层:工作记忆(当前会话的上下文,按 token 预算裁剪或压缩)、情景记忆(历史会话的摘要与关键结论,按时间或主题检索)、语义记忆(结构化的用户偏好、领域知识、事实库,用向量或关键词检索)。写入策略要区分「什么值得记」(显式偏好、确认过的事实、失败教训)与「什么不该记」(敏感信息、临时状态、模型推测),读取策略要按当前任务检索而不是全量注入。还要有遗忘与更新机制:过期信息标记失效、冲突信息以新为准并保留来源。