混合精度训练 面试题

拼多多大模型算法秋招二面：LoRA 微调与注意力原理

拼多多大模型算法秋招二面，从 LoRA 的低秩假设与 rank 和 alpha 配比切入，覆盖 QLoRA 的量化与训练不稳定、注意力缩放与长上下文优化路线、RoPE 外推与 YaRN，以及显存估算、梯度累积和混合精度溢出排查。