文远知行一面：自动驾驶算法验证的传感器、多模态与场景测试设计

《面试题目》

1. 自我介绍。
2. 自动驾驶中的传感器有哪几种类型？
3. 传感器中的摄像头与激光雷达有什么区别？优缺点分别是什么？
4. 你对自动驾驶算法有过哪些方面的了解？
5. 你刚才提到了多模态，自动驾驶中的多模态算法你了解多少？
6. 你有了解过端到端的训练吗？
7. 场景题：行人摔倒的场景中要进行数据采集，你会怎么设计测试用例？
8. 数据采集完之后，你觉得行人摔倒这个场景中哪些关键点是要传给 PLA 下游的？
9. 介绍一下你研究生的课题。
10. 你是用哪些指标去进行实验验证的？
11. 你知道它是如何计算出来的吗？
12. 介绍一下 UNet 模型。
13. 在医学图像处理中，很多算法都是基于 UNet 模型开展的，你知道为什么吗？
14. 介绍一下 Transformer 模型。
15. 你刚才提到使用 AI 进行提效，一般使用哪些 AI 工具？
16. 你一般是如何使用 AI 的？

《参考解析》

传感器类型与摄像头、激光雷达的取舍：车上常用摄像头、激光雷达、毫米波雷达和超声波雷达，定位靠 GNSS、IMU 与轮速计。摄像头纹理和语义丰富，能辨信号灯颜色、交通标志，成本低、分辨率高；但没有直接深度，测距靠标定与几何推导，逆光、夜间和雨雾下衰减明显。激光雷达主动测距，直接得到三维点云，精度高、不受光照影响，能给出目标的位置、尺寸和朝向；缺点是雨雾烟尘丢点、黑色低反射面弱、远处稀疏，且没有纹理语义、成本与数据量更大。工程上二者互补：摄像头管分类与语义，激光雷达管几何与测距，毫米波兜底恶劣天气。

多模态与端到端：多模态是把不同传感器映射到同一表征空间，常见做法是在 BEV 下做特征级融合（如 BEVFusion、TransFusion），也有点级前融合和「各自出框再关联」的后融合，答题可按概念、代表工作、落地难点三层展开。端到端从传感器直接输出轨迹或控制，把感知、预测、规划放进一个网络联合优化（如 UniAD），减少模块间信息损失、让规划目标反哺上游特征；难点是可解释性、安全验证、长尾覆盖和轨迹标注数据，量产多是端到端加规则兜底。

行人摔倒场景的用例与下游输出：用例按场景要素拆：道路（路口、斑马线、站台）、行人状态（摔倒、蹲下系鞋带、弯腰捡物、坐地，后几类是必须覆盖的难负样本）、光照天气、遮挡与距离、车端或路侧视角。采集靠实车、路侧、仿真和公开数据集互补，保证正负样本比例与标注规范（起止帧、姿态、遮挡）。指标看召回、误报、时延和跟踪 ID 稳定性。传给下游的不只是「摔倒」标签，还要有时间戳与坐标系、track id、三维位置、朝向、速度、尺寸、关键点、置信度与不确定性，以及是否侵占自车路径、距离和 TTC，并约定时延预算。

UNet 与医学图像：UNet 是编码器—解码器加 skip connection：下采样提语义，上采样恢复分辨率，skip 把同尺度浅层特征拼回解码端，边界细节不丢。医学图像样本少、边界模糊、前景占比低，UNet 参数少、小数据可端到端训练，skip 又能保住器官与病灶轮廓，因此成为基线，后续 3D UNet、Attention UNet、nnU-Net 都在这个骨架上扩展，损失常用 Dice 加交叉熵。

Transformer：自注意力用 Query 与所有 Key 点积、缩放后 softmax 得权重，再对 Value 加权求和；多头捕捉不同子空间，配位置编码、残差、LayerNorm 和前馈层。优点是长程依赖与高度并行，缺点是吃数据和算力、复杂度随序列长度平方增长。自动驾驶里它用于 DETR 类检测、BEVFormer 时空融合、多模态对齐和轨迹预测；被追问时从与 CNN 的归纳偏置差异切入：CNN 自带局部性与平移不变性，Transformer 靠数据自己学。