蔚来秋招全栈开发一面：缺陷检测全链路设计

《面试题目》

1. 做一下自我介绍。
2. 你的优势是什么？
3. 场景题：智慧工厂器件缺陷检测处理，请做全链路设计。
4. 这个设计中前后端、软件、硬件分别需要什么技术和硬件支持？
5. 视觉模型的训练集、验证集、测试集都是什么？
6. 为什么不考研？
7. 你想从事什么工作？
8. 你的未来职业画像是什么？
9. 再说说你的个人优势。
10. 在校期间参加过哪些活动？
11. 反问环节。

《参考解析》

缺陷检测的全链路设计：按「采集 → 传输 → 推理 → 决策 → 反馈」五段来搭，每一段都要说清技术选型和质量指标。采集端是工业相机（面阵或线扫）+ 光源（环形光、同轴光，打光方案往往比算法更决定上限）+ 触发传感器，产线节拍决定帧率与分辨率下限；边缘侧用工控机或带 GPU 的边缘盒子跑推理，因为质检要求毫秒级响应且产线常常断网，不能依赖云端往返。推理层先用传统视觉做定位与对齐（模板匹配、边缘检测），再用深度学习做分类与分割——缺陷样本稀少、正负极度不平衡是这个场景的核心难点，所以要用数据增强、合成缺陷、以及 PatchCore/PaDiM 这类只需正常样本训练的异常检测方法；检出后按缺陷类型、尺寸、位置做分级判定，输出「合格 / 返修 / 报废」三态。决策与执行层对接 PLC 或机械臂完成分拣，同时把每一帧图像、判定结果、人工复检结论落库。反馈层是闭环的关键：把人工复检的纠正样本定期回流成训练集，做增量训练与灰度上线，并持续监控漏检率、误检率与过杀率——注意漏检和过杀的代价完全不对称，阈值要按业务代价定，而不是取 0.5。

这个设计需要哪些技术支撑：硬件侧是工业相机与镜头选型、光源与遮光结构、触发与同步信号、边缘算力盒子（含散热与防护等级）、以及执行机构（气动剔除、机械臂）和现场网络（工业以太网）。后端侧要写设备接入与协议解析（GigE Vision、Modbus、OPC UA）、任务调度与边缘—云端协同、图像与结果的存储（对象存储存图、时序库存指标、关系库存工单）、以及 MES/ERP 的对接接口。前端侧是产线看板（实时良率、缺陷分布、告警）、复检工作台（图像放大、标注、判定覆盖）和模型版本管理界面。软件工程上还要有灰度发布、模型回滚、以及断网时的本地降级——产线不能因为云端故障停下来。

训练集、验证集、测试集：训练集用来拟合模型参数；验证集不参与梯度更新，用来调超参、选模型、做早停和阈值寻优，是「开发过程中的考卷」；测试集只在最后用一次，衡量模型对未见数据的泛化能力，一旦反复拿测试集调参，它就被污染成了验证集，报出的指标会系统性偏高。划分上要按业务单元切分而不是随机切——同一条产线、同一批物料、同一个工位拍出来的图像高度相似，随机划分会让验证集里混进训练集的近邻，指标虚高，正确做法是按批次或按设备留出整组。比例上常见 6:2:2 或 8:1:1，样本少时用交叉验证；缺陷检测这类不平衡任务还要保证每一折里都有足够缺陷样本，必要时对少数类做重采样或分层划分。划分之前务必先去重（连拍帧几乎相同的图只能占一个位置），否则测试集的独立性直接失效。