面灵AI→

清闲智能嵌入式一面:边缘视觉链路的采集、推理与多相机协同

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 简单做一下自我介绍。
  2. 详细介绍你的核心项目一。
  3. 介绍你的项目二的整体机制。
  4. 项目里采集、模型推理落地与采样相关实现。
  5. 介绍你的项目三。
  6. 项目用到的 Linux 平台、编译服务器相关信息。
  7. 芯片算力以及是否自带 NPU?
  8. 英伟达边缘部署使用的平台。
  9. 视觉边缘链路跨度大,项目中遇到的各类问题。
  10. 多摄像头视野重叠场景如何处理?
  11. 个人研究方向以及未来职业发展方向。
  12. 硕士研究课题介绍。
  13. 介绍你的项目四。
  14. 反问面试官。

《参考解析》

采集到推理的链路:相机采集(V4L2 或厂商 SDK,注意格式、分辨率、帧率、曝光与白平衡的锁定)→ 零拷贝传到推理缓冲(DMA-BUF、CUDA 统一内存或 Pinned Memory,避免用户态与设备态之间的多次拷贝)→ 预处理(缩放、归一化、色域转换,尽量放到 GPU 或专用硬件)→ 推理(TensorRT、ONNX Runtime 或厂商 NPU SDK)→ 后处理(解码、NMS、坐标还原)→ 业务逻辑(跟踪、融合、上报)。采样策略按业务定:固定帧率抽样、事件触发(运动检测)或自适应降帧,要说明为什么这样采——算力不够时降帧比降分辨率更保时序,检测小目标时则相反。

平台与工具链:嵌入式 Linux 上要讲清交叉编译(工具链版本、sysroot、动态库依赖)、编译服务器(统一环境、增量构建、产物归档)、部署方式(打包、OTA、版本回滚)。英伟达边缘平台常见 Jetson 系列,工具链是 JetPack + TensorRT,模型从 ONNX 转换并做 FP16/INT8 量化,用 trtexec 测吞吐;其他平台可能是瑞芯微 RKNN、地平线 BPU、寒武纪 MLU,各自有量化工具与算子限制,移植时要先确认算子支持列表。

算力与 NPU:回答要给出具体数字与口径:TOPS 是峰值还是有效算力、支持的数据类型(INT8/FP16)、内存带宽、是否与 CPU/GPU 共享内存。实际能跑多少帧取决于模型算子是否被 NPU 支持、预处理是否在 CPU 上成为瓶颈、内存拷贝次数。不能只看标称算力,要给出实测帧率与资源占用。

链路跨度大的问题:典型问题包括各段时钟不同步、缓冲队列积压导致延迟累积、分辨率与色彩格式不一致、推理阻塞采集造成丢帧、内存不足、设备重启后状态未恢复。解法是端到端计时(给每帧打时间戳,统计各段耗时与总延迟)、有界队列加丢帧策略(丢旧保新)、把耗时操作移出采集线程、对异常做看门狗与自动恢复。要能说出自己实际遇到的某一个,以及如何定位。

多相机视野重叠:先做标定(内参、外参),把各相机坐标统一到世界坐标;重叠区域的目标会在多路中出现,需要去重与融合——按空间位置(反投影后的距离)、时间戳、外观特征匹配,保留置信度最高的一条并合并轨迹。若相机不同步,先做时间对齐(硬件触发或 PTP/NTP),否则同一目标在两路中的位置对不上。重叠区还可以用来做跨相机的目标交接,减少 ID 切换。

研究方向与职业规划:把硕士课题与岗位连接起来:课题解决什么问题、用了什么方法、有什么可迁移的能力(建模、实验设计、工程实现)。职业方向给出近两三年可执行的路径,例如「先在边缘视觉的工程链路上做扎实,能独立负责一路相机的采集到推理,再往多传感器融合或平台化走」,而不是空泛地说「成为技术专家」。