清闲智能嵌入式一面:边缘视觉链路的采集、推理与多相机协同
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 简单做一下自我介绍。
- 详细介绍你的核心项目一。
- 介绍你的项目二的整体机制。
- 项目里采集、模型推理落地与采样相关实现。
- 介绍你的项目三。
- 项目用到的 Linux 平台、编译服务器相关信息。
- 芯片算力以及是否自带 NPU?
- 英伟达边缘部署使用的平台。
- 视觉边缘链路跨度大,项目中遇到的各类问题。
- 多摄像头视野重叠场景如何处理?
- 个人研究方向以及未来职业发展方向。
- 硕士研究课题介绍。
- 介绍你的项目四。
- 反问面试官。
《参考解析》
采集到推理的链路:相机采集(V4L2 或厂商 SDK,注意格式、分辨率、帧率、曝光与白平衡的锁定)→ 零拷贝传到推理缓冲(DMA-BUF、CUDA 统一内存或 Pinned Memory,避免用户态与设备态之间的多次拷贝)→ 预处理(缩放、归一化、色域转换,尽量放到 GPU 或专用硬件)→ 推理(TensorRT、ONNX Runtime 或厂商 NPU SDK)→ 后处理(解码、NMS、坐标还原)→ 业务逻辑(跟踪、融合、上报)。采样策略按业务定:固定帧率抽样、事件触发(运动检测)或自适应降帧,要说明为什么这样采——算力不够时降帧比降分辨率更保时序,检测小目标时则相反。
平台与工具链:嵌入式 Linux 上要讲清交叉编译(工具链版本、sysroot、动态库依赖)、编译服务器(统一环境、增量构建、产物归档)、部署方式(打包、OTA、版本回滚)。英伟达边缘平台常见 Jetson 系列,工具链是 JetPack + TensorRT,模型从 ONNX 转换并做 FP16/INT8 量化,用 trtexec 测吞吐;其他平台可能是瑞芯微 RKNN、地平线 BPU、寒武纪 MLU,各自有量化工具与算子限制,移植时要先确认算子支持列表。
算力与 NPU:回答要给出具体数字与口径:TOPS 是峰值还是有效算力、支持的数据类型(INT8/FP16)、内存带宽、是否与 CPU/GPU 共享内存。实际能跑多少帧取决于模型算子是否被 NPU 支持、预处理是否在 CPU 上成为瓶颈、内存拷贝次数。不能只看标称算力,要给出实测帧率与资源占用。
链路跨度大的问题:典型问题包括各段时钟不同步、缓冲队列积压导致延迟累积、分辨率与色彩格式不一致、推理阻塞采集造成丢帧、内存不足、设备重启后状态未恢复。解法是端到端计时(给每帧打时间戳,统计各段耗时与总延迟)、有界队列加丢帧策略(丢旧保新)、把耗时操作移出采集线程、对异常做看门狗与自动恢复。要能说出自己实际遇到的某一个,以及如何定位。
多相机视野重叠:先做标定(内参、外参),把各相机坐标统一到世界坐标;重叠区域的目标会在多路中出现,需要去重与融合——按空间位置(反投影后的距离)、时间戳、外观特征匹配,保留置信度最高的一条并合并轨迹。若相机不同步,先做时间对齐(硬件触发或 PTP/NTP),否则同一目标在两路中的位置对不上。重叠区还可以用来做跨相机的目标交接,减少 ID 切换。
研究方向与职业规划:把硕士课题与岗位连接起来:课题解决什么问题、用了什么方法、有什么可迁移的能力(建模、实验设计、工程实现)。职业方向给出近两三年可执行的路径,例如「先在边缘视觉的工程链路上做扎实,能独立负责一路相机的采集到推理,再往多传感器融合或平台化走」,而不是空泛地说「成为技术专家」。