面灵AI→

联芸科技二面:端侧多相机的时间同步、INT8 量化与多设备融合

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

  1. 简单做一下自我介绍。
  2. 挑一个你参与最深的项目,讲业务流程、难点和你的解决方案。
  3. 检测的实现逻辑,是否是一个相机对应一个监测目标?
  4. 图像采集使用什么接口?完整的采集、推理、后处理、多设备协同链路是怎样的?
  5. 多边缘设备加多路相机如何部署分区?多相机怎么做时间戳对齐与时序同步?
  6. NTP 和 PTP(IEEE 1588)的原理、二者差异是什么?边缘设备作为 PTP 主钟、脱离北京时间给内网相机同步是否可行,优缺点是什么?
  7. 除 NTP、PTP 以外还有哪些时间同步方案以及适用场景?
  8. 模型导出、INT8 量化、TensorRT 引擎编译流程是怎样的?如何平衡推理速度与精度,量化精度下降怎么处理?
  9. 推理链路做过哪些优化?V4L2 采集、CUDA 零拷贝、多线程流水线相关思路。
  10. 多设备感知结果融合,数据冲突怎么处理?设备掉线如何做业务降级?
  11. 异常识别是否为纯视觉方案?视觉能否精准识别心跳?该方案在车载场景的局限是什么?

《参考解析》

一相机一目标还是多目标:取决于业务定义。若监测的是「工位是否有人」「设备指示灯状态」这类固定区域,一个相机对应一个或多个 ROI,检测结果按区域归属;若是人员或车辆跟踪,则一个相机同时检测多个目标,需要跟踪与去重。回答要说明检测器输出(框、类别、置信度)、ROI 映射规则、以及多目标时的跟踪与 ID 管理。

采集到推理链路:V4L2 打开设备并协商格式(VIDIOC_S_FMT)、申请缓冲(VIDIOC_REQBUFS,MMAP 模式)、入队出队(VIDIOC_QBUF/DQBUF)拿到帧;用 DMA-BUF 把相机缓冲直接导出给 GPU/NPU,避免 CPU 拷贝;预处理在 GPU 上做(缩放、归一化、色域转换),推理用 TensorRT 执行,后处理(解码、NMS、坐标映射)尽量并行;结果按时间戳与设备 ID 汇总到融合层。多设备协同时,边缘设备负责本地推理与初筛,中心节点做融合与业务决策,链路要有心跳与状态上报。

多相机时间同步:硬件层面用同一触发源(GPIO 同步信号、PTP 硬件时间戳)最准;软件层面用 NTP/PTP 对齐系统时钟,再在采集时打时间戳。对齐的目标是让同一时刻的画面在各路中具有可比的时间基准,用于跨相机的目标关联。若无法硬件同步,退而求其次是用事件对齐(同一目标出现在两路的时间差做补偿),并在算法上容忍一定抖动。

NTP 与 PTP:NTP 走应用层 UDP,靠往返时延估算偏移,精度毫秒级,部署简单、跨网络可用;PTP(IEEE 1588)用硬件时间戳与主从时钟协议,精度可达微秒甚至纳秒级,需要网卡/交换机支持透明时钟,部署成本高。差异在精度、硬件依赖与网络要求。边缘设备作为 PTP 主钟给内网相机授时是可行的:优点是不依赖外部网络、时间基准统一、可控;缺点是主钟自身漂移无人校准(除非接 GPS 或上级时钟),设备故障会影响全网,且不同厂商的 PTP 实现兼容性需要验证。若业务只要求毫秒级,NTP 足够;要求微秒级才上 PTP。

其他同步方案:GPS/北斗授时(精度高、需天线与视野)、硬件触发线(最直接、布线成本高)、IRIG-B 等专用授时、以及基于白名单的软件对齐(用共同事件做后处理对齐)。选择依据是精度需求、布线条件、成本与可维护性。

INT8 量化与 TensorRT:流程是训练框架导出 ONNX(固定输入维度、算子兼容)→ 用 trtexec 或 Python API 构建引擎 → 校准(提供有代表性的校准集,用熵校准或 min-max)→ 生成 INT8 引擎 → 在目标设备上验证精度与吞吐。精度下降的处理:量化感知训练(QAT)、对敏感层保留 FP16、扩大并优化校准集覆盖长尾、检查是否是某一类目标掉点严重再针对性补数据。要给出对比数据:FP32/FP16/INT8 的延迟、显存与 mAP 变化。

推理优化:V4L2 采集与推理分线程,用有界队列与丢帧策略;零拷贝(DMA-BUF、统一内存)减少搬运;批处理提高 GPU 利用率但增加延迟,按业务取舍;CUDA 流并行预处理与推理;把后处理放到 GPU 或独立线程;用 Nsight 定位真正的瓶颈,而不是凭感觉优化。

多设备融合与降级:融合按时间窗对齐各设备结果,冲突时按置信度、距离、历史一致性加权投票,或交给规则(安全优先取更保守的结论)。设备掉线要有心跳与超时判定,降级策略包括:由相邻设备补盲区、降低融合精度要求、切换到单设备模式、并向业务层上报「覆盖不全」的状态,避免静默失效。

纯视觉的局限:视觉能识别人的存在、姿态、是否系安全带等,但无法可靠测心跳(需要雷达、红外或接触式传感器),受光照、遮挡、逆光、雨雾影响大,且存在隐私与合规问题。车载场景还有振动、宽动态、夜间、镜头污损等挑战,通常需要多传感器融合(毫米波雷达、红外、超声波)才能满足功能安全要求。