面灵AI→

原力灵机 具身智能算法面:VLA 架构、动作块与 IL/RL 追问

时间
2026-11
来源
牛客网

《面试题目》

项目深挖

  1. 项目的整体思路是什么?请从任务、观测、动作、学习目标、部署和评测六个环节讲清一次真实执行。
  2. 模型为什么这么设计?各项结构选择分别对应什么任务约束,代价是什么,如何验证?
  3. 数据怎么构建?采集、时间对齐、动作统一、质量筛选、数据划分与采样分别要检查什么?
  4. 训练和推理的细节是什么?哪些参数更新、损失怎么定、推理链路包含哪些环节、如何测时延?
  5. 实际效果与失败 case 是什么?用什么成功标准、在什么测试条件下得到,失败如何归因?
  6. 如果继续优化会怎么做?如何排序瓶颈、设计单变量实验?

论文讨论

  1. 论文的核心 motivation 是什么?已有方法在什么条件下出现什么限制?
  2. 方法如何设计?从输入、表示、模块、训练目标到推理过程怎样串成一条数据流?
  3. 为什么这样设计?每个关键选择改变了什么归纳偏置,预期解决哪种错误?
  4. 相比已有方法有什么优势和局限?比较时如何统一任务、数据、计算与评测协议?
  5. 如果让你改进会怎么做?如何给出最小而可证伪的改动?

VLA 基础

  1. VLA 的基本架构是什么?视觉、语言、本体状态与动作分别如何进入网络?
  2. observation 和 action 如何建模?动作表示各有哪些契约需要明确?
  3. action chunking 是什么?预测长度 H 与实际执行长度 K 如何取舍,块之间如何衔接?
  4. autoregressive policy 和 diffusion policy 有什么区别?各自的代价与评估方式是什么?
  5. VLM 和 VLA 的区别在哪里?
  6. VLA 在真实机器人部署中会遇到哪些问题?如何诊断与处理?

模仿学习与强化学习

  1. Behavior Cloning 的目标是什么?它的局限在哪里?
  2. distribution shift 是什么?有哪些缓解手段,各自解决的是哪一种偏移?
  3. imitation learning 和 reinforcement learning 的区别是什么?
  4. offline learning 和 online learning 的区别是什么?
  5. 为什么现在很多 manipulation 工作还是以 IL 为主?什么情况下更适合 RL?

手撕代码

  1. 手撕代码环节考察哪些算法范围?拿到题目后如何作答与测试?
  2. Python / PyTorch 的基础实操会问哪些内容,例如张量操作、训练流程与轨迹数据处理?
  3. JD 要求 C++ 时会考察哪些内容,例如 STL、智能指针、内存管理与并发基础?

《参考解析》

VLA 架构与 VLM 的边界:VLA 把视觉、语言与可选的机器人状态映射为行动决策,学习的是条件策略,而不是生成关于动作的文字描述。常见结构为视觉编码器、语言与多模态融合骨干、动作生成头;动作头有的把动作离散成 token 自回归生成,有的把预训练 VLM 与连续扩散或流匹配头结合,OpenVLA、RT-2 与 π0 代表不同实现路径,不能把某一种头部形式当成 VLA 的定义。训练使用带语言条件的机器人数据并可能复用视觉语言预训练,部署还需要反标准化、参考系转换、控制器、限幅与停止机制;高层策略的决策频率与底层控制环频率可以不同,模型输出也不必直接是关节力矩。VLM 与 VLA 的差别落在训练目标、输出语义与验收方式上:VLM 输出描述、答案或视觉语义表示,监督来自图文与视觉问答,误差后果是语义回答错误,验收看识别与问答指标;VLA 输出动作 token、连续控制目标或动作序列,监督是与观测对齐的机器人动作,误差会落到空间轨迹、接触与任务状态,验收看闭环成功率、精度、稳定性、时延与风险。给 VLM 一句 prompt 让它描述「拿起杯子」,不能证明它能输出坐标正确、时序合适、机器人可执行的动作;中间可以经规划器与技能库落地,也可以训练动作头,两条路线都要说明实际控制接口。视觉语言预训练提供语义泛化,但标定、动力学、接触与本体状态仍需数据与系统设计支持,语义基准的提升不能直接推导出真机成功率的提升。

观测与动作的接口契约:观测要覆盖完成任务所需的信息,同时不能把训练时可见、部署时拿不到的信息泄漏进去,常见输入是外部与腕部相机、深度、关节位置与速度、末端位姿、夹爪状态和任务语言,触觉与力按硬件与任务取舍。单帧图像分辨不出速度与运动方向,部分可观测任务要靠历史窗口、递归状态或显式估计,代价是计算量与数据要求上升;相机标定、时间同步与历史长度都要固定成契约。动作表示有四类常见选择,各自需要明确的约定:关节目标或增量贴近机器人接口,要定关节顺序、单位、极限与控制模式;末端位姿或增量便于描述操作几何,要定世界、基座、末端坐标系以及 IK 与可达性;速度或力矩更直接影响动态过程,对控制频率、稳定性与约束的要求更严;夹爪命令要定开合正负约定、范围、迟滞与执行延迟。旋转用四元数、轴角等表示时存在归一化、符号等价与奇异性问题,不能按普通欧氏量混算,标准化与反标准化的统计和轴顺序必须一致。张量形状不能替代物理定义:同为 D=7,一个系统表示末端平移增量、旋转增量与夹爪,另一个表示七个关节目标,执行前必须恢复单位、坐标系、时间间隔与动作范围。坐标系可以用矩阵约定说清:增量定义在基座系时按左乘刚体变换组合,定义在末端局部系时按右乘组合,旋转与平移一般不满足交换律;若接口规定基座系平移直接相加、姿态单独更新,就必须按该接口实现。夹爪同样不宜当作普通连续维度平均,二值开合、宽度、位置与力目标是不同语义。

动作块与推理时延:action chunking 一次预测连续多步动作,利用时间相关性并减少每个控制步都调用大模型的开销。要区分预测长度 H 与实际执行长度 K:t 时刻取观测预测 H 步、只执行前 K 步,t+K 重新观测并重规划,通常 K 不超过 H。H 较大有助于表达连贯行为,但远期预测更难;K 较大降低重规划频率,同时让机器人更长时间用不上新反馈,不同接触阶段可以取不同组合。以 20 Hz 控制为例,H=8 覆盖 0.4 秒、K=3 承诺执行 0.15 秒,前一块未执行的五步应被新预测替换,而不是在新块到来后继续全部下发。ACT 把动作分块与条件变分建模结合,并用时间集成平滑重叠预测;时间集成必须对齐「对应同一真实执行时刻」的候选动作,不能把当前时刻的第一步与旧块已执行完的第一步平均,位置、速度、旋转与夹爪的融合含义也各不相同,两个都能绕开障碍的方向直接平均可能撞上障碍。训练侧要处理尾部 mask、episode 边界与观测—动作延迟。时延按全链路计算:同步取观测、预处理、模型前向或采样、动作反标准化、坐标变换、限幅到控制器执行,GPU 前向时间不等于传感到执行的总延迟。若从观测可用到新动作块可执行的总时延为 L、单步控制间隔为 Δt,等待期间约有 ceil(L/Δt) 个控制步过去;模型仍把块首步解释为旧观测时刻的动作时,新结果到达就已经过期。可选同步等待、保持上一有效控制目标、基于状态预测补偿,或让模型显式适应推理期间已执行的动作前缀,丢弃前几步不是通用正确解。工程上要记录动作适用时间、已执行前缀与队列版本,定义动作有效期、队列策略、watchdog 与丢包后的行为,并测试传感器冻结、推理超时、结果乱序与控制线程重启。

自回归、扩散与流匹配:自回归策略把联合动作分布分解为条件序列分布,按动作表示决定分解顺序,逐个生成动作维度、时间步或编码 token;离散 token 方案用交叉熵训练,量化粒度、序列长度与解码方法决定精度和延迟,teacher forcing 与真实生成之间的条件差异也值得关注。它不限于离散动作,也不与 chunking 互斥。扩散策略学习条件动作序列分布,训练时对真实动作加噪并学习去噪,推理从噪声出发多步生成整个动作块,以噪声预测形式为例,代价是去噪步数与每步网络计算。流匹配同样生成连续动作,但学的是速度场:在噪声动作块与数据动作块之间构造直线路径,回归对应的速度目标,推理时沿速度场积分把噪声变成动作;它的目标函数不能写成所有扩散模型通用的噪声预测损失,路径、时间采样、条件注入、损失权重与数值求解器都可能变化。三类策略的比较要固定机器人任务、数据、动作语义与推理预算,再看成功率与延迟,「扩散一定更慢」「自回归一定更准」都需要具体模型与预算支撑。动作分布可以多峰,闭环系统却要在实际执行时选一条一致行为,每次重规划切换模式会产生不连续动作,生成模型的表达能力与控制系统的时间一致性必须一起考虑。

Behavior Cloning 与闭环分布偏移:BC 把专家示教转成监督学习,在专家访问过的观测或状态上学习对应动作或动作分布;概率策略的常见目标是最大化专家动作的似然,确定性连续回归常用均方误差。在绕障碍左侧或右侧都可行的多峰分布下,平均动作可能不可行,改用概率分布、离散 token 或扩散等建模能缓解表达问题,却不自动解决闭环分布偏移。BC 不需要显式奖励或环境动力学模型,数据与训练流程直接,适合已有高质量示教的任务,其质量受示教覆盖、动作标注与时间对齐影响,训练误差低不保证真实执行稳定。偏移至少有两种:环境改变造成的域偏移,以及策略动作改变后续状态、使训练与执行访问不同状态的闭环偏移,后者在模仿学习中尤其重要。BC 在专家状态分布 d_E 上学习,部署却访问自身策略诱导的 d_π,一步小误差把机器人带到示教中很少出现的位置,再产生更大误差,即使相机与任务完全不变也会发生。DAgger 让学习策略参与收集状态,在这些状态上查询专家动作并加入训练集迭代,训练时可以采用专家与学习策略混合执行,真机应用要考虑专家可用性与试错约束。恢复示教、相关扰动增强、域随机化、失败检测与受控交互都能改善覆盖,但图像增强只改变观测,不等于解决了错误动作带来的状态分布变化,离线数据重采样也创造不出完全未覆盖的恢复动作。要判断修的是哪一种偏移,应分别测试未见视觉条件、动作扰动后的恢复、长时序成功率与接管次数。把策略自己在偏离状态下生成的动作原样回灌为「专家动作」只是强化自身行为,不构成 DAgger 所需的专家纠正;专家也可以是控制器或规划器,但必须说明它为何能在这些状态给出有效标签。若训练时利用了只有仿真器才提供的完整物体状态、部署时只有图像,这属于信息条件改变,增加 DAgger 轮数无法消除传感器差异。

IL/RL、offline/online 与 manipulation 的现实选择:模仿学习从示教或专家反馈学习行为,强化学习依据奖励与环境转移优化长期回报,分野在学习信号与目标,而不在是否使用 Transformer 或是否运行在机器人上。IL 的优势是有示教时容易形成可用行为,难点是专家成本、覆盖与分布偏移;RL 有机会优化出超越示教的回报,难点是探索、奖励设计、样本效率与稳定性,机器人上还要承担交互损耗、复位与危险状态的成本。并非所有 IL 都是离线 BC,交互式模仿可以查询专家;RL 也可以完全基于固定离线数据训练,IL/RL 与 offline/online 是两个不同维度。offline/online 描述训练期间是否继续获得由当前或更新中策略参与采集的新数据,与机器人是否联网无关,评估阶段与环境交互也不自动使训练成为在线学习。四种组合都存在:离线 BC 在固定示教上做监督拟合,关键问题是专家覆盖与闭环偏移;交互式 IL 在新状态查询专家并更新,关键问题是专家标注、交互范围与安全;离线 RL 在固定转移与奖励数据上优化策略,关键问题是未覆盖动作的价值外推与分布约束;在线 RL 收集新交互迭代策略,关键问题是探索、奖励、复位与样本成本。离线 RL 的价值函数可能高估数据中罕见的动作,策略反过来偏向这些动作形成反馈,保守价值估计与行为约束能限制这种倾向,也可能抑制对更优动作的探索,任何算法都无法从完全没有证据的区域获得可靠的动力学知识。on-policy 与 off-policy 同样不同于 offline 与 online:在线 RL 可以使用 replay buffer 与 off-policy 方法,固定数据训练后只做部署测试仍属离线训练。部署后持续收集日志、定期审核再训练是迭代流程,不等于每次执行都立即更新模型;项目要说明数据何时冻结、策略何时更新、哪个版本接受评测、更新失败如何回滚。manipulation 以 IL 为主这一判断适用于许多有示教数据的操作任务,并非全部研究如此。现实优势是用较明确的数据监督建立可执行策略,省去真机从随机行为开始探索的成本:真实操作的奖励可能稀疏或难以定义,复位与失败消耗时间,接触动力学与视觉状态抬高学习难度,遥操作示教在某些任务上比大量试错更容易获得有效动作,BC、动作块与生成式动作策略提供了可扩展的学习路线,多任务数据与视觉语言预训练也让 IL 更容易复用已有知识。但示教采集仍然昂贵,覆盖不足与恢复能力弱是瓶颈,「训练稳定、容易起步」不代表性能上限更高。仿真可用、奖励可靠、交互与复位成本可控时 RL 可能更有优势,也可以先用 IL 初始化、再用 RL 或专家反馈改进,比较时用同口径的成功率、样本成本与执行风险。

数据构建、评测与真机部署:机器人数据以带时间关系的 episode 为基本单位,至少关联观测、动作、任务说明、机器人配置与终止状态;示教可来自遥操作、动捕、脚本、仿真或已有数据集,不同采集方式的分布与控制语义不能直接等同。处理链路上,采集要记录相机视角、频率、动作接口与示教成功失败标签;时间对齐要核对观测时间戳、命令发送与执行延迟,避免未来信息泄漏;动作统一要确定绝对或增量、参考系、单位、旋转表示与夹爪约定;质量筛选要清掉丢帧、无效动作、传感器异常、重复片段与错误指令;数据划分按轨迹、对象、场景、日期或任务分组,而不是随机拆相邻帧;采样要平衡任务、机器人与成功失败模式,避免长轨迹主导。标准化统计只从训练集计算,验证与部署复用同一版本;跨机器人数据要保留形态与控制元数据,必要时做特定动作头或适配,不能只把动作向量补成相同长度。失败轨迹可用于价值学习、失败检测或恢复策略,直接当作 BC 的正示教则可能学会重复失败。数据量要同时报告 episode 数、有效时长、任务与环境覆盖,帧数不等于独立样本数。一个实用的 episode 清单记录 episode_id、task_id、robot_id、camera_calibration_version、controller_mode、observation_timestamp、action_timestamp、terminated 与 truncated;任务完成与采集超时要区分,它们在构造价值学习的终止掩码时语义不同。抽样回放对齐后的轨迹,检查「手开始移动前命令是否已经出现」「接触状态是否与图像一致」,往往比直接扩大数据量更有诊断价值。训练侧先固定数据契约与损失,再说明哪些参数更新、采样方式、优化器、学习率、batch、精度与随机种子,使用冻结骨干、LoRA 还是全量微调要有选择依据与对照结果;动作块训练输入当前观测及允许的历史、预测后续 H 步动作,轨迹尾部不足可以截断或填充但损失必须屏蔽无效位置,不同 episode 不能拼成一个动作块,未来帧不能误入观测。评测报告成功次数 k 与总次数 n 并给出二项比例置信区间:20 次独立同分布试验成功 16 次的点估计是 80%,Wilson 95% 区间约为 58.4% 至 91.9%,多次运行共享场景、物体或复位过程时独立同分布假设不成立,应按场景或任务分组统计或采用分组重采样。失败可拆为感知错误、语义错误、动作选择错误、控制跟踪误差、延迟与分布外状态,靠回放相机、本体状态、命令与实际动作,用替换模块的控制变量实验归因,仅凭模型自称「没看清」不能确认感知就是根因。真机部署的典型问题各有对应处理:标定或参考系错误表现为动作方向与距离的系统性偏差,要核对相机外参、单位、轴顺序与变换;延迟与不同步表现为对过时画面行动、接触阶段失稳,要打全链路时间戳、做延迟补偿并选取合理执行长度;分布变化表现为新光照、新物体、新背景下失败,要分组评测、补齐数据并加失败检测与恢复;物理可行性要由控制器与约束层校验越限、不可达与自碰撞并明确停止机制;长任务累积误差表现为前段正确后段偏离,要靠进度判断、闭环重规划与恢复子任务。量化、蒸馏、减少生成步骤或降低视觉 token 数可以降低时延,也可能降低动作精度,必须重跑闭环评测,并如实报告人工干预、复位与异常终止。

手撕代码与 PyTorch 实操:算法题准备覆盖数组与哈希、双指针、滑动窗口、栈与队列、二分、链表、树与图遍历、堆、回溯和动态规划,Hot 100 是合适的练习集合,但不构成该岗位的必考题清单。作答先确认输入输出、数据范围、是否允许修改输入、重复值与无解的处理,给出朴素解法及其瓶颈,说明维护的不变量或递推关系后再写代码,并分析时间、额外空间与递归栈;测试覆盖空输入、最小规模、重复值、单调或极端数据与边界答案,固定宽度整数实现要考虑溢出,图与轨迹类题要注意连通性、方向、边界以及状态是否跨样本污染。PyTorch 实操的重点是把张量语义、训练状态与轨迹边界写对:batch、time、feature 维度,broadcast、mask、reshape 与非连续内存,梯度清零、train 与 eval 切换、推理时关闭梯度、设备与 dtype,以及可复现的数据加载。以从单条 episode 构造长度 H 的动作块为例,输入动作为 (T, D),输出 (T, H, D) 的动作块与 (T, H) 的有效 mask,不跨 episode 拼接、不修改输入;零填充只是占位,不表示机器人应执行零动作,训练与执行都要尊重有效范围;构造的时间与存储规模为 O(T·H·D),大数据集应在 Dataset 中按索引动态取块,避免一次物化全部窗口。带无效尾部的损失要按有效元素数计算分母:对 (B, H, D) 的预测与 (B, H) 的 mask,先按 mask 选出有效位置再相减求均值,可以避免填充区的 NaN 在「先算误差再乘 0」时污染损失;有效元素为零时显式跳过本批而不是当成零损失样本,低精度输入先转 float32 再做误差运算。损失屏蔽填充误差,不代表序列模型内部已经屏蔽无效 token,注意力、状态递推或归一化读入填充内容仍可能影响有效位置,测试要覆盖有效位置误差、无效位置梯度、全空 mask、错误的 shape 与 dtype,以及动作块是否跨 episode。分布式训练中各 rank 需要协调空批处理,不能让部分 rank 跳过而其他 rank 进入梯度同步,有效元素数不相等时应按全局有效计数加权,而不是平均各 rank 的局部均值。C++ 方向对应准备容器生命周期、RAII、智能指针、移动语义、越界与并发同步,异步控制线程不能访问已经释放或被并发修改的缓冲区。