原力灵机 具身智能算法面:VLA 架构、动作块与 IL/RL 追问
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
项目深挖
- 项目的整体思路是什么?请从任务、观测、动作、学习目标、部署和评测六个环节讲清一次真实执行。
- 模型为什么这么设计?各项结构选择分别对应什么任务约束,代价是什么,如何验证?
- 数据怎么构建?采集、时间对齐、动作统一、质量筛选、数据划分与采样分别要检查什么?
- 训练和推理的细节是什么?哪些参数更新、损失怎么定、推理链路包含哪些环节、如何测时延?
- 实际效果与失败 case 是什么?用什么成功标准、在什么测试条件下得到,失败如何归因?
- 如果继续优化会怎么做?如何排序瓶颈、设计单变量实验?
论文讨论
- 论文的核心 motivation 是什么?已有方法在什么条件下出现什么限制?
- 方法如何设计?从输入、表示、模块、训练目标到推理过程怎样串成一条数据流?
- 为什么这样设计?每个关键选择改变了什么归纳偏置,预期解决哪种错误?
- 相比已有方法有什么优势和局限?比较时如何统一任务、数据、计算与评测协议?
- 如果让你改进会怎么做?如何给出最小而可证伪的改动?
VLA 基础
- VLA 的基本架构是什么?视觉、语言、本体状态与动作分别如何进入网络?
- observation 和 action 如何建模?动作表示各有哪些契约需要明确?
- action chunking 是什么?预测长度 H 与实际执行长度 K 如何取舍,块之间如何衔接?
- autoregressive policy 和 diffusion policy 有什么区别?各自的代价与评估方式是什么?
- VLM 和 VLA 的区别在哪里?
- VLA 在真实机器人部署中会遇到哪些问题?如何诊断与处理?
模仿学习与强化学习
- Behavior Cloning 的目标是什么?它的局限在哪里?
- distribution shift 是什么?有哪些缓解手段,各自解决的是哪一种偏移?
- imitation learning 和 reinforcement learning 的区别是什么?
- offline learning 和 online learning 的区别是什么?
- 为什么现在很多 manipulation 工作还是以 IL 为主?什么情况下更适合 RL?
手撕代码
- 手撕代码环节考察哪些算法范围?拿到题目后如何作答与测试?
- Python / PyTorch 的基础实操会问哪些内容,例如张量操作、训练流程与轨迹数据处理?
- JD 要求 C++ 时会考察哪些内容,例如 STL、智能指针、内存管理与并发基础?
《参考解析》
VLA 架构与 VLM 的边界:VLA 把视觉、语言与可选的机器人状态映射为行动决策,学习的是条件策略,而不是生成关于动作的文字描述。常见结构为视觉编码器、语言与多模态融合骨干、动作生成头;动作头有的把动作离散成 token 自回归生成,有的把预训练 VLM 与连续扩散或流匹配头结合,OpenVLA、RT-2 与 π0 代表不同实现路径,不能把某一种头部形式当成 VLA 的定义。训练使用带语言条件的机器人数据并可能复用视觉语言预训练,部署还需要反标准化、参考系转换、控制器、限幅与停止机制;高层策略的决策频率与底层控制环频率可以不同,模型输出也不必直接是关节力矩。VLM 与 VLA 的差别落在训练目标、输出语义与验收方式上:VLM 输出描述、答案或视觉语义表示,监督来自图文与视觉问答,误差后果是语义回答错误,验收看识别与问答指标;VLA 输出动作 token、连续控制目标或动作序列,监督是与观测对齐的机器人动作,误差会落到空间轨迹、接触与任务状态,验收看闭环成功率、精度、稳定性、时延与风险。给 VLM 一句 prompt 让它描述「拿起杯子」,不能证明它能输出坐标正确、时序合适、机器人可执行的动作;中间可以经规划器与技能库落地,也可以训练动作头,两条路线都要说明实际控制接口。视觉语言预训练提供语义泛化,但标定、动力学、接触与本体状态仍需数据与系统设计支持,语义基准的提升不能直接推导出真机成功率的提升。
观测与动作的接口契约:观测要覆盖完成任务所需的信息,同时不能把训练时可见、部署时拿不到的信息泄漏进去,常见输入是外部与腕部相机、深度、关节位置与速度、末端位姿、夹爪状态和任务语言,触觉与力按硬件与任务取舍。单帧图像分辨不出速度与运动方向,部分可观测任务要靠历史窗口、递归状态或显式估计,代价是计算量与数据要求上升;相机标定、时间同步与历史长度都要固定成契约。动作表示有四类常见选择,各自需要明确的约定:关节目标或增量贴近机器人接口,要定关节顺序、单位、极限与控制模式;末端位姿或增量便于描述操作几何,要定世界、基座、末端坐标系以及 IK 与可达性;速度或力矩更直接影响动态过程,对控制频率、稳定性与约束的要求更严;夹爪命令要定开合正负约定、范围、迟滞与执行延迟。旋转用四元数、轴角等表示时存在归一化、符号等价与奇异性问题,不能按普通欧氏量混算,标准化与反标准化的统计和轴顺序必须一致。张量形状不能替代物理定义:同为 D=7,一个系统表示末端平移增量、旋转增量与夹爪,另一个表示七个关节目标,执行前必须恢复单位、坐标系、时间间隔与动作范围。坐标系可以用矩阵约定说清:增量定义在基座系时按左乘刚体变换组合,定义在末端局部系时按右乘组合,旋转与平移一般不满足交换律;若接口规定基座系平移直接相加、姿态单独更新,就必须按该接口实现。夹爪同样不宜当作普通连续维度平均,二值开合、宽度、位置与力目标是不同语义。
动作块与推理时延:action chunking 一次预测连续多步动作,利用时间相关性并减少每个控制步都调用大模型的开销。要区分预测长度 H 与实际执行长度 K:t 时刻取观测预测 H 步、只执行前 K 步,t+K 重新观测并重规划,通常 K 不超过 H。H 较大有助于表达连贯行为,但远期预测更难;K 较大降低重规划频率,同时让机器人更长时间用不上新反馈,不同接触阶段可以取不同组合。以 20 Hz 控制为例,H=8 覆盖 0.4 秒、K=3 承诺执行 0.15 秒,前一块未执行的五步应被新预测替换,而不是在新块到来后继续全部下发。ACT 把动作分块与条件变分建模结合,并用时间集成平滑重叠预测;时间集成必须对齐「对应同一真实执行时刻」的候选动作,不能把当前时刻的第一步与旧块已执行完的第一步平均,位置、速度、旋转与夹爪的融合含义也各不相同,两个都能绕开障碍的方向直接平均可能撞上障碍。训练侧要处理尾部 mask、episode 边界与观测—动作延迟。时延按全链路计算:同步取观测、预处理、模型前向或采样、动作反标准化、坐标变换、限幅到控制器执行,GPU 前向时间不等于传感到执行的总延迟。若从观测可用到新动作块可执行的总时延为 L、单步控制间隔为 Δt,等待期间约有 ceil(L/Δt) 个控制步过去;模型仍把块首步解释为旧观测时刻的动作时,新结果到达就已经过期。可选同步等待、保持上一有效控制目标、基于状态预测补偿,或让模型显式适应推理期间已执行的动作前缀,丢弃前几步不是通用正确解。工程上要记录动作适用时间、已执行前缀与队列版本,定义动作有效期、队列策略、watchdog 与丢包后的行为,并测试传感器冻结、推理超时、结果乱序与控制线程重启。
自回归、扩散与流匹配:自回归策略把联合动作分布分解为条件序列分布,按动作表示决定分解顺序,逐个生成动作维度、时间步或编码 token;离散 token 方案用交叉熵训练,量化粒度、序列长度与解码方法决定精度和延迟,teacher forcing 与真实生成之间的条件差异也值得关注。它不限于离散动作,也不与 chunking 互斥。扩散策略学习条件动作序列分布,训练时对真实动作加噪并学习去噪,推理从噪声出发多步生成整个动作块,以噪声预测形式为例,代价是去噪步数与每步网络计算。流匹配同样生成连续动作,但学的是速度场:在噪声动作块与数据动作块之间构造直线路径,回归对应的速度目标,推理时沿速度场积分把噪声变成动作;它的目标函数不能写成所有扩散模型通用的噪声预测损失,路径、时间采样、条件注入、损失权重与数值求解器都可能变化。三类策略的比较要固定机器人任务、数据、动作语义与推理预算,再看成功率与延迟,「扩散一定更慢」「自回归一定更准」都需要具体模型与预算支撑。动作分布可以多峰,闭环系统却要在实际执行时选一条一致行为,每次重规划切换模式会产生不连续动作,生成模型的表达能力与控制系统的时间一致性必须一起考虑。
Behavior Cloning 与闭环分布偏移:BC 把专家示教转成监督学习,在专家访问过的观测或状态上学习对应动作或动作分布;概率策略的常见目标是最大化专家动作的似然,确定性连续回归常用均方误差。在绕障碍左侧或右侧都可行的多峰分布下,平均动作可能不可行,改用概率分布、离散 token 或扩散等建模能缓解表达问题,却不自动解决闭环分布偏移。BC 不需要显式奖励或环境动力学模型,数据与训练流程直接,适合已有高质量示教的任务,其质量受示教覆盖、动作标注与时间对齐影响,训练误差低不保证真实执行稳定。偏移至少有两种:环境改变造成的域偏移,以及策略动作改变后续状态、使训练与执行访问不同状态的闭环偏移,后者在模仿学习中尤其重要。BC 在专家状态分布 d_E 上学习,部署却访问自身策略诱导的 d_π,一步小误差把机器人带到示教中很少出现的位置,再产生更大误差,即使相机与任务完全不变也会发生。DAgger 让学习策略参与收集状态,在这些状态上查询专家动作并加入训练集迭代,训练时可以采用专家与学习策略混合执行,真机应用要考虑专家可用性与试错约束。恢复示教、相关扰动增强、域随机化、失败检测与受控交互都能改善覆盖,但图像增强只改变观测,不等于解决了错误动作带来的状态分布变化,离线数据重采样也创造不出完全未覆盖的恢复动作。要判断修的是哪一种偏移,应分别测试未见视觉条件、动作扰动后的恢复、长时序成功率与接管次数。把策略自己在偏离状态下生成的动作原样回灌为「专家动作」只是强化自身行为,不构成 DAgger 所需的专家纠正;专家也可以是控制器或规划器,但必须说明它为何能在这些状态给出有效标签。若训练时利用了只有仿真器才提供的完整物体状态、部署时只有图像,这属于信息条件改变,增加 DAgger 轮数无法消除传感器差异。
IL/RL、offline/online 与 manipulation 的现实选择:模仿学习从示教或专家反馈学习行为,强化学习依据奖励与环境转移优化长期回报,分野在学习信号与目标,而不在是否使用 Transformer 或是否运行在机器人上。IL 的优势是有示教时容易形成可用行为,难点是专家成本、覆盖与分布偏移;RL 有机会优化出超越示教的回报,难点是探索、奖励设计、样本效率与稳定性,机器人上还要承担交互损耗、复位与危险状态的成本。并非所有 IL 都是离线 BC,交互式模仿可以查询专家;RL 也可以完全基于固定离线数据训练,IL/RL 与 offline/online 是两个不同维度。offline/online 描述训练期间是否继续获得由当前或更新中策略参与采集的新数据,与机器人是否联网无关,评估阶段与环境交互也不自动使训练成为在线学习。四种组合都存在:离线 BC 在固定示教上做监督拟合,关键问题是专家覆盖与闭环偏移;交互式 IL 在新状态查询专家并更新,关键问题是专家标注、交互范围与安全;离线 RL 在固定转移与奖励数据上优化策略,关键问题是未覆盖动作的价值外推与分布约束;在线 RL 收集新交互迭代策略,关键问题是探索、奖励、复位与样本成本。离线 RL 的价值函数可能高估数据中罕见的动作,策略反过来偏向这些动作形成反馈,保守价值估计与行为约束能限制这种倾向,也可能抑制对更优动作的探索,任何算法都无法从完全没有证据的区域获得可靠的动力学知识。on-policy 与 off-policy 同样不同于 offline 与 online:在线 RL 可以使用 replay buffer 与 off-policy 方法,固定数据训练后只做部署测试仍属离线训练。部署后持续收集日志、定期审核再训练是迭代流程,不等于每次执行都立即更新模型;项目要说明数据何时冻结、策略何时更新、哪个版本接受评测、更新失败如何回滚。manipulation 以 IL 为主这一判断适用于许多有示教数据的操作任务,并非全部研究如此。现实优势是用较明确的数据监督建立可执行策略,省去真机从随机行为开始探索的成本:真实操作的奖励可能稀疏或难以定义,复位与失败消耗时间,接触动力学与视觉状态抬高学习难度,遥操作示教在某些任务上比大量试错更容易获得有效动作,BC、动作块与生成式动作策略提供了可扩展的学习路线,多任务数据与视觉语言预训练也让 IL 更容易复用已有知识。但示教采集仍然昂贵,覆盖不足与恢复能力弱是瓶颈,「训练稳定、容易起步」不代表性能上限更高。仿真可用、奖励可靠、交互与复位成本可控时 RL 可能更有优势,也可以先用 IL 初始化、再用 RL 或专家反馈改进,比较时用同口径的成功率、样本成本与执行风险。
数据构建、评测与真机部署:机器人数据以带时间关系的 episode 为基本单位,至少关联观测、动作、任务说明、机器人配置与终止状态;示教可来自遥操作、动捕、脚本、仿真或已有数据集,不同采集方式的分布与控制语义不能直接等同。处理链路上,采集要记录相机视角、频率、动作接口与示教成功失败标签;时间对齐要核对观测时间戳、命令发送与执行延迟,避免未来信息泄漏;动作统一要确定绝对或增量、参考系、单位、旋转表示与夹爪约定;质量筛选要清掉丢帧、无效动作、传感器异常、重复片段与错误指令;数据划分按轨迹、对象、场景、日期或任务分组,而不是随机拆相邻帧;采样要平衡任务、机器人与成功失败模式,避免长轨迹主导。标准化统计只从训练集计算,验证与部署复用同一版本;跨机器人数据要保留形态与控制元数据,必要时做特定动作头或适配,不能只把动作向量补成相同长度。失败轨迹可用于价值学习、失败检测或恢复策略,直接当作 BC 的正示教则可能学会重复失败。数据量要同时报告 episode 数、有效时长、任务与环境覆盖,帧数不等于独立样本数。一个实用的 episode 清单记录 episode_id、task_id、robot_id、camera_calibration_version、controller_mode、observation_timestamp、action_timestamp、terminated 与 truncated;任务完成与采集超时要区分,它们在构造价值学习的终止掩码时语义不同。抽样回放对齐后的轨迹,检查「手开始移动前命令是否已经出现」「接触状态是否与图像一致」,往往比直接扩大数据量更有诊断价值。训练侧先固定数据契约与损失,再说明哪些参数更新、采样方式、优化器、学习率、batch、精度与随机种子,使用冻结骨干、LoRA 还是全量微调要有选择依据与对照结果;动作块训练输入当前观测及允许的历史、预测后续 H 步动作,轨迹尾部不足可以截断或填充但损失必须屏蔽无效位置,不同 episode 不能拼成一个动作块,未来帧不能误入观测。评测报告成功次数 k 与总次数 n 并给出二项比例置信区间:20 次独立同分布试验成功 16 次的点估计是 80%,Wilson 95% 区间约为 58.4% 至 91.9%,多次运行共享场景、物体或复位过程时独立同分布假设不成立,应按场景或任务分组统计或采用分组重采样。失败可拆为感知错误、语义错误、动作选择错误、控制跟踪误差、延迟与分布外状态,靠回放相机、本体状态、命令与实际动作,用替换模块的控制变量实验归因,仅凭模型自称「没看清」不能确认感知就是根因。真机部署的典型问题各有对应处理:标定或参考系错误表现为动作方向与距离的系统性偏差,要核对相机外参、单位、轴顺序与变换;延迟与不同步表现为对过时画面行动、接触阶段失稳,要打全链路时间戳、做延迟补偿并选取合理执行长度;分布变化表现为新光照、新物体、新背景下失败,要分组评测、补齐数据并加失败检测与恢复;物理可行性要由控制器与约束层校验越限、不可达与自碰撞并明确停止机制;长任务累积误差表现为前段正确后段偏离,要靠进度判断、闭环重规划与恢复子任务。量化、蒸馏、减少生成步骤或降低视觉 token 数可以降低时延,也可能降低动作精度,必须重跑闭环评测,并如实报告人工干预、复位与异常终止。
手撕代码与 PyTorch 实操:算法题准备覆盖数组与哈希、双指针、滑动窗口、栈与队列、二分、链表、树与图遍历、堆、回溯和动态规划,Hot 100 是合适的练习集合,但不构成该岗位的必考题清单。作答先确认输入输出、数据范围、是否允许修改输入、重复值与无解的处理,给出朴素解法及其瓶颈,说明维护的不变量或递推关系后再写代码,并分析时间、额外空间与递归栈;测试覆盖空输入、最小规模、重复值、单调或极端数据与边界答案,固定宽度整数实现要考虑溢出,图与轨迹类题要注意连通性、方向、边界以及状态是否跨样本污染。PyTorch 实操的重点是把张量语义、训练状态与轨迹边界写对:batch、time、feature 维度,broadcast、mask、reshape 与非连续内存,梯度清零、train 与 eval 切换、推理时关闭梯度、设备与 dtype,以及可复现的数据加载。以从单条 episode 构造长度 H 的动作块为例,输入动作为 (T, D),输出 (T, H, D) 的动作块与 (T, H) 的有效 mask,不跨 episode 拼接、不修改输入;零填充只是占位,不表示机器人应执行零动作,训练与执行都要尊重有效范围;构造的时间与存储规模为 O(T·H·D),大数据集应在 Dataset 中按索引动态取块,避免一次物化全部窗口。带无效尾部的损失要按有效元素数计算分母:对 (B, H, D) 的预测与 (B, H) 的 mask,先按 mask 选出有效位置再相减求均值,可以避免填充区的 NaN 在「先算误差再乘 0」时污染损失;有效元素为零时显式跳过本批而不是当成零损失样本,低精度输入先转 float32 再做误差运算。损失屏蔽填充误差,不代表序列模型内部已经屏蔽无效 token,注意力、状态递推或归一化读入填充内容仍可能影响有效位置,测试要覆盖有效位置误差、无效位置梯度、全空 mask、错误的 shape 与 dtype,以及动作块是否跨 episode。分布式训练中各 rank 需要协调空批处理,不能让部分 rank 跳过而其他 rank 进入梯度同步,有效元素数不相等时应按全局有效计数加权,而不是平均各 rank 的局部均值。C++ 方向对应准备容器生命周期、RAII、智能指针、移动语义、越界与并发同步,异步控制线程不能访问已经释放或被并发修改的缓冲区。