面灵AI→

阶跃星辰 AI 评测算法二面:AI 水印、数据合成与上下文压缩

轮次
二面
时间
2026-11
来源
牛客网

《面试题目》

背景与岗位定位

  1. 实习的 timeline 与期望是什么?
  2. 团队希望把评测从能力观测推进到能力建设,包括数据合成与质量过滤,你会怎样加入并上手?
  3. 你更期望做主线贡献,还是做独立自洽的研究?
  4. 谈谈你对 AI 水印的了解。
  5. 人类能否做好 AI 水印的检测?
  6. 介绍一下你第二段工作的研究思路。

现场读码

  1. 先整体讲讲 Claude Code、Codex、Pi 这类 harness 的上下文压缩机制。
  2. 现场阅读开源 harness 的 summarization 实现:它的输入输出是什么,有哪几类压缩尝试,如何保护任务信息,summary bridge 与 acknowledgement 如何保证 user 与 agent 交替,原文如何保留?

反问

  1. 基模团队的测评工作如何定位?

《参考解析》

评测闭环如何走到能力建设:评测的价值不止于给出分数,而在于把失败样本变成可训练的信号。一条完整链路是「观测—归因—合成—训练—回归」:先由 benchmark 与线上采样拿到失败样本,再按能力维度归类(知识缺失、指令遵循、工具使用、长上下文丢失、格式错误),然后针对性合成数据。合成环节要解决四件事:种子任务的分布覆盖、难度分层、可执行验证(能跑单测或能比对标准答案的优先)、去重与质量过滤。质量过滤通常叠三层——规则校验、可执行验证、模型或人工打分,单靠 judge 打分容易把「写得像」的样本留下来。指标上要同时看通过率、pass@k、平均步骤数、token 成本与延迟,否则容易优化出只会跑分、真实使用体验下降的模型。

AI 水印的生成与检测:主流文本水印在解码阶段引入统计偏置:用前文哈希加密钥把词表划分为 green list 与其余部分,采样时给 green token 的 logit 加一个偏置,生成文本中 green token 的比例就会显著高于随机水平。检测端不需要原文,只需按同一密钥重算每步的 green list,统计 green token 数量并计算 z-score 与 p 值,文本越长信号越强。它的本质是统计偏好而非密码学签名,因此密钥泄漏、模型更换、采样参数改变都会让水印失效;改写、翻译、截断、润色会削弱统计信号,中文因为分词方式与改写工具的特性,检出率通常低于英文。另一类无密钥检测依赖分类器或困惑度扰动,泛化性差,换模型就容易失灵。

人类判别的上限:让人仅凭阅读判断文本是否由模型生成,准确率通常只略高于随机,短文本尤其明显;给出判断理由、提供对照样本会有提升,但提升有限。这与水印检测不是同一件事:前者依赖语感与经验,后者依赖统计检验。若要衡量「人类能否分辨」,实验必须控制文本长度、领域、生成模型与呈现方式,并报告准确率、置信区间与标注者一致性,否则不同实验之间不可比。结论对评测工作的含义是:把可自动化的判定交给程序,人工只负责校准 judge 与抽检边界样本。

上下文压缩要保住什么:harness 的压缩一般在 token 接近窗口上限或轮数达到阈值时触发,手段分三类:滑动窗口直接丢弃早期轮次、把历史摘要成一段叙述、把状态抽取成结构化条目(目标、约束、已改文件、待办、失败原因)。信息优先级应当是任务目标与硬约束最高,其次是已完成的修改与文件路径,再次是未完成的待办与失败尝试,最后才是闲聊。摘要之后还要处理协议层的约束:多数模型 API 要求 user 与 assistant 严格交替,压缩可能把连续的同角色消息拼在一起,因此需要 summary bridge 与 acknowledgement 之类的插入消息来恢复交替结构。原文保留同样重要,常见做法是最近若干轮保留原文、较早的工具结果落盘并在需要时回读,避免摘要丢掉关键细节后反复返工。评估压缩效果看三项:压缩后的任务成功率、重复劳动次数、以及节省的 token 比例。

benchmark 与真实体感的取舍:benchmark 提供可复现的横向对比,但容易饱和,也容易被针对性优化;真实工作场景(模型以 API 形式被各类 harness 调用)更能反映工具调用、长上下文维持、错误恢复等综合能力。合理的做法是两者成对使用:benchmark 定基线与版本回归,场景集看真实体感,并持续把线上失败样本补进场景集。只盯跑分会得到「跑分没输过、使用没赢过」的结果,只凭体感又无法定位退化的具体能力项。