阶跃星辰 AI 评测算法二面:AI 水印、数据合成与上下文压缩
- 轮次
- 二面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
背景与岗位定位
- 实习的 timeline 与期望是什么?
- 团队希望把评测从能力观测推进到能力建设,包括数据合成与质量过滤,你会怎样加入并上手?
- 你更期望做主线贡献,还是做独立自洽的研究?
- 谈谈你对 AI 水印的了解。
- 人类能否做好 AI 水印的检测?
- 介绍一下你第二段工作的研究思路。
现场读码
- 先整体讲讲 Claude Code、Codex、Pi 这类 harness 的上下文压缩机制。
- 现场阅读开源 harness 的 summarization 实现:它的输入输出是什么,有哪几类压缩尝试,如何保护任务信息,summary bridge 与 acknowledgement 如何保证 user 与 agent 交替,原文如何保留?
反问
- 基模团队的测评工作如何定位?
《参考解析》
评测闭环如何走到能力建设:评测的价值不止于给出分数,而在于把失败样本变成可训练的信号。一条完整链路是「观测—归因—合成—训练—回归」:先由 benchmark 与线上采样拿到失败样本,再按能力维度归类(知识缺失、指令遵循、工具使用、长上下文丢失、格式错误),然后针对性合成数据。合成环节要解决四件事:种子任务的分布覆盖、难度分层、可执行验证(能跑单测或能比对标准答案的优先)、去重与质量过滤。质量过滤通常叠三层——规则校验、可执行验证、模型或人工打分,单靠 judge 打分容易把「写得像」的样本留下来。指标上要同时看通过率、pass@k、平均步骤数、token 成本与延迟,否则容易优化出只会跑分、真实使用体验下降的模型。
AI 水印的生成与检测:主流文本水印在解码阶段引入统计偏置:用前文哈希加密钥把词表划分为 green list 与其余部分,采样时给 green token 的 logit 加一个偏置,生成文本中 green token 的比例就会显著高于随机水平。检测端不需要原文,只需按同一密钥重算每步的 green list,统计 green token 数量并计算 z-score 与 p 值,文本越长信号越强。它的本质是统计偏好而非密码学签名,因此密钥泄漏、模型更换、采样参数改变都会让水印失效;改写、翻译、截断、润色会削弱统计信号,中文因为分词方式与改写工具的特性,检出率通常低于英文。另一类无密钥检测依赖分类器或困惑度扰动,泛化性差,换模型就容易失灵。
人类判别的上限:让人仅凭阅读判断文本是否由模型生成,准确率通常只略高于随机,短文本尤其明显;给出判断理由、提供对照样本会有提升,但提升有限。这与水印检测不是同一件事:前者依赖语感与经验,后者依赖统计检验。若要衡量「人类能否分辨」,实验必须控制文本长度、领域、生成模型与呈现方式,并报告准确率、置信区间与标注者一致性,否则不同实验之间不可比。结论对评测工作的含义是:把可自动化的判定交给程序,人工只负责校准 judge 与抽检边界样本。
上下文压缩要保住什么:harness 的压缩一般在 token 接近窗口上限或轮数达到阈值时触发,手段分三类:滑动窗口直接丢弃早期轮次、把历史摘要成一段叙述、把状态抽取成结构化条目(目标、约束、已改文件、待办、失败原因)。信息优先级应当是任务目标与硬约束最高,其次是已完成的修改与文件路径,再次是未完成的待办与失败尝试,最后才是闲聊。摘要之后还要处理协议层的约束:多数模型 API 要求 user 与 assistant 严格交替,压缩可能把连续的同角色消息拼在一起,因此需要 summary bridge 与 acknowledgement 之类的插入消息来恢复交替结构。原文保留同样重要,常见做法是最近若干轮保留原文、较早的工具结果落盘并在需要时回读,避免摘要丢掉关键细节后反复返工。评估压缩效果看三项:压缩后的任务成功率、重复劳动次数、以及节省的 token 比例。
benchmark 与真实体感的取舍:benchmark 提供可复现的横向对比,但容易饱和,也容易被针对性优化;真实工作场景(模型以 API 形式被各类 harness 调用)更能反映工具调用、长上下文维持、错误恢复等综合能力。合理的做法是两者成对使用:benchmark 定基线与版本回归,场景集看真实体感,并持续把线上失败样本补进场景集。只盯跑分会得到「跑分没输过、使用没赢过」的结果,只凭体感又无法定位退化的具体能力项。