面灵AI→

网易互娱游戏测试开发一面:LLM judge 的幻觉率怎么定,日志怎么查匹配进不去

轮次
一面
时间
2026-10
来源
牛客网

《面试题目》

  1. 自我介绍。
  2. 介绍一下 Python 的垃圾回收机制。
  3. Python 的深拷贝和浅拷贝有什么区别?
  4. 介绍一下 C++ 的内存管理机制、智能指针。
  5. 介绍一下 MySQL 的索引,以及索引失效的场景。
  6. 图的遍历方式有哪些?分别用到什么数据结构?
  7. 实习拷打:自动化是怎么做的?LLM as judge 如何确定它的幻觉率和准确率?
  8. 以日志的角度搭一个日志流程,分析用户有时反馈「进不去匹配对局」。
  9. 游戏过程中断网了,日志应该记录什么?日志过大时怎么办?
  10. 你实习过程中最难的一件事是什么?
  11. 喜欢的游戏是 LOL,分析一下 LOL 的平衡,你会怎么设计?怎么快速验证平衡性?
  12. 现在拿到哪家的 offer 了?
  13. 反问:测开占比多少、AI 的使用频率和方法、AI 是用在测试用例生成还是 NPC 这类方向?
  14. 手撕:炸弹人。
  15. 手撕:锁妖塔。

《参考解析》

测开岗的基础题只占前 20 分钟,决定成败的是后面三道场景题。 Python 那两题按标准答案答即可但要说到点上:CPython 以引用计数为主、标记清除与分代回收兜底循环引用,所以「del 之后内存没降」通常是有循环引用或对象被全局容器持有;深拷贝递归复制子对象、浅拷贝只复制顶层容器而内部元素仍是同一引用,copy.deepcopy 遇到循环引用靠 memo 字典处理。智能指针要分清 unique_ptr 独占、shared_ptr 引用计数加控制块(计数本身有原子开销、循环引用要用 weak_ptr 破)、make_shared 一次分配把对象和控制块放一起。索引失效场景答这些就够用:对索引列做函数或运算、隐式类型转换、like '%x' 前缀模糊、联合索引不满足最左前缀、or 两侧有一侧没索引、区分度太低导致优化器放弃。

「LLM as judge 怎么定幻觉率和准确率」是这场最有含量的一题,答不好会直接暴露「只是调过 API」。可靠的答法是先建人工标注的黄金集:从真实业务样本里分层抽样几百条,由两三个标注员独立判定并计算一致性(Cohen’s kappa 或一致率),分歧样本讨论定稿,这份集子就是裁判的考卷。然后让 judge 跑同一批,跟人工结论比对,算出准确率、漏判率和误判率——注意不能只报一个「准确率」,要按类别拆(比如把合格答案判成不合格,和把编造内容判成合格,代价完全不同)。幻觉率则要单独定义口径:是无中生有的引用、与给定材料冲突,还是超出知识边界还硬答,三种要分开统计。再往上一步:换 prompt、换模型、换温度做敏感性测试,看结论稳不稳;judge 和人工不一致的样本要做错误归因,确认是标准不清还是模型能力不足。最后一定要提「judge 的结果用来做回归门禁之前,必须先证明它在你的业务分布上是可信的」。

「从日志排查进不去匹配对局」考的是排查路径而不是答案。合理的流程是:客户端埋点上报「点击匹配 → 请求发出 → 服务端收到 → 进入匹配池 → 匹配成功 → 下发房间信息 → 客户端加载对局」这条链路的每一跳,每跳带统一 traceId、时间戳、玩家 ID、区服、版本号、匹配模式;查询时按玩家 ID 拉一条时间线,看断在哪一跳——请求没到就是网络或客户端逻辑,到了没进池就是服务端状态或资格校验(等级、封禁、任务中),进池没匹配上就是池子人数或分段问题,匹配成功没进房就是下发或加载失败。日志要能回答「谁、什么时候、在哪一跳、因为什么被拒」,所以拒绝原因必须打结构化字段(errorCode + reason),不能只打一句「匹配失败」。日志平台侧再配按 errorCode 的聚合看板和告警,才能从单点问题变成面上问题。

断网日志与日志过大是一组对照题。断网时要记:本地时间与服务器时间偏差、当前网络类型与信号强度、最近若干条收发包的序号与大小、重连次数与每次的耗时、断线时正在进行的对局 ID 与状态、本地帧号和最后确认的服务器帧号(用来判断能不能续上)。日志过大则按「分级 + 采样 + 滚动」处理:正常路径打 debug 并采样,异常路径全量;按大小或时间滚动并压缩,保留最近 N 天,关键错误单独落一份长期存储;客户端还要限速与本地环形缓冲,避免日志本身把设备 IO 打满、影响帧率。

LOL 平衡性这题答「哪个英雄强」就输了,面试官要的是方法论。可以拆成三层:数值层(胜率、Ban/Pick 率、分位段差异、对线期经济差)、机制层(技能组合是否缺少反制手段、有没有无解连招)、体验层(玩家感知的「不公平」往往和数值不一致)。设计上先定目标——比如把每个英雄的胜率控制在 48%–52%、Ban 率不超过某条线,然后小步调参,一次只动一个变量,避免同时改数值和机制导致归因不了。快速验证的办法是先在测试服或限时模式放出去,用灰度分流对比实验组与对照组的胜率、对局时长、投降率,配合高分段玩家与职业选手的定向反馈;线上再按天滚动监控,出现异常立刻回滚。补一句「平衡是动态的,新英雄、新装备、版本节奏都会打破它,所以要有可持续的观测指标而不是一次调完」。

手撕两道(炸弹人、锁妖塔)说明这个岗仍然要写代码。这类题多半是搜索或模拟:炸弹人类(放置炸弹、爆炸范围扩散、连锁引爆)按 BFS/DFS 做状态扩散并注意去重与边界;「锁妖塔」这类名字花哨的题本质常是模拟 + 状态机或简单 DP,拿到题先问清规则边界(回合怎么算、失败条件、数据范围),再决定用模拟还是搜索,别急着写。面试里更值钱的是先说复杂度与边界,再动手。