面灵AI→

乐信圣文 测试开发一面:资金类风险兜底、消耗异常排查与 AI 评测体系

轮次
一面
时间
2026-11
来源
牛客网

《面试题目》

  1. 这个需求里头还有哪些口径是没有对齐的?
  2. 如果产品说明天就要提测,还说不需要测那么细、先上线了再看数据,你会怎么去做?
  3. 资金类风险如果必须强制上线,有哪些可兜底、早于用户发现问题的手段?
  4. 商家反馈近七日消耗显示为 0,但昨天实际投了 500 块,让你排查,你怎么排查?
  5. 排查时发现 Redis 和 DB 不一致,你会以哪个为主?
  6. 排查过程中发现是上游同步或统计任务还在跑,你是继续排查还是等上游任务跑完再做?
  7. 以案例来讲,评测主要评测哪些内容?评测集里要收集哪些信息?整体评测思路是什么?
  8. 数据评测的信心大概分哪些维度?
  9. 如果分层评估模型,第一层、第二层、第三层分别评估什么?打分规则是什么?怎么校验 AI 给出的评测结论是否正确?
  10. 在实际工作里,有没有没人要求你做、但你主动去做的事情?为什么做?
  11. 主动做这件额外的事会占用时间精力,需求迭代任务是否充足?你选在什么时间节点做?怎么验证并保证高质量、结果准确之后再给别人使用?

《参考解析》

口径未对齐与压缩提测:口径争议通常集中在四类——指标定义(消耗按点击还是按曝光、是否扣退款与返点)、时间口径(自然日还是账期、时区与结算日)、数据范围(全量账户还是有效账户、是否含测试账户)、状态口径(失败重试是否计入、部分成功怎么算)。处理方式是把争议项列成清单,标注影响面与需要拍板的角色,优先解决影响资金与对外展示的项。产品要求明天提测、先上线看数据时,不要用「质量无法保证」硬顶,而是把取舍摊开:按风险分级列出必测项(资金、权限、数据一致性)与可延后项,明确灰度范围、观测指标、停止条件与回滚方案,把「先上线看数据」变成「小流量上线加观测窗口」,并把结论书面确认。这样既守住底线,也给出了可执行的路径。

资金类风险的兜底与主动发现:按四层设计。事前用幂等键防重复扣费、金额与频次限额、状态机约束(未支付不能发货)、双人复核与审批、开关与灰度。事中用实时对账与差额告警,监控关键指标——扣费成功率、余额变动、订单与流水一致性、异常大额与高频账户。事后用 T+1 全量对账、差错工单、自动冲正与补偿。兜底层是资金池上限、熔断与人工介入通道。要「早于用户发现问题」,靠的是主动对账而不是客服反馈:对账任务按分钟级比对订单、扣费流水与账户余额,差额超过阈值即告警;同时对「应发生而未发生」(消耗为 0、回调丢失)和「不应发生而发生」(重复扣费、金额错位)两个方向都设规则,并对关键链路做探针,定时发起小额真实交易验证端到端可用。

消耗为 0 的排查路径:先定边界——只有这一个商家还是批量、只有七日曲线还是明细也是 0、是否更换过账户、币种或时区。再沿链路分层验证:原始明细层看扣费流水表里是否真有那 500 元记录;聚合层看实时与离线任务是否产出、分区是否有数据、数据水位到哪;存储层看缓存是否被覆盖或提前过期、DB 是否写入成功;查询层看口径过滤、权限范围、时间窗与分页。明细有而展示为 0,问题在统计或读取侧;明细也没有,问题在采集或上报侧。Redis 与 DB 不一致时以 DB 的源头明细为准,缓存按 DB 重建,同时检查写入顺序(先删缓存还是先写库)、并发覆盖与过期策略——很多「不一致」其实是缓存更新时序问题,而不是数据真错。上游任务还在跑时,先判断当前结论是否依赖它的产出:能用原始明细独立验证的部分继续做,同时确认任务是否卡住、预计完成时间与数据水位,必要时用同一份输入在测试环境复算;等任务完成后再做一次口径核对,避免把「数据未就绪」误判成缺陷。

AI 评测体系怎么搭:评测集要覆盖真实分布(按业务分层抽样)、困难样本、边界与对抗样本,并保留来源与标注依据;每条样本至少包含输入、期望输出、评分标准、标注人、标注时间与版本编号。整体思路是三层并行:离线评测在金标集上算准确率、召回率、F1 与分层错误分布;在线观测看 A/B 差异、人工抽检通过率与业务指标;回归评测在每次模型或提示变更后跑同一套集合并做版本对比。标注一致性用双人标注与 Kappa 系数衡量,评测集要防止污染——不能进入训练数据,也不能与线上反馈集混用。只报一个总分意义有限,按场景、语种、难度分层出指标才能定位问题。

分层评估模型与结论校验:第一层做确定性规则校验——格式、字段完整性、枚举、数值范围、引用是否存在,用程序判定,成本最低、可全量跑。第二层做语义与事实一致性——结论是否被原文或知识源支持、是否自相矛盾、关键实体是否指错,用模型评审加人工抽检。第三层看业务效果——转化、采纳率、投诉率、人工返工率。打分规则要事先定义权重与一票否决项,例如涉及金额、时间、身份的关键字段错误直接判不通过,避免被其他维度的高分平均掉。校验 AI 评审结论是否可信:与人工金标比对算一致率与混淆矩阵,对分歧样本逐条复盘,定期校准评审提示与阈值;不能让同一个模型既生成又评审,那等于自己给自己打分。

主动做的事怎么讲:选一件与质量或效率直接相关、能量化的事——把某类回归自动化、补一套对账脚本、建立缺陷复盘机制、给造数流程加校验。讲清触发原因(重复出现的问题)、做法、结果(节省的人时、拦截的问题、缩短的排查时间)与后续维护方式。被追问时间来源时,说明是在需求间隙推进、把方案做成可复用工具而不是一次性脚本,而不是挤占既定交付。被问如何保证质量时,给出小范围试点、与人工结果双跑比对、评审与回滚方案,确认准确后再推广——这正是「结果准确之后再给别人使用」的答法。