快手效果营销实习一面:意图阈值怎么验证、模型三态熔断与优惠券过期兜底
- 轮次
- 一面
- 时间
- 2026-11
- 来源
- 牛客网
《面试题目》
- 意图阈值和模型相关度分数怎样验证?
- 模型调用的三态熔断怎样与备用模型配合?
- 把查询向量化前置,与跨请求缓存有什么区别?
- 到期消息延迟或积压时,怎样保证优惠券过期正确?
《参考解析》
阈值验证的核心是「拿标注集换混淆矩阵」:准备一批人工标好正确去向的问题,明确分三类——意图明确、意图含糊、不在处理范围内。用模型打分后,在不同阈值下统计两件事:本该走 A 的被判成 B(走错)有多少、本该被拦下的被放行(漏拦)有多少、以及本该放行的被拦下(误拦)有多少。走错的代价通常远大于误拦,所以阈值要按代价定,而不是按准确率最高定。含糊的问题不该靠单一阈值硬切,可以单独设一个中间区间走追问或澄清。补充两点:阈值要在时间上做验证(换一批新数据是否仍成立),并按意图类别分别定阈值,不同类别的分数分布差异很大。
三态熔断与备用模型的配合:正常状态调用主模型并统计失败率;连续失败或超时达到阈值后进入熔断,请求直接走备用模型;经过一段冷却时间进入半开,只放少量请求试探主模型,成功则恢复、失败则继续熔断。和备用模型配合时最容易漏三件事:一是输入输出契约要一致(同样的提示词结构、同样的结构化输出格式),否则切换后解析失败;二是幂等,切换前要查这次请求有没有已经执行的动作(写库、发消息、扣额度),只是回复超时的话整条链路重跑会重复执行,应该按 requestId 去重;三是剩余时间,切到备用模型后要重新计算超时预算,不能切完又从头等一遍。
向量化前置与跨请求缓存的区别:向量化前置是「同一次请求内复用」——一个请求里多个分支用相同的查询和相同的向量模型,先算一次共用,省的是重复计算。跨请求缓存是「不同请求之间复用」——键必须包含查询文本、向量模型版本、以及影响结果的参数(如归一化方式、指令前缀),值要设过期时间并考虑模型升级后的失效。前者生命周期是毫秒级、随请求结束释放,后者要考虑存储、命中率、脏数据与隐私(用户查询可能含敏感信息,缓存要按租户隔离)。把这两层混在一起,就会出现「换了模型却命中旧向量」的线上事故。
到期消息延迟时的正确性兜底:不能把「优惠券是否过期」只交给延迟消息。正确做法是双保险:使用(核销、下单占用)时实时判断 now >= expireTime,过期直接拒绝,这是强一致性的一道闸;延迟消息只负责把状态从「未使用」推进到「已过期」,用于展示与统计,晚到或丢失不影响资金安全。再补一个补偿扫描,定期扫出「已过期但状态未更新」的记录修正。消息积压时还要考虑顺序与重复:同一张券的过期消息可能重复投递,消费端按券 ID 幂等;积压恢复后不要瞬间全量消费打垮下游,做限速。