Question 1

模型在训练集表现很好、线上效果差，你会怎么排查？

Accepted Answer

我会先把问题分成三类再逐一排除，而不是直接调参。第一步查线上线下一致性：把线上真实请求落日志，离线用同一套特征管道重算一遍，逐特征对比值是否一致——我遇到过一次线上某个统计特征因为上游任务延迟全部填了默认值，模型分数整体漂移，这类问题和模型本身无关但最常见。第二步查分布漂移：对比训练集与线上输入的特征分布（PSI 或分位数对比），确认线上人群或场景是否已经变了。第三步才看过拟合：训练与验证集差距大就收缩模型容量、加正则、检查是否有特征穿越（用了未来信息）。总结成一句话：先怀疑数据和工程，再怀疑模型——按这个顺序排查，多数「线上效果差」两天内能定位。

Question 2

讲讲你做过最有效的一次特征工程，为什么有效？

Accepted Answer

最有效的一次是在一个推荐场景里加了「用户近期行为衰减交叉」特征。当时的观察是：老特征只统计用户历史总量，但业务上用户兴趣明显有时效性——上周狂看的品类这周可能已经买完了。我据此做了带时间衰减的行为统计，并和物品类目做交叉，假设是「近期强兴趣 × 同类目」比「历史总兴趣」更能预测点击。验证分两步：离线消融实验里单加这组特征 AUC 提升明显，且重要性排名进了前五；再上线 5% 流量 AB，点击率显著正向后才全量。这次经历让我确信：有效特征来自对业务的时间结构、用户动机的理解，先有假设再动手，比批量堆特征效率高一个量级。

Question 3

什么时候选树模型，什么时候上深度模型？

Accepted Answer

我的判断框架有四个维度：数据形态、样本规模、迭代成本、可解释性。表格类特征、样本在百万级以内，GBDT（XGBoost/LightGBM）几乎总是首选——效果稳、训练快、特征重要性可解释、上线简单。高维稀疏 ID 特征、序列行为、文本图像多模态，且样本充足时，深度模型的表示学习收益才真正体现。我自己的一次选型：一个风控场景大家倾向直接上深度模型，我坚持先跑 GBDT 基线，结果基线已经接近业务目标，最后用 GBDT 上线，训练和推理成本只有深度方案的零头，解释性还满足了合规要求。我的结论是：选型不是选「更先进的」，而是选「在这个数据形态和工程约束下性价比最高的」，而且永远先立一个便宜的基线。

Question 4

离线指标涨了但线上 AB 没效果，可能是什么原因？

Accepted Answer

我会按三层排查。第一层指标对齐：离线指标（如 AUC）只是业务目标的代理，AUC 涨不代表排序头部变化、更不代表转化涨——我会先看离线上涨是否集中在线上根本展示不到的长尾样本。第二层数据与工程：训练数据是旧策略产生的（反馈回路），新模型在旧策略分布上评估本身有偏；另外线上特征快照与离线是否一致、模型版本是否真的生效，都要实查。第三层实验本身：流量够不够、周期有没有覆盖完整的用户行为周期、指标方差是否大到检验功效不足——功效不够时「没效果」其实是「测不出来」。我处理过一次这种案例，最后定位是离线评估集里有 30% 样本来自线上早已下线的旧入口，把评估集对齐线上真实流量后，离线在线趋势就一致了。

Question 5

业务要接大模型能力，微调和 RAG 怎么选？

Accepted Answer

我的选型顺序是：提示词工程 → RAG → 微调，从便宜到贵逐级升级。先用系统提示词+few-shot 把基础模型能力压榨干净，很多需求到这一步就够了。如果问题出在「模型不知道」——知识频繁更新、需要引用内部文档、答案要可溯源，选 RAG：知识改了只用更新索引，且能把引用来源展示给用户，幻觉可控。如果问题出在「模型不会做」——输出格式要求严格、领域话术风格、特定任务的行为模式，才用微调，因为这类行为很难靠检索注入。两者经常组合：微调管行为，RAG 管知识。评估上我会先定义验收指标——引用准确率、幻觉率、任务成功率，用固定评测集对比各方案，而不是靠试几个 case 拍板。成本也进决策：微调要标注数据和训练资源，RAG 的成本在检索质量工程上，两条路的隐性投入都不小，必须和收益量化对比。

Question 6

线上推理延迟太高，你会从哪些层面优化？

Accepted Answer

第一步永远是度量：把 P50/P99 延迟分解到预处理、特征获取、模型前向、后处理四段，找到真瓶颈再动手——我见过太多直接上量化结果发现瓶颈在特征服务的案例。定位后分层施策：模型层做蒸馏、量化（INT8 常见性价比最高）、剪枝或直接换更小骨干；系统层做动态批处理、结果缓存、算子融合，推理引擎换 TensorRT/ONNX Runtime 这类专用运行时；调度层做冷热分离、高峰降级策略。每一步优化都带精度验收：量化后跑完整评测集，关键业务指标回归在阈值内才允许上线。我做过的一次优化：瓶颈定位在前向，蒸馏 + INT8 量化后 P99 从 120ms 降到 35ms，评测集指标下降在 0.3% 以内，同时吞吐翻了三倍——先度量、分层做、带精度门禁，这三条是我的固定流程。

Question 7

怎么设计一个可信的 AB 实验来验证模型收益？

Accepted Answer

我设计实验有一张固定清单。开始前：明确随机化单元（用户级还是请求级——涉及用户体验一致性必须用户级）；用历史数据估指标方差，算出达到目标检验功效需要的样本量和实验周期，周期至少覆盖一个完整的用户行为周期（通常一到两周）；事先声明唯一主指标和护栏指标（延迟、留存、投诉率），写进实验文档。运行中：不提前偷看显著性做决策——偷看会大幅膨胀假阳性；只做预先声明的分析，临时加的维度切分只能作为下一轮实验的假设。结束后：先查 SRM（分流样本比例是否符合预期），SRM 不过整个实验作废；显著正向还要看效应量是否有业务意义，并警惕新奇效应——上线初期用户因为「变了」而多点，我会看后半段周期的分段趋势确认收益稳定。这套纪律的核心是：实验是决策工具，不是给结论找证据的工具。

Question 8

讲一个你最有代表性的算法项目，你的独立贡献是什么？

Accepted Answer

我讲项目按四段：问题、基线、迭代、结果。以一个文本分类项目为例——问题定义阶段我先和业务对齐了「漏判成本远高于误判」这个关键约束，据此把优化目标从准确率改成高召回下的精确率。基线用规则加朴素模型两天搭完，先量化出差距。迭代路径上我独立负责特征与模型：第一版预训练模型直接微调效果一般，分析 bad case 发现主要错在领域专有表述，于是做了领域语料的继续预训练再微调，这是本项目我最关键的个人决策；数据增强的尝试反而引入噪声、被我砍掉——这次失败让我学会每个改动都要单独消融验证。最终线上目标召回下精确率显著提升，替代了原来的人工初筛环节。协作边界上：数据管道是和数据工程师共建的，模型方案、实验设计和上线评估由我独立完成。

算法工程师高频面试题：8 道必考题与作答要点