推荐与广告共享同一套技术底座——召回、排序、特征工程、点击率预估——但广告在这之上叠加了一层推荐系统没有的东西: 经济学机制。广告位是稀缺资源,每一次展示都要在多个广告主之间分配,并向赢家收取费用;分配规则与定价规则的设计,直接决定了广告主「怎么出价才划算」,进而决定了整个市场的稳定性与平台的长期收益。
本部分以刘鹏《计算广告学》公开课体系为骨架、近年 KDD/SIGIR/RecSys 工业论文为延伸。阅读主线有两条:
- 机制主线(12.1 → 12.7):从生态全景与计费模式出发,压轴在竞价机制(GFP/GSP/VCG 的权衡),再沿智能出价、校准、开闭环、在线分配展开——这一条回答「广告主的钱怎么收、怎么花」。
- 工程全景主线(12.8 → 12.11):定向、检索、数据交易、实验与反作弊,补齐从业者需要的基础设施知识。
末尾两章(12.12 合约广告、12.13 信息流与原生广告)回补产品形态:前者是 12.7 在线分配算法的商业前置,后者是与推荐工程结合最深的一章。各章要点见下表。
💡 Key Insight: 推荐系统优化的是「单个用户与物品的匹配」,广告系统在此基础上还要优化「多个广告主之间的博弈规则」。机制设计是广告与推荐的最大分水岭——理解了 GFP → GSP → VCG 这条主线,你才能读懂 8.3 中 EGA 为何要把激励相容(IC)约束嵌入生成过程。
本章涵盖
| 章节 | Topic | The Big Idea |
|---|---|---|
| 12.1 | 计算广告全景与生态 | 从「广告主↔媒体直签」到「DSP-ADX-SSP 程序化交易」,投放模式三次跃迁,每一步都在整合供需、细化竞价粒度 |
| 12.2 | 计费模式与核心指标 | CPT→CPM→CPC→CPA 的谱系本质是 风险归属 的转移;eCPM 是统一度量衡,平台按它排序、广告主按它博弈 |
| 12.3 | 竞价机制:从一价到二价 | 一价(GFP)无稳定均衡、二价(GSP)成为工业主流、VCG 说真话但难落地——机制设计在稳定性与激励兼容之间的权衡 |
| 12.4 | 智能出价与预算控制 | oCPC/oCPM 平台代管出价、预算 pacing 的 PID 反馈控制、一价市场 bid shading 最大化期望 surplus——出价栈四层逐层展开 |
| 12.5 | 广告系统中的偏差与校准 | 位置偏差(PAL)、样本选择偏差(ESMM)、胜出偏差与延迟反馈;Platt/保序回归校准体系——预测的绝对精度是广告系统的地基 |
| 12.6 | 开环广告与闭环广告 | 转化是否发生在平台可观测域内,决定平台能做多深的优化——闭环训练深度 pCVR、做深度转化出价,开环困于归因与隐私 |
| 12.7 | 在线分配与流量管理 | 保量合约写成二部图带约束优化:紧凑分配方案用 级对偶变量恢复 级分配率,HWM 是工程上真实在用的启发式 |
| 12.8 | 受众定向技术 | t(c)/t(u)/t(a,u) 三类标签:上下文打标、行为定向泊松 GLM 建模与时间衰减、人口属性预测——主题模型已成历史,embedding/LLM 打标是现在 |
| 12.9 | 广告检索与语义召回 | 从十亿候选到毫秒竞价:布尔两层索引 + WAND 剪枝保 Top-K,DSSM/双塔语义召回演进到 HNSW/IVF-PQ 多路召回 |
| 12.10 | 数据加工与交易 | 第一方/第二方/第三方数据的加工链路与交易闭环;cookie 映射已死,CDP + UID2 + clean room 是合规时代的答案 |
| 12.11 | 实验框架与反作弊 | 分层实验保证「度量可信」,异常检测 + 设备指纹 + 图分析保证「流量真实」——广告系统的两条底线 |
| 12.12 | 合约广告:产品形态与售卖模式 | 「先有广告位后有广告」:CPT/CPD 排期与轮替、从卖位置到卖人群的售卖演进——保量合约的商业逻辑是 12.7 在线分配的前置 |
| 12.13 | 信息流与原生广告 | 广告与内容形态的融合:信息流混排是「与推荐工程同构」的问题,激励视频、oCPX 产品链路与原生 RTB 的合流 |
What You'll Be Able to Do After This Part
- 🟢 解释 广告与推荐的本质差异:非同质匹配、转化终点、回报率导向,以及机制设计约束
- 🟢 描述 DSP / ADX / SSP / DMP 各自的职责与一次 RTB 竞价的完整时序
- 🟡 辨析 各计费模式下的风险归属:谁做决策、谁承担效果不确定性
- 🟡 推导 eCPM 排序逻辑与 GSP 支付公式
- 🔴 证明 单坑位二价拍卖下如实出价是占优策略,并说明多坑位 GSP 为何失去严格激励兼容
- 🔴 对比 GSP 与 VCG 的收费水平、均衡性质与工业可行性,理解程序化市场「回到一价」的动因
- 🔴 推导 期望 surplus 的最优出价逻辑,解释 bid shading 为何同时改善广告主 ROI 与 DSP surplus
- 🔴 设计 位置偏差(PAL)与样本选择偏差(ESMM)的治理方案,并用可靠性图与 ECE 评估校准质量
- 🔴 辨析 开环/闭环的本质判据,说明闭环为何支撑深度转化出价、开环为何必须依赖回传与归因模型,以及 ATT/SKAN 如何让确定性归因坍缩
- 🔴 建模 在线分配问题:写出供给/需求约束与紧凑方案的恢复公式 ,解释 HWM 的优先级折减逻辑
- 🔴 设计 受众定向标签体系:区分 t(c)/t(u)/t(a,u) 的适用场景,用泊松 GLM + 时间衰减给行为兴趣打分,说清 reach/CTR 权衡
- 🔴 优化 广告检索漏斗:解释布尔表达式两层索引与 WAND 剪枝为何能把十亿候选压到毫秒级,比较 LSH/图索引 ANN 的取舍
- 🔴 辨析 数据合规边界:划分三方数据、指出 cookie 映射为何失效,说清 GDPR/PIPL 约束下 DMP→CDP 与 clean room 的演进逻辑
- 🔴 对抗 广告作弊:识别 click flooding/click injection 等手法的动机与痕迹,用分层实验与异常检测守住「度量可信、流量真实」两条底线
- 🔴 理解 合约售卖逻辑:说清 CPT/CPD/轮替/排期的产品语义,解释「卖位置→卖人群」如何让流量可拆分售卖,并把它与 12.7 的保量分配衔接
- 🔴 融合 广告与内容:分析信息流混排的体验-收益权衡,区分各原生形态的适用场景,走通 oCPX 从转化追踪到按转化优化的产品闭环
- 🏆 用交互式竞价模拟器验证「虚报出价会发生什么」、用 bid shading 模拟器找最优出价、用归因模拟器对比五种归因模型的功劳分配、用在线分配模拟器跑通 HWM 规划与执行,完成各节分层练习题
核心概念
| Concept | 章节 | Relevance |
|---|---|---|
| 广告有效性模型 | 12.1 | 曝光→关注→理解→接受→保持→决策,广告效果的六阶段地图 |
| 程序化交易生态(DSP/ADX/SSP/DMP) | 12.1 | 现代广告投放的基础设施 |
| RTB 实时竞价 | 12.1 | 按次展示粒度的开放竞价,Cookie Mapping 是前置条件 |
| eCPM | 12.2 | 跨计费模式统一排序的度量衡 |
| 担保式投送(GD)与在线分配 | 12.7 | 合约广告的二部图优化框架:紧凑分配方案 + HWM |
| 紧凑分配方案 / SHALE | 12.7 | 只存合约级对偶变量 α,恢复分配率;原始对偶迭代求解并支持增量合约 |
| 位置拍卖(Position Auction) | 12.3 | 多坑位广告分配与计价的统一模型 |
| 广义第二高价(GSP) | 12.3 | 搜索广告二十年的主流定价机制 |
| VCG 机制 | 12.3 | 理论最优的 truth-telling 定价,工业落地的取舍基准 |
| 激励相容(IC)/ 个体理性(IR) | 12.3 | 机制设计两大性质,8.3 EGA 的核心约束 |
| 预算平滑消耗(Budget Pacing) | 12.4 | PID/PI 反馈控制让消耗进度沿 轨迹推进 |
| Bid Shading | 12.4 | 一价拍卖下的出价下压策略,赢率与利润的乘积最优 |
| 位置偏差与 PAL | 12.5 | 点击 = 被看到 × 相关;双塔解耦、线上只用 pCTR 塔 |
| ESMM | 12.5 | pCTCVR = pCTR × pCVR 全空间建模,同时解决 SSB 与数据稀疏 |
| 校准(Calibration) | 12.5 | Platt scaling / 保序回归把分数后处理为真实概率,PCOC/ECE 度量 |
| 闭环 / 开环广告 | 12.6 | 转化是否发生在平台可观测域内的二分,决定优化深度的上限 |
| 受众定向标签体系 t(c)/t(u)/t(a,u) | 12.8 | 上下文/用户/组合三类定向标签的分类框架 |
| 行为定向泊松建模 | 12.8 | 兴趣强度 h~Poisson(λt),时间衰减 λ(d)=αλ(d−1)+w·x 在线更新 |
| 布尔表达式检索与 WAND | 12.9 | 两层倒排 + 上界剪枝,Top-K 广告检索的工业骨架 |
| 语义召回 / ANN | 12.9 | DSSM→双塔→HNSW/IVF-PQ,从关键词匹配走向向量检索 |
| 三方数据与 DMP | 12.10 | 第一/二/三方数据划分,DMP 加工人群包供 DSP 出价 |
| CDP 与 clean room | 12.10 | 后 cookie 时代的一一方数据基建与「可用不可见」合规交易 |
| 分层实验 | 12.11 | 流量分层正交切分,让多个实验并行且互不污染 |
| click flooding / click injection | 12.11 | 两类典型归因作弊手法及其识别信号 |
| CPT / CPD / 轮替 | 12.12 | 广告位按天售卖的三件套:独占、排期与随机起始序号轮播 |
| 从卖位置到卖人群 | 12.12 | 定向标签让广告位可拆分售卖,催生保量合约与在线分配 |
| 信息流混排 | 12.13 | 广告与自然内容按统一分数竞争位置——与推荐工程同构的问题 |
| 激励视频 | 12.13 | 用户主动换权益的完播形态,eCPM 最高 |
| oCPX 产品链路 | 12.13 | 转化追踪 + 转化出价 + 预算表达(bid/cost cap)的产品闭环 |
| 归因(Attribution) | 12.6 | 识别转化由哪个渠道带来的分配规则,是约定而非客观测量 |
| SKAdNetwork(SKAN) | 12.6 | Apple 隐私保护归因:聚合、延迟、群组匿名,开环归因的确定性坍缩 |
前置知识
- 已读完 1.1 (推荐系统是什么)——本部分经常以推荐系统为参照系做对比
- 了解基本的概率与期望值计算(),12.3 有少量博弈论推导,不需要先修博弈论
- 12.3 的 IC/IR 与 8.3 (端到端生成式广告)互为镜像:先读其一再读另一,理解会加深
本部分定位为专题补充,不依赖下篇生成式主线的任何章节;但 12.3 的机制设计视角会反过来照亮 8.3 中 EGA「分配与支付解耦」的设计动机。
Tips for This Part
- 带着「谁承担风险」读 12.2。 每种计费模式都可以用一句话概括:决策权在谁手里、效果不确定性由谁兜底。这条线索比死记公式有效得多。
- 12.3 动手算,别只看。 GSP 支付公式 看似简单,坑位点击率折算极易出错。先手推一遍 12.3.3 的三坑位数值例子,再玩交互模拟器。
- 把机制当「制度」而不是「公式」。 一价、二价的差异不在代数,而在它们激励出的广告主行为:震荡追逐 vs 稳定均衡。读完 12.3 你应该能向别人解释清楚 1998 年 Overture 的市场为什么乱、2002 年 Google 改了什么。
Let's dive in! 🚀