2024阿里妈妈技术年刊：广告算法与工程实践精选

由阿里妈妈技术发布了《2024阿里妈妈技术年刊：广告算法与工程实践精选》这篇报告。以下是对该报告的部分摘录，完整内容请获取原文查看。生成式模型近年来得到了迅速的发展，在图像生成、文本生成、计算机视觉等领域取 得了重大突破。目前最新的生成式模型在分布拟合以及相关性关联等方面显著地优于 浅层神经网络。

1.决策智能 

阿里妈妈首提 AIGB 并实现大规模商业化落地，将在 NeurIPS 2024 正式开源 Benchmark 

2023 年，阿里妈妈首次提出了 AIGB（AI-Generated Bidding）Bidding 模型训练 新范式。AIGB 是一种全新的迭代范式，把自动出价问题建模为生成式序列决策问 题，这是生成式 AI 在该领域的首次应用。经过一年的探索和研发，我们在阿里妈妈 广告平台成功部署 AIGB 并取得显著效果，我们还把过程中的发现和经验总结成论文 发表在 KDD 2024，详细分享了这一全新的迭代范式。 为了激发该领域进一步的技术创新，我们今年发起了 大规模拍卖中的自动出价比赛， 并特别设置了 AIGB 赛道，这一理念得到了 NeurIPS 的认同，阿里妈妈成为国内工 业界今年唯一一家获得 NeurIPS 比赛主办权的组织。同时，我们也将在 NeurIPS 2024 上正式开源 AIGB 的 Benchmark：业界首个标准化的大规模模拟竞价系统和 大规模博弈数据集。

广告业务是互联网公司营收的一项重要来源。仅在 2023 年，在线广告市场的规模就达到了 6268 亿美元。在线广告往往是通过流量拍卖的方式进行广告投放。广告主需 要设定合理的出价从而竞得流量。近年来，自动出价（Auto-Bidding）技术已成为推 动广告市场持续增长的关键因素。相比于传统的手动出价，自动出价充分考虑了线上 流量分布、竞价环境、预算以及各种限制因素，在为广告主带来了更多价值的同时， 促进了平台业务的增长。一种典型的自动出价目标是在给定预算及其他约束的条件下 最大化广告主的流量价值。典型的自动出价任务包括给定预算下的最大化拿量任务 Max-Return，以及给定预算和 ROI 约束的最大化拿量任务 Target Roas 等。 在实践中，自动出价的优化问题一般会被看作一个序列决策问题，出价模型在整个投 放周期（通常为 1 天）内随着流量和竞价情况的变化动态调整出价参数从而优化整体 效果。模型需要具备一定的全局视角，进行整体规划和决策。对于序列决策问题，一 种被业界广泛采用的解决方案是强化学习（RL）。RL 方法可以通过不断和环境交互寻 优，从而不断提升策略效果。RL 也是目前一种主流的 Bidding 解决方法。但是这种 方法由于存在一定的内生性缺陷（价值函数预估和自举法导致的训练不稳定），不擅长 处理 Bidding 面临的长序列决策问题，容易出现训练效果差的问题。因此，我们期待 通过算法范式的升级来提升 Biding 模型的线上效果。

生成式模型近年来得到了迅速的发展，在图像生成、文本生成、计算机视觉等领域取 得了重大突破。目前最新的生成式模型在分布拟合以及相关性关联等方面显著地优于 浅层神经网络。工业界 Bidding 策略优化的核心是基于历史的 Bidding 数据，通过 模型挖掘策略与效果之间的相关性从对策略进行优化，是生成式模型落地的一个较为 理想环境。基于这一洞察，我们提出了 AIGB（AI-Generated Bidding）解决方案。 AIGB 是一种基于生成式模型（Transformer、Diffusion Model 等）的出价问题解 决方案框架。与以往解决序列决策问题的 RL 思路不同，AIGB 将 Auto-Bidding 视 为一个策略生成问题，通过生成模型强大的特征关联以及分布拟合能力，直接捕捉历 史 Bidding 数据集中优化目标和出价策略之间的相关性从而优化策略。相比于 RL 方 法，这种新的建模范式避免了价值函数预估和自举法所所造成的误差，尤其擅长处理 Bidding 所面对的长序列稀疏回报的问题。

理论上，AIGB 范式可以兼容多种生成模型。目前常用的生成式模型包括 Transformer、Diffusion Model 等。但不同的模型侧重点不同，例如，Transformer 模型 主要基于自注意力机制，能够对样本中跨时序和分层信息进行提取和关联，擅长进行 自回归处理。而 Diffusion Model 则缓慢地将随机噪声添加到数据中，然后学习逆 向扩散过程以从噪声中构造所需的数据样本。加噪和去噪的过程可以类比为是把特征 用马赛克遮住然后再还原的过程。相比之下，可以从细节到整体捕捉多个层次的相关 性，从而提取出更多的有效信息，更擅长进行分布建模。因此，基于不同的生成模型 特点，可以构建出不同的建模方案。

【NeurIPS'24】开源 | AuctionNet: 针对大规模博弈环境的出价决策 Benchmark

大规模博弈环境中的决策智能是人工智能领域内的重要研究方向，对实际应用具有深 远影响。然而，由于缺乏全面且真实的博弈环境及相关数据集，这一领域的进展受到 了限制。为了解决这一问题，本文提出了一种基于在线广告行业的自动出价决策问 题的 Benchmark，并命名为 AuctionNet。AuctionNet 包括一个大规模广告竞拍环 境、基于该环境预生成的数据集以及几种基础出价决策算法的效果评估。广告竞拍 环境通过深度生成式模型生成广告流量数据，旨在缩小仿真环境与现实问题之间的 差距，同时避免敏感数据暴露的风险。数据集中包含了 48 个不同出价智能体相互竞 价的日志，可帮助出价模型更好的训练。这个数据集共有 5 亿条记录，共计 80GB。 AuctionNet 已应用于 NeurIPS 2024 竞赛，为 1500 支队伍提供了近万次准确、公正 的算法效果评估，并帮助选手研发更多元、创新性的解决方案。AuctionNet 不仅适用 于广告拍卖中的出价决策算法研究，也适用于大型博弈场景的决策智能算法研究。

在人工智能领域，大规模博弈中的决策问题是一个基础性的研究方向。在大规模博弈 中，智能体需要在竞争环境下，在特定约束条件下做出正确的决策以实现其目标。智 能决策的研究进展对广泛的现实应用产生了深远影响。在线广告是其中一种代表性的应用。其市场规模在 2023 年超过 6000 亿美元。这一领域需要在大规模博弈中运用 复杂的决策技术。具体来说，在线广告系统主要通过流量拍卖的方式实现广告投放。 而自动出价技术是衍生于这一场景的一项重要技术。如图 1 所示，自动出价的智能体 代表广告主对大量持续到来的广告流量进行出价，目标是在满足特定约束条件（如投 资回报率 ROI）的前提下实现效益最大化。

大规模广告拍卖中的出价决策是大规模博弈决策的一个典型例子。然而，研究人员通 常只能有限地访问到真实的大规模广告竞拍环境，这一现状会对该领域的研究造成阻 碍。尽管业界已经有了部分工作旨在为研究者提供一个仿真环境，但此类仿真环境大 都无法对广告系统中的复杂的流量分布及博弈行为进行很好的描述，且可扩展性不 足，无法很好支持研究者对问题进行广泛的研究。

在本文中，我们提出了 AuctionNet——源自真实在线广告平台的大规模广告出价决 策基准。AuctionNet 由三个部分组成：广告竞拍环境、基于该环境的预生成数据集 以及对几种基线出价决策算法的性能评估。具体来说，该环境通过多个模块的交互， 有效地复制了真实世界广告竞价的完整性和复杂性：广告流量生成模块基于深度生成 式模型。这种方法可以缩小模拟数据和真实世界数据之间的差距，同时降低敏感数据 暴露的风险；出价模块实现了使用不同决策算法训练的多样化；拍卖机制模块基于广 义二价（GSP）拍卖机制，同时也允许根据需要定制拍卖机制。为了促进研究并提供 对博弈环境的深入了解，我们还基于该环境预生成了一个大型数据集。该数据集包 含 48 个不同的智能体相互竞争的轨迹，总计超过 5 亿条记录，大小达 80GB。作为 AuctionNet 的一部分，我们还提供了线性规划、强化学习和生成式模型等基线算法在出价决策方面的性能评估。

2.召回 / 预估模型

【CIKM'24】展示广告预估技术最新突破：基于原生图文信息的多模态预估模型

目前，搜索推荐及广告领域的预估模型主要基于大规模稀疏 ID 特征结合 MLP 构建。 然而，ID 特征难以刻画 item 的内容语义信息，因此业界一直在探索如何引入原生多 模态内容信息以提升模型性能。为此，需要思考几个关键问题： 1. 多模态信息在预估模型中带来效果提升的关键，以及如何设计预训练任务以 获取多模态表征； 2. 在基于 ID 体系的预估模型中如何释放多模态表征的效果。

本文将介绍阿里妈妈展示广告团队在预估模型与多模态结合方向上的最新突破。我们 发现，多模态信息能否大幅提升效果的关键在于，其能否通过精准建模“目标商品” 和“用户历史行为商品”之间的语义相似度，从而实现相较于 ID 特征更优的行为序 列建模。为此，我们首先设计了语义感知的对比学习预训练 SCL 方法，让多模态编 码器能够从多模态原始信息中抽取出其蕴含的电商业务语义信息。随后，我们提出了 SimTier 和 MAKE 算法，利用多模态表征的语义判别能力进行行为序列建模。通过 这些技术创新，我们取得了显著成果——精排 CTR 模型的 GAUC 提升超过 1 个百 分点，这是近几年来展示广告离线效果提升最大的迭代，在目前的高技术水位下显得 尤为可贵。目前，多模态的应用也在粗排等其他模型中全面上线，均取得显著的线上 收益。

展示广告多模态召回模型：混合模态专家模型

随着在搜索、推荐、广告技术上多年的迭代积累，业界逐步形成了召回（匹配）、粗 排、精排这一多阶段的系统架构。其中，召回作为链路的最前端，决定了业务效果的 天花板。召回阶段的主要目的是从全量广告库中高效筛选高质量 top-k 集合给后链路 进一步打分 & 排序。近年来，随着机器学习，尤其是深度学习技术的发展，学术界及 工业界已经全面进入到了 model-based 召回算法的研究与应用阶段。其中阿里妈妈 代表性的工作有：TDM 系列算法 [1-3]、二向箔索引算法 [4]。在 model-based 的召 回模型中，主要基于离散 ID 来描述广告和用户，这种方式直接针对最终目标进行优 化，具有很高的优化效率，也非常适合个性化推荐的需求。但是，只使用离散 ID 模 态进行个性化推荐存在以下几方面的问题： ● 信息不全：真正给用户展现的是商品创意、标题等图、文、视频模态信息，而 非离散 ID。 ● 泛化性不强：ID 类特征无泛化性，因此完全基于离散 ID 特征的推荐系统在长 尾商品、冷启广告等低频 ID 上存在预估不准的问题。

与 ID 模态相反，图像、文本等内容内容模态泛化性强，对新广告友好，更接近用户 感知，但是内容模态的个性化能力差，不容易针对广告召回的目标进行优化。例如在 淘宝上可能存在多个商家使用相同的图片，但是这些店铺的信誉度有好有差，广告主 的出价有高有低，内容模态都无法将其有效区分开。 离散 ID 模态和内容模态在分布、形态、优势上均存在明显的差异，在本文中我们将 探索在展示广告的召回模型中如何将 ID 模态和内容模态进行融合，并提出了混合模 态专家模型的设计。

3.大规模约束优化

【KDD'24】合约广告中的双目标库存分配

合约广告（GD）分为两个不同的阶段，即离线售卖阶段和在线投放阶段。前者进行合 约库存分配，主要考虑库存利用率的提升从而提升收入；后者则针对合约进行广告投 放展示，考虑履约完成率。现有的研究通常将这两个阶段分开处理，订单在离线售卖 阶段时，并不考虑在线投放阶段的实际情况。 本文提出一种用于合约广告的双目标库存分配方法，旨在最大化分配给新广告订单的 展示次数（即库存分配）提升库存利用率的同时，优化库存分配的平衡性以实现履约 完成率的提升。由于所提出的问题是高维、多目标和多约束的，我们设计了一种高效 的局部搜索算法，该算法交替关注这两个目标。实验结果表明，我们的算法优于进化 算法和 Gurobi。前者常用于多目标优化中，后者是一个知名有竞争力的商业求解器。 基于该项工作整理的论文已被 KDD 2024 接受，欢迎阅读交流。

合约广告（GD）对于电子商务营销中的精准投放至关重要，其目的是将广告投放给满 足特定且可能复杂要求的目标用户。这些要求涉及用户的特征，如年龄、性别、所使 用的设备、地理位置等。传统的合约广告通常考虑已签约订单需求的情况下估算和分配新订单的最大可售卖 量。在实践中，常见的方法基于供应和需求节点的容量，寻找能够最大化新订单可用 售卖量的最优分配。然而，在线投放阶段可能因各种潜在问题而无法满足已签约的订 单。传统方法仅考虑新订单的最大售卖量，可能会因为忽视在线投放中的问题而导致 投放不足违约和高额罚款。因此，我们提出了一种新的双目标广告库存分配问题，该 问题同时考虑新订单的最大可用售卖量和投放中的履约完成率。我们在下文中将该问 题称为双目标 GD 问题。

第二个目标，通过平衡已分配展示量的分布提升投中履约完成率。一种常见情况是： 投前系统在假设将所有供应节点 的展示量都分配给需求订单 的情况下，最大 化新订单 的可用展示量。然而，假设 的预测是准确的，部分 的展示量可能 会在在线投放阶段被分配给另一个订单 ，导致无法满足订单 。为避免这种情 况，我们希望投前系统在确定新订单的展示量时不要超卖供应节点中的库存，且尽量 平衡的分配减小履约风险。 本文核心亮点：1) 解决了实际操作中涉及线下投前阶段和在线投放阶段的合约广告 库存分配问题，形成了双目标合约广告问题；2) 提出了交替优化的双目标局部搜索算 法。实验结果表明，所提出的算法在实际业务场景中优于著名的 MOEAs 和商业工具 Gurobi。

【KDD'24】合约广告中大规模多重线性约束库存分配问题的高效局部搜索算法

合约广告（Guaranteed Delivery Advertising）是在线广告的重要组成部分，合理的 合约库存分配机制直接提升客户需求和平台收入。随着广告客户需求的越来越多样化 和精细化，在业务场景中经常出现媒体偏好需求，即适合投放在指定媒体的广告在该 媒体上分配的比例应该大于另一些不适合在该媒体投放的广告。然而，这些需求涉及 到非凸的多重线性约束，会给合约广告的库存分配带来挑战，而数学规划求解器或现 有基于约束的启发式求解方法无法在约束时间内产生高质量的解。本文提出一种局部 搜索的框架来解决这个难题，该框架包含两阶段的搜索模式，并且集成了四种新的针 对非线性约束设计的算子。实验结果表明，相比于其它算法或者求解器，我们的算法 能够在业务要求的约束时间内产生高质量的解，并且该算法具备通用性，可以处理其 它业务场景中存在的非线性约束，未来可以应用到更多类似的场景中。基于该项工作 整理的论文已被 KDD 2024 接收，欢迎阅读交流。

（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）