全国文艺名家走进雄安新区主题采风创作活动启动

内容摘要：　如下图所示，假设我们的窗口大小为10个token，随着生成的token增加（由黄色方块表示），我们在KV缓存中将中间的token踢出，与此同时，始终保持着文本开始的几个token（由蓝色方块表示）。

如下图所示，假设我们的窗口大小为10个token，随着生成的token增加（由黄色方块表示），我们在KV缓存中将中间的token踢出，与此同时，始终保持着文本开始的几个token（由蓝色方块表示）。

另一方面，云选强大的供应链保证了产品能够被准时、无损地送到消费者手中。并且，他们不用向直播间付坑位费，节省了不少成本。

平台将继续发挥优势，和云南各界一起搭建助推区域经济高质量发展的产业群。2023年，云品乐购与福建、昆明等多地建立了产业带电商高质量发展深度合作关系。其中，鲜花销售增长超155%，水果蔬菜增长超99%，近1000万消费者购买了普洱茶网原创文章，未经授权禁止转载网原创文章，未经授权禁止转载

简单来说，由Cybertron平台生成的Bot相当于给商业机构装入一个企业级助手团，该助手团由AI员工、客服数字人等创新产品组成。并且有鉴于工具调用能力是Agent的根基，为了增强模型性能，目前百融云创已形成企业AI中台，提供包含大模型在内的各类模型训练、部署和统一的API服务接口，实现AIOPS全流程统一管理公司的AI算力、AI资源和AI服务。●少样本：在训练集中出现次数大于0且小于N的（本文设定N为100）用户和商品，表示这些用户和商品只有很少的训练数据。

如图2所示，AntM2C数据集中的用户和商品呈现自然的长尾分布。大多数用户的曝光频率是在50次左右。场景之间的知识共享能够使多场景模型相较于单场景建模达到更好的性能。表1 样本情况此外，AntM2C数据集已经进行了去标识化和加密处理，不包含任何个人可识别信息（PII）。

每个用户的平均交互次数超过50次。总体而言，AntM2C数据集中商品和用户的分布能够反映CTR预测的实际情况。

这表明在AntM2C中，不同场景之间存在差异和共性，简单地混合训练数据不能得到最佳结果。它通过利用来自多个场景的CTR数据构建一个统一的模型。数据集的应用：多场景CTR预估、冷启动CTR预估、多模态CTR预估基于AntM2C，开源方选择了常用的AUC作为所有实验的度量指标，通过几个CTR预测任务进行了测试，并得到了一些评估结果，作为AntM2C的使用示例。展 望希望未来有更多的团队加入CTR相关的研究领域，在合规安全的前提下，参与数据集的开源及共建工作。

用户特征由静态特征（用户静态属性和商品标题将在后续阶段公开）和用户序列特征组成。在搜索场景中，当用户输入搜索词时，几个相关的服务或内容的小程序会显示出来以供用户点击。在营销场景下，平台会推荐一些消费者优惠券，用户可以点击他们想要使用的优惠券。表4 不同基线方法在多场景CTR预测上的评估结果通过表4，可以得出以下结论。

因此，开源方选择了几种具有公开可用代码的代表性方法作为基线模型。序列特征提供了用户在支付宝上的最近活动信息，包括点击的小程序、搜索的服务、购买的商品等。

其次，不同的冷启动方法在AntM2C中显示出可区分的结果，而且所有的方法都明显优于没有冷启动优化的DNN模型。第三，现有的数据集通常在1亿左右规模，无法进一步验证模型在更大规模的工业场景中的能力，需要更大规模的数据集全面地反映CTR模型的在真实工业生产环境中的实际性能。

例如，用户可能会在支付宝Tab3页面上浏览有关咖啡的视频，然后在营销活动期间点击咖啡优惠券，最后使用支付宝搜索点击咖啡订购小程序下单。它对于提高用户参与度、提升用户体验、以及优化广告收入至关重要。但CTR预测中的一个难点在于如何对不同的CTR模型进行准确评估。其中，主要选择多任务方法作为多场景CTR预测的基线方法。●零样本：在训练集中从未出现过的用户和商品，表示用户是第一次访问该场景，或者该商品在第一天被推出。图2 AntM2C数据集中用户和商品的频率分布情况AntM2C数据集特征体系：不止用户和商品特征，更有额外特征AntM2C数据集的特征系统，如表3所示，包括用户和商品的ID特征以及文本特征。

然而，现有的CTR数据集通常仅涵盖有限种类的商品，且通常来自相同的业务场景，无法捕捉到用户的多场景偏好。依托实际数据分布，可有效反映多场景CTR预测情况AntM2C数据集中的一部分用户在五个场景之间存在重叠。

表6 多模态CTR的评估结果相较于仅使用ID模态的MMoE，在数据稀疏的场景C、D和E中加入文本模态后，CTR性能有所提升。其次，每个场景的CTR性能不同，表明不同场景之间存在不同的困难程度。

这表明AntM2C能够有效地比较不同冷启动方法的效果，并展示了方法之间的差异性。在商品分布方面，所有场景都呈现出长尾分布的情况，80%的样本出现频率少于5次

这表明在AntM2C中，不同场景之间存在差异和共性，简单地混合训练数据不能得到最佳结果。在B场景中，用户频率分布有两个峰值，一个在5次以下，另一个在50次左右。因此，开源方选择了几种具有公开可用代码的代表性方法作为基线模型。作为电商平台，亚马逊和AliExpress只提供了他们的电商商品的CTR数据。

每个业务场景都有独特的数据分布，不同场景之间也存在大量交叉用户和相似商品，这可以用于对多场景CTR建模进行更全面的评估，以测试CTR模型在多个业务场景中的有效性。源于支付宝平台真实工业数据而生的AntM2C数据集为了满足用户的日益增长的需求，支付宝向用户推荐不同业务场景的各种类型的商品。

多模态CTR预估随着大型语言模型（LLM）的兴起，有效地将LLM的知识转移到CTR预测中已成为一个热门的研究课题，已经有许多基于多模态CTR建模的工作使用了商品和用户文本等特征。多场景CTR预估多场景CTR预测是工业推荐系统中的常见问题之一。

为了方便评估，选择MMoE作为主干模型，并使用预训练的Bert-base，得出多模态CTR的评估结果，如表6所示。AntM2C从支付宝的五类场景中汲取CTR数据，其中每类场景下的商品类型都AntM2C存在差异，如图1所示，搜索中的服务和内容、营销中的优惠券、Tab3页面中的视频以及会员页面上的广告各有不同。

除了用户和商品特征外，AntM2C还提供了额外的特征，如日志时间和场景标识。●少样本：在训练集中出现次数大于0且小于N的（本文设定N为100）用户和商品，表示这些用户和商品只有很少的训练数据。表4 不同基线方法在多场景CTR预测上的评估结果通过表4，可以得出以下结论。近年来，基于元学习的冷启动方法已成为最先进的方法。

其次，不同的冷启动方法在AntM2C中显示出可区分的结果，而且所有的方法都明显优于没有冷启动优化的DNN模型。但是现有的CTR数据集大多都是基于ID类特征，其他模态的数据较少，难以支撑目前研究的需求。

Tenrec更专注于视频和文章推荐。频率超过50次后，用户数量随着频率增加而减少。

由于当前使用文本模态的基线相对简单，性能改进并不显著，但这也显示了AntM2C提供的文本模态改进CTR性能的潜力。但CTR预测中的一个难点在于如何对不同的CTR模型进行准确评估。