摘要：Yandex 推出了当前可用的全球规模领先的推荐系统数据集，推动全球范围内的研究与开发工作。
Yandex 推出了当前可用的全球规模领先的推荐系统数据集，推动全球范围内的研究与开发工作。
该开放数据集包含通过 Yandex 音乐流媒体服务历时 10 个月收集的 47.9 亿条匿名的用户交互数据（收听、喜欢、不喜欢）。
该数据集包含匿名的音频嵌入向量、自然交互标记和精确时间戳，支持用于真实行为分析。
引入全局时间分割 (GTS) 评估方法保持事件序列，并配套基线算法作为参考。
该数据集在 Hugging Face 平台提供三种规模：50 亿、5 亿和 5000 万事件量级，满足多样化研发需求。
Yandex发布了Yambda（YandexMusic Billion-Interactions Dataset，即Yandex Music十亿级交互数据集），这是全球最大的推荐系统开放数据集，包含近50 亿条来自其音乐流媒体平台Yandex Music的用户与音轨的匿名交互数据。
Yambda,全球领先的推荐系统开放数据集
Yambda可作为通用基准来测试推荐系统的新方法和算法，适用于电子商务、社交网络和短视频平台等所有使用推荐系统的领域。
研究人员可借助该数据集基于其基线模型开发和测试新的推荐算法，从而加速创新进程。数据资源有限的初创企业可以先利用Yambda数据集构建和测试系统，然后再扩展规模。这有助于在全球范围内加快特定于业务需求的先进技术开发进程。
弥合研究与产业的鸿沟
训练数据的质量与规模对于流媒体服务、社交网络、短视频应用和电商等平台提供相关的推荐内容而言至关重要。然而，推荐系统领域的研究已落后于大语言模型等迅速发展的领域，其主要原因便是缺乏大规模数据集。效果良好的推荐模型需要TB级的行为数据，商业平台虽然拥有这些数据但却极少公开分享。
数据集统计的轨迹分布
研究人员通常只能获得规模较小且过时的数据集，难以反映现代使用场景的复杂性：
Spotify 的百万歌单数据集对于商业级推荐系统而言规模过小。
Netflix Prize 数据集包含约 17,000 个项目且时间戳仅包含日期，限制了时序建模和大规模研究。
Criteo 1TB 点击日志数据集缺乏合适的文档和标识符，且只关注广告点击。
“推荐系统天生与敏感数据紧密相关。企业只有在进行充分的匿名化处理后才能公开发布推荐系统数据集，这一过程会耗费大量资源，减缓了开放创新的步伐。”Yandex推荐系统负责人Nikolai Savushkin 解释道。
数据短缺导致了落差的出现：学术表现优异的模型在现实应用中往往表现不佳。将推荐系统与先进架构加以整合的工作也因缺乏合适的训练数据而受限。
Yambda数据集简介
Yambda提供的海量匿名数据集来自其月活用户约2800万的音乐流媒体服务，解决了推荐系统面临的挑战。 该数据集揭示了用户与Yandex Music平台内容的交互方式，该平台以其先进的My Wave推荐系统著称，能够根据每位用户的品味定制收听体验。为保护隐私，所有用户和音轨数据均已匿名化，采用数字标识符以符合隐私标准。
数据集统计的用户内容交互历史
数据集主要特性：
历时 10 个月收集的 47.9 亿条匿名的用户交互数据。
来自 100 万用户的数据以及 939 万条音轨的匿名描述符。
包含两种反馈类型：隐式交互（收听）和显式交互（喜欢、不喜欢及其撤销）。
提供音频嵌入向量（通过卷积神经网络生成的向量表示）及音轨的匿名信息。
设有“is_organic”标记，区分用户是自主发现音轨还是通过推荐发现，便于进行更深入的行为分析。
所有事件均带有时间戳，从而支持对用户行为的时序分析，使模型能够在更接近真实使用场景的条件下接受评估。
数据集以Apache Parquet 格式发布，兼容Spark、Hadoop等分布式处理系统和Pandas、Polars等分析库。
“Yambda让研究人员能验证创新性假设，让企业能构建更智能的推荐系统。最终，用户将会受益，能够轻松找到符合需求的的歌曲、商品或服务。”NikolaiSavushkin 补充说道。
数据集版本与评估
Yambda数据集提供三种规模：约50 亿、5亿和5000万事件量级，满足需求和算力资源条件不同的研究人员与开发者。
数据集的不同规模
数据集
用户数
项目数
收听数
喜欢数
不喜欢数
Yambda-50M
10,000
934,057
46,467,212
881,456
107,776
Yambda-500M
100,000
3,004,578
466,512,103
9,033,960
1,128,113
Yambda-5B
1,000,000
9,390,623
4,649,567,411
89,334,605
11,579,143
数据集采用全局时间分割(GTS)进行评估，该方法按时间戳划分数据以保持事件序列。与留一法(Leave-One-Out)从每个用户的历史记录中移除最后一次正向交互以用于测试的做法不同，GTS避免破坏训练集和测试集之间的时序依赖，模拟了未来数据不可用的现实条件，让模型测试更为真实。
采用全局时间分割(GTS)的评估方案
基线实现包括MostPop、DecayPop、ItemKNN、iALS、BPR、SANSA和SASRec，为比较新推荐系统方法提供基准。这些基线通过标准指标进行评估，包括：
NDCG@k（排序质量）
Recall@k（检索效果）
Coverage@k（目录多样性）
“当行业领袖共享宝贵的工具和数据时，所有人都会从中受益：研究人员获得真实的基准，初创企业获得原本只属于科技巨头的资源，全球用户得以享受更优质的个性化体验。”NikolaySavushkin 补充说道。
Yambda，全球最大的推荐系统开放数据集，现已在HuggingFace 发布。
来源：中关村在线一点号