NeurIPS 2024 | 多样任务真实数据，亚马逊提出在线购物领域评测基准Shopping MMLU

在线购物是现代生活中必不可少的组成部分。2023 年，在线购物销售额已经占到中国全部销售额的 46%。随之而来的，各大平台广泛使用机器学习工具以提升对商品和用户行为理解的准确性。然而，现有针对在线购物的机器学习模型和数据往往针对单个或有限个任务，从而无法完整建模在线购物的复杂性。具体的说，在线购物的复杂性体现在如下方面：

• 多任务性：在线购物中存在多样的实体（例如商品、属性、评论、查询关键词等）、关系（例如关键字和商品的匹配度，商品和商品之间的兼容性、互补性）和用户行为（浏览、查询、和购买）。对这些实体、关系和行为和联合建模与理解构成一个复杂的多任务（multi-task）学习问题。

• **少样本性：**在线购物平台会不断面临新用户、新商品、新商品品类等带来的冷启动（cold-start）场景。在冷启动场景下，在线购物平台需要解决少样本（few-shot）学习问题。

诸如 GPT，T5，LLaMA 等的大语言模型（LLM）已经展现出了强大的多任务和少样本学习能力，因而有潜力在在线购物领域中得到广泛应用。此外，大语言模型可以为用户提供实时、交互式的问答，从而提升用户体验。

针对以上的问题和前景，亚马逊联合香港科技大学、圣母大学基于真实在线购物数据，构建了一个大规模、多任务评测基准 Shopping MMLU，用以评估大语言模型在在线购物领域的能力与潜力。基于 Shopping MMLU，亚马逊举办了 KDD Cup 2024 数据挖掘竞赛，吸引了全球超过 500 支队伍参赛。

相关资料可以于如下地址访问：

论文链接：

https://arxiv.org/pdf/2410.20745

数据链接：

https://github.com/KL4805/ShoppingMMLU

KDD Cup 2024 Workshop及获奖队伍解法：

https://amazon-kddcup24.github.io/

评估榜单：

https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard

===

👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）