Meta
Meta HSTU: 生成式推荐系统的实践
Published:
TL;DR: Meta 将推荐问题重新建模为序列 transduction 任务,提出了 HSTU 架构。在 1.5 万亿参数规模下,线上 A/B 测试提升 12.4%,训练速度比 FlashAttention2 快 5.3-15.2 倍。本文的核心价值在于验证了生成式推荐在工业级场景下的可行性。
Published:
TL;DR: Meta 将推荐问题重新建模为序列 transduction 任务,提出了 HSTU 架构。在 1.5 万亿参数规模下,线上 A/B 测试提升 12.4%,训练速度比 FlashAttention2 快 5.3-15.2 倍。本文的核心价值在于验证了生成式推荐在工业级场景下的可行性。