1. X推荐算法的演进背景每天有超过5亿条推文在X平台上发布而系统需要从中筛选出最相关的1500条推文推送给用户。这个看似简单的数字背后隐藏着一套复杂的推荐系统。从早期的Twitter到现在的X推荐算法经历了从传统特征工程到Grok Transformer的范式转变。早期的Twitter推荐系统主要依赖三个核心组件候选推文采集、推文排序和推文过滤。这套系统使用了多种独立模型如Heavy Ranker神经网络约4800万参数和Real Graph等图算法。这种架构虽然有效但也存在明显的局限性——各个模块相对独立特征工程复杂且难以实现端到端的优化。随着用户规模的增长和内容多样性的提升传统架构的瓶颈日益明显。2023年X工程团队宣布全面转向基于Grok Transformer的新架构这标志着推荐系统进入了一个全新时代。新架构最大的特点是摒弃了人工特征工程采用端到端的深度学习模型来处理整个推荐流程。2. 传统架构的核心组件2.1 候选推文采集系统候选推文采集是整个推荐流程的第一步。系统需要从数十亿条推文中筛选出约1500条初始候选推文。这些候选主要来自两个渠道用户关注账号的内容In-Network和系统推荐的内容Out-of-Network两者比例大致保持50:50的平衡。传统系统使用了两类图算法技术Real Graph/SimClusters基于用户互动关系的社区发现算法GraphJet实时图处理系统维护用户-推文交互图这些技术的核心目标是回答三个关键问题两个用户之间互动的可能性有多大如何判断一条推文是否与用户相关用户关注的人最近在与哪些内容互动2.2 推文排序模型Heavy Ranker是传统架构中的核心排序模型。这个拥有4800万参数的深度神经网络会为每条候选推文计算一个相关性分数。模型考虑的特征主要包括三类聚合特征作者层面的聚合如作者历史表现用户-作者互动历史话题相关性聚合原始特征推文内容特征用户设备信息时间上下文特征嵌入特征Twhin嵌入基于知识图谱的用户和内容嵌入SimClusters嵌入稀疏社区嵌入这些特征通过复杂的特征工程 pipeline 生成包括长期特征50天窗口和短期特征实时更新的组合。2.3 内容过滤与混排经过排序的推文还需要经过多轮过滤安全性过滤移除违规内容多样性控制避免同一作者内容过度集中新鲜度保证过滤用户已看过的内容最终Home Mixer服务基于Scala开发负责将推荐推文与广告、关注推荐等内容混合生成用户最终看到的For You信息流。整个流水线每天运行约50亿次平均延迟控制在1.5秒以内。3. Grok Transformer的架构革新3.1 统一建模范式Grok Transformer架构最大的突破在于实现了真正的端到端推荐。传统架构中分离的候选生成、排序和过滤阶段现在被统一到一个Transformer模型中处理。这种转变带来了几个关键优势消除特征工程瓶颈模型直接从原始交互数据中学习有效特征多目标联合优化同时预测点击、点赞、转发等多种互动行为上下文感知通过注意力机制理解用户行为的序列模式模型基于xAI的Grok-1模型改进而来采用了类似的Transformer架构但针对推荐场景进行了专门优化。3.2 注意力机制与候选隔离Grok Transformer引入了两项关键技术注意力掩码策略 模型可以关注用户历史行为来理解偏好但禁止候选推文之间相互关注。这确保了评分独立性每条推文的得分不受同批次其他推文影响结果稳定性相同推文在不同批次的得分保持一致缓存友好评分结果可以被有效缓存复用多行为预测 模型不再输出单一分数而是同时预测15种用户行为的概率正向行为点赞、回复、转发等权重较高中性行为点击、查看主页等负向行为拉黑、举报等负权重最终得分是这些行为概率的加权和权重会动态调整以反映不同行为的重要性。3.3 Rust与Python的协同新架构在工程实现上也做了重大革新高性能组件使用Rust重写候选检索和流水线执行等关键路径灵活建模Python用于模型训练和逻辑处理统一服务NaviRust编写提供统一的模型服务这种混合架构在保持开发效率的同时显著提升了系统性能。实测显示端到端延迟降低了40%吞吐量提高了3倍。4. 新旧架构的效果对比4.1 效果指标提升根据X工程团队的公开报告新架构在关键指标上取得了显著进步指标传统架构Grok Transformer提升幅度用户活跃度基准值22%显著互动率基准值15%显著用户留存基准值8%显著多样性基准值35%显著4.2 系统复杂度对比架构转变也带来了系统复杂度的变化维度传统架构Grok Transformer代码量约50万行多语言混合约20万行主要Rust/Python特征数量1200手工特征无手工特征模型数量5个独立模型1个统一模型数据管道复杂批流混合统一实时处理4.3 实际应用中的挑战尽管新架构优势明显但在落地过程中也面临一些挑战冷启动问题对新鲜内容的处理需要特殊设计可解释性黑盒模型增加了调试难度计算成本大模型推理需要更多资源X团队通过以下方式应对这些挑战保留部分传统系统作为后备开发专门的可视化分析工具优化模型压缩和推理技术从工程实践角度看这种架构转变不仅仅是技术升级更代表着推荐系统开发范式的根本性变革。它减少了对手工规则的依赖让模型能够直接从海量交互数据中学习用户真实偏好。