埃隆·马斯克的xAI开源Grok-1

概要：埃隆·马斯克(Elon Musk)和xAI刚刚在开源的Apache 2.0许可下发布了其庞大的314B参数语言模型Grok-1的权重和架构。

我们发布了我们的 3140 亿参数的 Mixture-of-Experts 模型 Grok-1 的权重和架构。这是 Grok-1 在 2023 年 10 月预训练阶段的原始基础模型检查点，不针对特定应用进行微调。模型基于大量文本数据训练，使用自定义训练堆栈在 JAX 和 Rust 上进行训练。权重和架构以 Apache 2.0 许可证发布。想要使用模型，可在 github.com/xai-org/grok 上查看说明。

细节:

Grok-1是一个混合专家模型，对于任何给定的输入令牌，只有25%的权重是活动的，以实现更高效的计算。

发布的模型是2023年10月以来未经训练的检查点，没有针对任何特定任务进行微调。

xAI在其GitHub仓库上提供了开发人员入门的指导，并在Hugging Face上发布了该模型。

重要性：通过开源世界上最大的LLM之一，xAI正在与马斯克认为的对OpenAI封闭模型的道德斗争中走在前面。虽然Grok的功能还没有打破任何新的壁垒，但此举是协作和透明的人工智能开发的又一次重大胜利。