发表于 2024-03-18 15:58 IP属地：北京
特斯拉开源，立刻群雄并起，最后清场式胜利。
猎鹰啥时候开源？星舰啥时候开源？说到做到才是真把式！
2023年，猎鹰的发射成就，远超其它所有航天发射之和，一枝独秀。把地球的资源往太空打，征求我的意见没？
Grok-1说开源就开源
此次开源，xAI发布了Grok-1的基本模型权重和网络架构。
具体来说是2023年10月预训练阶段的原始基础模型，没有针对任何特定应用（例如对话）进行微调。
结构上，Grok-1采用了混合专家（MoE）架构，包含8个专家，总参数量为314B（3140亿），处理Token时，其中的两个专家会被激活，激活参数量为86B。
单看这激活的参数量，就已经超过了密集模型Llama 2的70B，对于MoE架构来说，这样的参数量称之为庞然大物也毫不为过。
京公网安备 11010102004670号