研究大型语言模型（LLMs）的扩展法则（scaling laws）时，以前的工作主要关注模型参数和训练数据的大小，而忽略了词表大小的作用。

埃隆·马斯克领导的xAI公司开源了其首个大型语言模型Grok，拥有3140亿参数。该举措挑战了AI领域的现有格局，向其他竞争对手施加了压力。Grok的开源不仅是技术上的突破