近日，字节跳动豆包大模型团队与香港大学联合提出了 ByteCheckpoint。

LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。

随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。

自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。

腾讯 AI lab、香港城市大学、锐格医药（Regor Therapeutics Group）的研究人员开发了一种条件深度生成模型 PMDM，用于生成适合特定靶标的 3D 分子。

「这才是我理想中的 GPU。」—— 黄仁勋。