AI智慧秀 Karpathy点赞,这份报告教你如何用 LLaMa 3创建高质量网络数据集 众所周知,对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。
AI智慧秀 开源模型进展盘点:最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好? 深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。
AI智慧秀 自动化所研发脉冲动态计算的毫瓦级超低功耗异步感算一体类脑芯片 该工作的实践证实高、低抽象层次大脑机制的融合能进一步激发类脑计算潜力,为未来将大脑进化过程中产生的各种高级神经机制融合至神经形态计算提供积极启发。
AI智慧秀 多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再「压缩」 最近的一系列研究表明,纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征,从而成功地生成多种模态(如音频、图像或状态 – 动作序列)的新序列
AI智慧秀 物理传热启发的视觉表征模型vHeat来了,尝试突破注意力机制,兼具低复杂度、全局感受野 如何突破 Transformer 的 Attention 机制?中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vHeat。