AI2 发布 Olmo-core 3:面向大型 MoE 的开源可扩展训练基础设施
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开源 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:原文给出 MoE 训练栈的关键改动和对比数据,可看到开源训练基础设施在效率上的取舍。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开源 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:原文给出 MoE 训练栈的关键改动和对比数据,可看到开源训练基础设施在效率上的取舍。
NVIDIA 发布表格数据开源基础模型 Kumo Tabular,可在单次前向传播中完成分类与回归预测,无需训练、调参和特征工程。
推荐理由:文章完整披露了表格基础模型的预训练数据构造与架构设计,可据此判断免训练推理在表格任务上的可行性边界。
Microsoft Research 发布面向生物学复杂性的 AI 研究系统 Quine,由跨模态生物学世界模型与连接科学工具、文献、湿实验和研究者的交互式 harness 组成。
推荐理由:原文给出 Quine 的多模态世界模型与湿实验验证结果,并开放 Fellows 申请,可据此判断生物学 AI 研究系统的落地路径。
Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模超过 AlphaFold Database 30 倍,今日起通过网站门户、AlphaGenome API 和 Google Antigravity 技能向学术研究免费开放。
推荐理由:读者可据此了解 9 亿单核苷酸变异预测数据集如何把 AlphaGenome 的预测能力扩展到全基因组检索。
Mistral 宣布完成 30 亿欧元 D 轮融资,投后估值超过 210 亿欧元,由三星电子领投,Scaleup Europe Fund 与 PSG Equity 参与联合领投。
推荐理由:Mistral 以全栈开源路线回应主权 AI 需求,融资方与客户名单给出其商业落地的规模参照。
Google DeepMind 与 Google Research 发布全球天气 AI 模型 WeatherNext 3,直接学习实时卫星观测,逐小时生成预报,温度等关键地表变量分辨率达 5 公里,整体比上一代 WeatherNext 2 精细约五倍。
推荐理由:官方披露了实时卫星数据训练、逐小时刷新与降水精度提升的具体数字,可用于对比上一代全球天气模型。