AI2 发布 Olmo-core 3:面向大型 MoE 的开源可扩展训练基础设施
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开源 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:原文给出 MoE 训练栈的关键改动和对比数据,可看到开源训练基础设施在效率上的取舍。
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开源 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:原文给出 MoE 训练栈的关键改动和对比数据,可看到开源训练基础设施在效率上的取舍。
NVIDIA 发布表格数据开源基础模型 Kumo Tabular,可在单次前向传播中完成分类与回归预测,无需训练、调参和特征工程。
推荐理由:文章完整披露了表格基础模型的预训练数据构造与架构设计,可据此判断免训练推理在表格任务上的可行性边界。
Microsoft Research 发布面向生物学复杂性的 AI 研究系统 Quine,由跨模态生物学世界模型与连接科学工具、文献、湿实验和研究者的交互式 harness 组成。
推荐理由:原文给出 Quine 的多模态世界模型与湿实验验证结果,并开放 Fellows 申请,可据此判断生物学 AI 研究系统的落地路径。
Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模超过 AlphaFold Database 30 倍,今日起通过网站门户、AlphaGenome API 和 Google Antigravity 技能向学术研究免费开放。
推荐理由:读者可据此了解 9 亿单核苷酸变异预测数据集如何把 AlphaGenome 的预测能力扩展到全基因组检索。
Google DeepMind 与 Google Research 发布全球天气 AI 模型 WeatherNext 3,直接学习实时卫星观测,逐小时生成预报,温度等关键地表变量分辨率达 5 公里,整体比上一代 WeatherNext 2 精细约五倍。
推荐理由:官方披露了实时卫星数据训练、逐小时刷新与降水精度提升的具体数字,可用于对比上一代全球天气模型。
微软研究院发布 GigaPath-Flash 和 GigaTIME-Flash,用蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干替换原有模型,以 Apache 2.0 许可开源。