QQ免费月抛群_全国品茶修车资源交流入口_全国51茶楼信息网_微信二维码叫小妹150

加快打造原始创新策源地,加快突破关键核心技术,努力抢占科技制高点,为把我国建设成为世界科技强国作出新的更大的贡献。

——习近平总书记在致中国科学院建院70周年贺信中作出的“两加快一努力”重要指示要求

面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,率先实现科学技术跨越发展,率先建成国家创新人才高地,率先建成国家高水平科技智库,率先建设国际一流科研机构。

——中国科学院办院方针

首页 > 科研进展

类脑脉冲大模型“瞬悉1.0”成功研发

2025-09-09 自动化研究所
【字体:

语音播报

近日,中国科学院自动化研究所李国齐和徐波团队与相关单位合作,推出类脑脉冲大模型“瞬悉1.0”(SpikingBrain-1.0)。该模型基于团队原创“内生复杂性”理论,在国产千卡GPU算力平台上完成全流程训练和推理,实现大模型在超长序列推理上数量级的效率和速度提升,展现出构建国产自主可控的新型(非Transformer)大模型架构生态的可行性。研究团队开源了SpikingBrain-1.0-7B模型,开放SpikingBrain-1.0-76B测试网址,同步公开经工业界大规模验证的类脑脉冲大模型SpikingBrain-1.0中英文技术报告。

当前主流的Transformer模型存在固有缺点,即训练时开销随序列长度呈平方级增长,推理时显存占用随序列长度线性增加,造成资源消耗,导致其处理超长序列能力受限。

研发团队借鉴大脑神经元内部复杂工作机制,提出“基于内生复杂性”大模型构架方式,打造类脑脉冲大模型“瞬悉1.0”,在理论上建立脉冲神经元内生动力学与线性注意力模型之间的联系,揭示现有线性注意力机制是树突计算的特殊简化形式,展示出一条不断提升模型复杂度和性能的新型可行路径。进一步,研发团队构建并开源了基于脉冲神经元、具有线性及混合线性复杂度的新型类脑基础模型,开发出面向国产GPU集群高效训练和推理框架、Triton算子库、模型并行策略、集群通信原语。

SpikingBrain-1.0在多个性能方面实现突破:实现极低数据量高效训练、实现推理效率数量级提升、构建国产自主可控类脑大模型生态、提出基于动态阈值脉冲化的多尺度稀疏机制。

这是我国首次提出大规模类脑线性基础模型架构,并首次在国产GPU算力集群上构建类脑脉冲大模型的训练和推理框架。其超长序列处理能力在法律与医学文档分析、复杂多智能体模拟、高能粒子物理实验、DNA序列分析、分子动力学轨迹等超长序列任务建模场景中具有显著的潜在效率优势。

相关链接:

网络端的试用端口

英文技术报告

打印 责任编辑:侯茜

扫一扫在手机打开当前页

© 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

地址:北京市西城区三里河路52号 邮编:100864

电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

  • © 1996 - 中国科学院 版权所有 京ICP备05002857号-1 京公网安备110402500047号 网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864

    电话: 86 10 68597114(总机) 86 10 68597289(总值班室)

  • © 1996 - 中国科学院 版权所有
    京ICP备05002857号-1
    京公网安备110402500047号
    网站标识码bm48000002

    地址:北京市西城区三里河路52号 邮编:100864
    电话:86 10 68597114(总机)
       86 10 68597289(总值班室)