4月7日这天,中新社的记者张俊从合肥发回消息,安徽省量子计算工程研究中心那边传来好消息,说中国第三代自主超导量子计算机“本源悟空”,最近干成了一件全球头一遭的事——它把一个有十亿参数级别的AI大模型给跑通了微调任务。这个活儿是由本源量子公司还有合肥综合性国家科学中心人工智能研究院等单位联手弄出来的。 实验数据特别有意思,虽然参数量被砍掉了76%,可训练效果反倒是涨了8.4%。这事儿不光证明量子计算能帮大模型变轻变好,更是给大模型因为算力不够发愁的问题找到了新路子。 所谓的大模型微调,说白了就是在一个通用的大模型上,再用些专业数据去训练,让它适应像看病诊断或者金融风控这种专门的活儿。以前那种低秩微调老是碰到性能卡壳、普适性不好的麻烦,好在量子计算有叠加态和纠缠态的本事,能同时把海量的参数组合都翻个遍,把效率给提上来。 本源量子的副总裁窦猛汉专门给咱们讲了讲这是怎么回事。他们搞了个叫量子加权张量混合参数微调的法子,直接把模型的权重转成了量子神经网络和张量网络混搭的架构。量子门负责去提取那些高维非线性的特征,张量网络则是专门用来压缩参数的。 最直观的好处在“本源悟空”的芯片上体现得很明显,现在每次输入一批数据,一下子就能生出几百个量子任务来一起处理。拿到了心理咨询和数学推理两个数据集上的数据一比对,优化后的模型让训练损失掉了15%,数学推理任务的准确率更是从68%猛冲到了82%。 合肥综合性国家科学中心人工智能研究院的副研究员陈昭昀评价说,这是量子计算头一回拿真机器去干AI大模型的活,算是证明现在的硬件设备已经能稍微撑起点这种级别的微调了。 说到现在的成绩也相当不错,“本源悟空”这台超导量子计算机目前已经把全球139个国家和地区都覆盖到了,一共干了35万个量子运算任务,不管是研究流体动力、做金融分析还是搞生物医药,它都能插上手。(完)