中国工业互联网研究院发布通用人工智能大模型工业测试结果
时间:2023-06-30 16:22:58来源:新华财经

新华财经北京6月29日电 在工业和信息化部科技司的指导下,由中国工业互联网研究院牵头成立的通用人工智能与工业融合创新中心6月28日发布大模型工业知识问答测试结果,旨在助力人工智能深度赋能制造业,推动工业经济高质量发展。

图:6月2日,中国工业互联网研究院牵头成立通用人工智能与工业融合创新中心,以上为相关领导、专家、企业家代表出席通用人工智能与工业融合创新中心成立仪式。


(资料图片)

参与报告论证的包括:中国工程院院士唐立新、王国栋,外籍院士焦礼成、张大庆、刘江川,ACM\IEEE Fellow 刘云浩、刘劼、张燕咏、杨铮等,共13位业界顶级专家。该报告针对包括电子设备制造、装备制造、钢铁等八个细分行业,通过设置主观、客观、自主认知和悖论等多方面问题,进行大模型测试。

图:五位中外院士、八位ACM\IEEE Fellow、13位业界顶级专家联合论证。 

报告总体显示,通用大模型在工业知识问答领域整体处于探索阶段,GPT4表现最为优异。头部国产大模型表现亮眼,整体水平与GPT3.5持平,多措并举或可实现赶超。

图:大模型工业领域知识问答测评综合结果

大模型对八个细分行业的知识问答能力呈现出明显差异性,其中,电子、装备、钢铁和石化相对较好,采矿、电力、建材和纺织相对不足。

图:大模型在电子、装备、钢铁、采矿行业表现。

具体到国产大模型,文心一言、ChatGLM、360智脑在电子行业中表现优异;文心一言、360智脑、ChatGLM在装备行业评分领先;文心一言、ChatGLM、星火大模型在钢铁行业成绩突出;文心一言、360智脑、星火大模型在采矿行业名列前茅。

图: 大模型电力、石化、建材、纺织行业表现。

在电力行业,文心一言、ChatGLM、天工大模型居于前列;在石化行业文心一言、360智脑、从容大模型处于领先;在建材行业,文心一言、星火、ChatGLM评分较高;纺织行业ChatGLM、文心一言、360智脑优势明显。

图: 大模型自我知识盲区鉴别能力

图: 大模型对输入内容的合理性判断能力

报告显示,在模型自我知识盲区鉴别能力与抗污染问题分析能力方面,GPT4表现出较高的水平,能够自己主动承认不理解的问题以及识别出大部分的逻辑谬误。相较而言,国产大模型提升空间较大。

下一步,通用人工智能与工业融合创新中心将在工业与信息化部科技司的指导下,周期性围绕大模型知识能力、鲁棒性、安全性等专题开展后续评估工作,为政府提供决策依据,为产业提供赋能导向,为企业提供转型方法,为用户提供应用参考,助力构建通用人工智能赋能制造业新优势。

编辑:罗浩

声明:新华财经为新华社承建的国家金融信息平台。任何情况下,本平台所发布的信息均不构成投资建议。

标签:

生活指南
  • 欧洲央行管委森特诺表示 我们正接近可能暂停加息的时刻 我们非常接近

    欧洲央行管委森特诺表示,我们正接近可能暂停加息的时刻,我们非常接近

  • 亚宝药业主要产品是什么?亚宝药业行业口碑怎么样? 快报

    亚宝药业主要产品是什么?600351 亚宝药业公司是一家在山西省注册的

  • 武汉控股最新公告:政府有偿收回子公司所属二郎庙污水处理厂国有土地使用权-每日热讯

    武汉控股公告,目前北湖污水处理厂已通水运行,二郎庙污水处理厂部分国

  • 河南省区划设想:济源并入焦作,鹤壁、安阳合并,洛阳直辖|今日热搜

    文|绾绾引言河南省位于我国中部地区,是中华文明的重要发源地之一,全

  • 环球观点:2023粤港澳车展:新款捷豹F-PACE售价47.2万起

    在2023粤港澳车展上,新款捷豹F-PACE正式上市,新车提供四种版本可选,

  • 环球观察:双环传动:上半年净利同比预增39.48%-47.45%

    双环传动公告,预计2023年半年度净利3 5亿元-3 7亿元,同比增长39 48%-

  • 新产业:于近日收到国家知识产权局颁发的1项《发明专利证书》-全球微速讯

    新产业(SZ300832,最新价:62 4元)6月26日午间发布公告称,深圳市新

  • product可数吗?product苹果红色后面什么价?product形容词怎么写? 速看料

    product可数吗?product 作商业产品总称解时,是不可数名词;作某事物

  • 海南出台常态化监管机制 整治海鲜市场消费欺诈行为

    为深入整治海鲜市场缺斤短两、欺客宰客等消费欺诈行为,海南省市场监督

  • A股收评:三大指数均跌超1% 电力股逆势大涨|每日速读

    大盘全天低开低走,三大指数均跌超1%。截至收盘,沪指跌1 48%,深成指

  • 世界热推荐:阿斯顿马丁与Lucid达成4.5亿美元技术合作协议,加速电气化战略

    Lucid和阿斯顿·马丁达成长期战略技术合作伙伴关系,为Lucid最先进

  • 厦门三天游攻略详情_当前视讯

    厦门三天游攻略详情厦门三日游游玩顺序可以这样:第一天,坐公交到厦门

  • 每日聚焦:王者组cp是什么意思 组cp是什么意思

    1、CP是英文coupling的缩写,日文为カップリング或者カプ,表示人物配

  • 静海区多举措拓展项目承接空间 京津冀产业对接按下“加速键”|每日讯息

    天津北方网讯:今年,静海区通过持续拓展项目承接空间,加强产业承接平

  • 天翼网关怎么连接路由器图解_天翼网关怎么连接路由器_当前最新

    1、路由器与电信天翼网关要有根网线连接起来。2、光纤入户线了连接到天

  • 权益性投资和股权投资有哪些不同?股权投资什么情况下可以退出?

    权益性投资和股权投资有哪些不同?权益性投资和股权投资的区别在于两

  • 民生
    • 世界新资讯:长春长影世纪城(长春长影世纪城官网

    • 绿豆牛奶冰棍的做法_牛奶冰棍的做法

    • 未悬挂车牌上路扣几分?伪造临时牌照怎么处罚?-每日观察

    • Win7系统可以玩原神游戏吗?win7设置工作组的操作方法_今日报