2024欧洲杯(中国区)官网-登录入口多模态生成模子文生图评测后果领悟-2024欧洲杯(中国区)官网-登录入口

（原标题：拒却刷题刷榜，智源究诘院测了下140多个大模子的信得过水平）

21世纪经济报谈记者白杨 北京报谈

5月17日，智源究诘院重视推出智源评测体系，并发布了秘密国表里140余个大模子的评测后果。

据了解，智源究诘院的这次评测别离从主不雅、客不雅两个维度历练了说话模子的通俗贯通、常识哄骗、推理才智、数学才智、代码才智、任务护士、安全与价值不雅七大才智；针对多模态模子则主要评估了多模态贯通和生成才智。

评测后果领悟，在汉文语境下，国内头部说话模子的笼统证据已接近海外一活水平，但存在才智发展不平衡的情况。

在多模态贯通图文问答任务上，国产模子证据杰出。国产多模态模子在汉文语境下的文生图才智与海外一活水平差距较小；而多模态模子的文生视频才智上，对比各家公布的演示视频长度和质料，Sora有明白上风。

具体而言，说话模子主不雅评测后果领悟，在汉文语境下，字节超过豆包Skylark2、OpenAI GPT-4排行前两位。在说话模子客不雅评测中，OpenAI GPT-4、百川智能Baichuan3别离位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均插足说话模子主客不雅评测前五。

多模态贯通模子客不雅评测后果领悟，图文问答方面，阿里巴巴通义Qwen-vl-max与上海东谈主工智能执行室InternVL-Chat-V1.5先后开首于OpenAI GPT-4，LLaVA-Next-Yi-34B和上海东谈主工智能执行室Intern-XComposer2-VL-7B紧随自后。

多模态生成模子文生图评测后果领悟，OpenAI DALL-E3位列第一，智谱华章CogView3、Meta-Imagine分居第二、第三，百度文心一格、字节超过doubao-Image次之。多模态生成模子文生视频评测后果领悟，OpenAI Sora、Runway、爱诗科技PixVerse、Pika、腾讯VideoCrafter-V2位列前五。

这里需要指出的是，Mdjourney因为基本无法贯通汉文请示词，因此排行靠后；而Sora仅能使用其官方公布的prompts和视频片断与其他模子生成的视频进行对比评测，评测后果存在一定的偏差。

智源究诘院院长王仲远在接收21世纪经济报谈记者采访时示意，“当今总共这个词行业百花王人放，但也濒临终点多挑战。行为又名AI的究诘者，我我方都分不明晰哪家模子强哪家模子弱。是以行业需要一家对大模子本事有深远贯通以及足够教诲，何况是一家中立、客不雅、公谈的第三方机构来作念一次全面评测。”

府上领悟，确立于2018年的智源究诘院，是一家非渔利究诘机构，旨在鼓励东谈主工智能限制发展战略、学术念念想、表面基础、顶尖东谈主才与产业生态的改变。

2020年10月，智源究诘院就开动了大模子的研发责任，其2021年3月发布的悟谈1.0，是那时中国首个以及寰宇最大的大模子。

此前，智源究诘院也牵头确立了IEEE大模子评测法式小组P3419，组织20余家企业及学者参与大模子法式耕种，同期行为《东谈主工智能预教会模子评测主张与挨次》国度法式草案的共建单元，智源这次的模子评测也鉴戒了该法式，并采选客不雅评测息争规章与主不雅评测多重校验打分积攒拢的挨次。

王仲远示意，当今市面上绝大大都的评测都是开卷考，这让好多大模子不错去刷榜、刷题，导致评测后果无法客不雅公谈地响应这些模子的信得过水平。“这不利于行业的发展，咱们尤其牵挂出现劣币结果良币。”

是以，智源究诘院这次评测作念了终点严格的适度，以确保评测流程中不受到任何关扰，同期，这次评测使用20余个数据集、超8万谈考题。其中主不雅题4000余谈，均来源于智源自建原创未公开并保执高频迭代的主不雅评测集。

另外关于这次评测，王仲远也坦言，评测后果仍会有一定的局限性。比如本次评测主要围聚于通用大模子的评测，未秘密到垂直限制大模子，何况是侧重于在汉文语境下的评估。

除此除外，这次评测各模子厂商发布的最新版块适度2024年4月20日，是以不代表各个厂商最新发布的模子性能证据。

“科学泰斗公谈绽开，是智源评测的最高摘要。接下来2024欧洲杯(中国区)官网-登录入口，智源将联袂生态协调伙伴连接共建完善评测体系，促进模子性能的优化以及在多元复杂场景下的产业落地。”王仲远说。