每次前沿模子发布，AI圈王人会盯着几张老成的收货单。
滚球app中国官方网站MMLU-Pro、MMMU、MMMU-Pro……这些名字对粗鄙用户来说有些生分，但对模子公司和相关者而言，它们险些一经成了“要领科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek们不断在这些基准上交卷。
“是骡子是马拉出来溜溜”，模子如何样，时时王人要靠这些分数来证明。
许多模子发布会上的性能对比图，离不开它们；HuggingFace上的一些排名榜，也开采在这些评测体系之上。致使不错说，今天AI行业操办模子才智时，使用的一经是一套由这些基准界说的共同语言。
但挑升义的是，险些通盘东说念主王人在和顺分数，却很少有东说念主知说念出题的东说念主是谁。而MMLU-Pro、MMMU和MMMU-Pro背后，王人能看到吞并个名字——陈灯谜。
他是加拿大滑铁卢大学规划机科学系助理阐述，在谷歌学术上，他的论文被援用高出3万次。
他亦然“老虎试验室（TIGERLab）”的创举东说念主，这个试验室的英文全称是Text and Image GEnerative Research Lab，因为名字里有一个“虎”字，陈灯谜为其起了一个很有辨识度的中语名——虎头帮。
01
旧考卷失灵之后
陈灯谜泉源被更多东说念主注意到，是因为MMLU-Pro。
MMLU也曾是大语言模子才智评估中最常用的基准评测之一。它像一张概述试卷，遮蔽多个学科，用来辩论模子在学问意会和推理任务上的进展。
在早期，这张卷子很灵验。模子之间的差距能被分数拉开，行业也不错通过它不雅察大语言模子是不是真的在跳跃。
但问题很快出现了。
跟着模子才智不断擢升，MMLU逐渐变得“不够考”了。前沿模子的分数越来越高，互相之间的差距越来越小。
到OpenAI发布o3之后，这个问题变得愈加赫然。o3在MMLU上的准确率一经接近100%，其他前沿模子也不绝交出靠拢满分的收货。
这听起来像是一个好音尘，但对评估来说，反而意味着空泛。
一张试卷若是巨匠王人能考接近满分，就很难络续判断谁更强、强在那儿。它仍然不错证明模子一经具备某些才智，却不再相宜辩论新的跳跃。
AI行业需要一张更难、也更拦阻易被“专揽往常”的卷子。
2024年，陈灯谜和团队推出了MMLU-Pro。
MMLU-Pro重新矫正了这张考卷，而非浅易把题库扩大。
它包含12032说念题，遮蔽数学、物理、化学、法律、工程、情态学、健康等14个畛域。比较原版MMLU，它把选项从4个膨大到10个，镌汰模子靠料到蒙对的概率；同期加入更多偏推理的问题，算帐掉原题库中相对浅易、存在歧义概况分手度不及的题目。
效用很径直。
论文限制自满，模子在MMLU-Pro上的准确率比较原版MMLU下落了16%到33%。吞并模子在24种不同教导词作风下测试时，收货波动也从原MMLU的4%到5%，下落到约2%。
也就是说，这张新卷子不仅更难，也更踏实。
它让那些在旧考卷上看起来王人很优秀的模子，重新被拉开了差距。模子到底是真会推理，如故只是更擅长支吾旧题，也因此更容易被看出来。
02
好用的基准评测
MMLU-Pro很快被行业拿去用了。
MMLU-Pro随后参预NeurIPS2024数据集与基准评测赛说念，也被EleutherAI的语言模子评测框架lm-evaluation-harness集成。对开源模子社区来说，这意味着它不再只是一篇论文里的数据集，而是参预了常用评测用具链。
许多模子发布时，开动申报MMLU-Pro分数。HuggingFace上的一些排名榜，也把它纳入评估体系。
若是说MMLU-Pro照顾的是语言模子评估里的“旧考卷失灵”，那么MMMU则把陈灯谜和TIGERLab推到了多模态评测的中心。
多模态模子的问题更复杂。
语言模子答题，主要处理翰墨。多模态模子则要同期处理图片、图表、默示图、舆图、表格、曲谱、化学结构等不相似子的信息。它不单是要读懂题干，还要信得过看懂图像里的本色，并把视觉信息、文本信息和学科学问放在一齐推理。
MMMU基准评测包含1.15万说念多模态问题，来喜跃学考试、检会和课本，遮蔽艺术与狡计、生意、科学、健康与医学、东说念主文社科、期间与工程六大畛域，进一步细分为30个学科和183个子畛域。
这些题目不是浅易问模子“图里有什么”，乐动手机app它条件模子像学生作念专科题一样，把图像信息和学科学问伙同起来。
MMMU发布时，相关团队测试了14个开源多模态模子，以及GPT-4V、GeminiUltra等代表性闭源模子。即即是那时最强的闭源模子，GPT-4V和GeminiUltra也只达到56%和59%的准确率。
这组数字确认，多模态模子看起来跳跃很快，但在信得过需要专科意会和推理的问题上，仍然有大批空间。
自后，陈灯谜团队又推出了MMMU-Pro，进一步堵住模子绕过视觉信息的空间。它过滤掉只靠文本模子也能回应的问题，膨大候选项，并引入vision-only建立，把问题镶嵌图像中，条件模子同期完成视觉读取和文本意会。
浅易说，就是不让模子“只看翰墨猜谜底”。
这类使命听起来颇有点琐碎之感，但它们很枢纽。因为多模态模子明天要参预医疗、援救、科研、狡计、工程等场景，只是能描绘画片是不够的。它必须能判断、推理、解释，也必须能在复杂视觉信息中找到信得过灵验的部分。
03
“考卷”背后的东说念主
陈灯谜自后作念MMLU-Pro和MMMU，来自于他一直以来的相关标的。
他的相关好奇蓝本就与复杂信息意会、学问问答和推理相关。
他本科毕业于华中科技大学，之后到德国亚琛工业大学攻读硕士，再到加州大学圣巴巴拉分校赢得规划机科学博士学位。博士期间，他一经开动围绕复杂问答、表格推理、学问根据定位等标的作念相关。
这类任务有一个共同点：谜底时时不在单一文本里。
它可能藏在一张表格里，也可能需要伙同一段翰墨和一张图片，还可能需要模子先检索信息，再整合、规划和推理。模子不可只会复述已有学问。
陈灯谜参与过的HybridQA、TabFact、ProgramofThoughts、MAmmoTH等技俩，王人和这条线相关。
这也解释了他为什么会对模子评估里的间隙敏锐。
好的基准评测不是浅易把题目搞得越来越难，而是要预判模子最容易在那儿“蒙对题”“看起来会”。
模子可能记着了题库，也不错靠选项猜谜底，还可能用翰墨绕过视觉信息……好的评估得把这些间隙补好。
博士毕业后，陈灯谜参预谷歌相关院，随后在2021年至2025年参与谷歌DeepMind的Gemini多模态模子和评估使命。这段阅历也很裂缝。长久战争前沿模子研发，让他更清醒模子才智是如何增长的，也更容易看见评估中可能存在的偏差和盲区。
2022年秋季，陈灯谜加入滑铁卢大学规划机科学学院，担任助理阐述。同庚，他入选CanadaCIFARAIChair。之后，他创办“老虎试验室（也就是虎头帮）”，络续围绕基础模子、多模态才智和基准评测伸开相关。
虎头帮并不单是作念基准评测，也在作念模子和系统相关。
在视频方进取，UniVideo试图把视频意会、生成和剪辑放进吞并个框架，让模子不单是生成一段画面，也能意会本色、反映指示并完成修改。Vamba对准长视频意会，照顾一小时级别视频带来的显存、规划和老师效用问题。与Meta生成式AI团队配合的MoCha，则把重心放在讲话捏造变装生成上，通过语音和翰墨描画生成高质料东说念主物视频。
一个从来不作念题的出题东说念主是不可能出好题的。我方下场作念模子，反过来也让他们更相宜作念评估。
因为信得过巧的评估，时时来自对模子才智畛域的意会。唯有知说念模子是如何作念出来的，知说念它在真的任务里会遭受什么问题，才更容易狡计出能测出差距、也能露出问题的题目。
如今，陈灯谜参预Meta超等智能试验室，使命络续聚合在多模态预老师数据和评估，并行状于Meta基础模子。
AI行业并不短缺被看见的东说念主。AI行业里，聚光灯频繁会落在创业者、明星相关员和大模子公司的安定东说念主身上。新址品发布、融资音尘、开源模子和团队治疗，时时最容易劝诱外界和顺，也让这些名字更容易参预公众视线。
但今天的AI畛域乐动(中国)app，华东说念主东说念主才的参与一经远不啻这些最显眼的位置。