在RoboColiseum发布的最新评测中，直播指令执行的四款多模态模型中，Claude Opus 5.5以76.28分获得第一名，而GPT-6 Astra则以75.99分紧随其后，这两者间仅相差0.29分。第三和第四名分别是GPT-6.1 Sol和Gemini 4 Argon，得分为70.91分和66.86分。然而，在官方总榜中，专业策略模型Paimon和HiDream-O1-Embodied以77.54分和76.92分占据前两名，领先其他模型。
尽管Astra、Sol和Opus在指令跟随和空间理解方面的得分超过了专业策略模型，但所有多模态模型在通用操作能力上均不及后者。报告探讨了模型在任务理解与执行之间的障碍，发现即使模型能够理解任务，其某些动作仍然难以完成。RoboColiseum于2026年正式开放，自内测以来，已有超过100支团队在平台上进行模型训练与评测。
以端锅为例，初始指令下，GPT-6 Astra在抓取锅具时姿态不够协调，经过补充指导后才得以成功抓取。这表明模型在明确操作指导下执行得较好，然而在自主推断适宜抓取方式时仍显困难。类似问题在精细操作时也表现突出，面对圆形积木和手机充电，尽管能调整姿态，但最终仍未能完成目标。
评测通过Agent2Act控制框架将模型接入RoboColiseum，使用一致的测试样本和原始评测指令。各模型的推理设置有所不同，导致它们在某些方面表现出差异。评测结果表明，Claude Opus 5.5在空间理解和通用操作上均保持领先，而GPT-6 Astra在指令跟随和扰动适应上表现突出，GPT-6.1 Sol虽得分较低，但它的低推理成本为提高性价比提供了选择。Gemini 4 Argon的得分虽不高，却在特定任务中表现出色。相比之下，四款多模态模型在通用操作的得分明显低于专业策略模型。
发表评论