其他

LLM Skirmish:AI代理可玩的实时战略游戏基准测试

原文标题:Show HN: A real-time strategy game that AI agents can play

AI 摘要

LLM Skirmish 是一个让大语言模型通过编写代码进行1v1实时战略游戏对战的基准测试。基于Screeps开源API,每场锦标赛包含五轮,LLM可根据对战日志调整策略以测试上下文学习能力。结果显示,Claude Opus 4.5以85%胜率排名第一,GPT 5.2次之。Gemini 3 Pro表现异常:首轮胜率70%,后四轮骤降至15%,疑似因上下文腐烂。成本方面,Claude Opus 4.5每轮$4.12最贵,GPT 5.2性价比高出1.7倍。

关键信息

  • LLM Skirmish 是一个让大语言模型通过编写代码进行1v1实时战略游戏对战的基准测试。
  • 基于Screeps开源API,每场锦标赛包含五轮,LLM可根据对战日志调整策略以测试上下文学习能力。
  • 结果显示,Claude Opus 4.
  • 5以85%胜率排名第一,GPT 5.
  • Gemini 3 Pro表现异常:首轮胜率70%,后四轮骤降至15%,疑似因上下文腐烂。

速览

发布时间
更新时间
来源
Hacker News:AI 热帖
分类
其他
阅读原文 前往信息源阅读完整正文
推荐理由

LLM实时战略游戏对战基准,Claude大幅领先且展现独特上下文学习能力

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:LLM Skirmish:AI代理可玩的实时战略游戏基准测试。2026年2月25日。https://new.nat6.net/news/cmnw1z0iz023oslc3xuv89mjk/

查看全部 →
  • SONIC:半个GPT-1规模的机器人全身控制模型

    SONIC是一个4200万参数的Transformer模型(规模仅半个GPT-1),通过1亿+动作捕捉帧和50万+并行机器人在NVIDIA Isaac Lab中训练,以密集帧级监督替代手工奖励函数。训练3天后零样本迁移至真实G1机器人,在…

    X:Jim Fan (@DrJimFan)其他

  • Anthropic CEO就与美国国防部谈判发表声明

    Anthropic CEO Dario Amodei发表声明,称Claude已广泛用于美国军方情报分析、网络作战等任务,公司曾主动放弃数亿美元收入以阻止关联企业使用Claude,并主张对芯片实施出口管制。Amodei表示拒绝两项用途:大规…

    Anthropic:Newsroom(网页)其他

  • 蒸馏对中国 LLM 到底有多重要?

    针对 Anthropic 关于"蒸馏攻击"的最新论述,分析模型蒸馏技术对中国大语言模型的实际影响。探讨通过蒸馏 GPT、Claude 等模型来训练中国 LLM 的效果与争议,评估该方法在提升模型性能与降低训练成本方面的作用,以及可能引发的…

    Nathan Lambert:Interconnects(RSS)其他

  • Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践

    为提升超长上下文下的计算效率,Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐,并通过MLA极致压缩…

    蚂蚁百灵:Developer Blog(网页)其他AI 评分 86