Gemini 4 Argon 打《星际争霸》:StarSkirmish Bench v0.2 让 LLM 写 Brood War 机器人对战
StarSkirmish Bench v0.2 让各 LLM 在 1 小时内用 C++ 写 Protoss 机器人(BWAPI 4.4.0 / OpenBW),以对人类 written bots 的平均胜率排名。
StarSkirmish Bench v0.2 让各 LLM 在 1 小时内用 C++ 写 Protoss 机器人(BWAPI 4.4.0 / OpenBW),以对人类 written bots 的平均胜率排名。
【这是什么】作者用电车难题及多种变体,实测 Jev、OpenAI Decisions API(GPT-6 Luna)和 11 个本地决策模型的自保倾向。【商业逻辑】决策模型号称比 LLM 快且便宜数十倍,作者借此检验其决策是否可靠对齐人类偏好。
【这是什么】Vercel 发布 2026 年 10 月 AI Gateway 生产指数,基于每月数万亿美元级 token 路由流量统计企业真实 AI 用量。【商业逻辑】开源权重模型 token 占比达 71.5%、支出占比约 23%,较 6 月翻四倍以上;9 月网关支出约为 12 月的 13 倍,单 token 均价下降 47%;中国模型支出超三分之二流向美国服务商。
推荐理由:Vercel 官方流量数据揭示开源模型占比与成本趋势,对选型定价和模型依赖策略有直接参考价值。
【这是什么】SlopCodeBench 团队发布的 2026年10月编程模型评测,测了 Opus 5.5、GPT-6 Astra、Fable 5.1、GLM 5.3 等 10 组模型与推理档组合,每组 36 题、196 个检查点。
【这是什么】一个评估 AI 模型在 UI 设计任务上创造力的基准,覆盖 80 个开放式 UI 任务、16 个前沿模型。【商业/痛点逻辑】指出主流模型虽能生成可用的网站与产品 UI,但设计创造力仍明显落后于人类设计师。
博主用 How I AI bench(涵盖原型、Agent 工作流、编程、写作和创作等近 20 项任务)实测了 Meta 的 Muse Wonder 和 Wonder Full 前沿模型,并用 LLM-as-a-judge 和语音笔记评分。
【这是什么】Parsimony 是一个开源基准,衡量各 AI 模型在任务中新增了多少代码。【商业/痛点逻辑】现有基准只看解题率和成本,不惩罚冗余代码,而多余代码会让代码库长期难以维护;它统计补丁中的语法单元(语句、调用、比较等),不计行数,删除的代码会被扣减,净新增 = 新增 − 删除。
【这是什么】作者 Taylor77 分享用 Jev 对 AI 生成内容做事实质检的实测方向。【商业逻辑】与其让 AI 重判整个任务,不如让它逐条核对具体事实,把看起来合理但原文无依据的信息标出,可延伸到客服记录、会议纪要、RAG 知识库核查等环节。
这是对 DHH 用 AI agent 将 Campfire 从 Ruby on Rails 重写为 Rust、Elixir、Go 的独立技术分析。
Claude Haiku 5.5 与 GPT Luna 6 基础价格相同,但定位不同:Haiku 更适合 10 万 tokens 以内、质量要求高的复杂任务,Luna 更适合长文本、高并发和成本敏感型工作负载。超过 10 万 tokens 后 Haiku 费率上涨 5 倍,输出较多的场景总成本可能达到 Luna 的约 12 倍,选择应以真实任务效果和整体成本为准。