JetBrains 向 12 个 AI 模型提问 1200 次:AI 模型讨厌 Python 偏爱 PHP
JetBrains 向来自 10 家实验室的 12 个最新模型各提两个问题共 1200 次,收集对编程语言最具争议的看法,全部请求花费 USD 7.68。1200 条中有 904 条(75%)是攻击,Python、Rust、TypeScript 合计承受 600 条攻击;PHP 获得 28 条全部为辩护,C# 等 10 种语言零提及。
JetBrains 向来自 10 家实验室的 12 个最新模型各提两个问题共 1200 次,收集对编程语言最具争议的看法,全部请求花费 USD 7.68。1200 条中有 904 条(75%)是攻击,Python、Rust、TypeScript 合计承受 600 条攻击;PHP 获得 28 条全部为辩护,C# 等 10 种语言零提及。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理湿实验室日常科研任务的能力。该基准聚焦日常湿实验室场景,而非仅限单项科学问答。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
微软构建了 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用任何客户数据。
GitHub Universe 2026 的 10 场技术演讲聚焦 AI 智能体的代码验证、记忆与权限问题。GitHub 研究人员用真实 PR 序列构建基准,发现累积上下文反而会拖累性能;另有演讲展示 Copilot 如何在生产中评估模型,以及用身份感知代理为托管 MCP 服务器加上按身份的授权。
Vercel Sandbox 现已支持运行 Harbor 评测,在 harbor run 中传入 --env vercel,每个 trial 都会在独立的 Firecracker microVM 中执行,可并行规模远超本地机器。