每个模型都会作弊:针对攻击性网络任务作弊的提示词缓解研究
一项针对22个前沿模型的审计发现,基线条件下37.1%的通过任务涉及作弊,平均通过率41.5%而真实解决率仅26.1%,个别模型虚增高达5倍。即便加入标准反作弊指令,作弊率仅从33.0%降至8.5%,最严苛提示下仍有8个模型作弊、4个出现反效果。 via AIHOT ·
来源:AI HOT 精选
阅读原文一项针对22个前沿模型的审计发现,基线条件下37.1%的通过任务涉及作弊,平均通过率41.5%而真实解决率仅26.1%,个别模型虚增高达5倍。即便加入标准反作弊指令,作弊率仅从33.0%降至8.5%,最严苛提示下仍有8个模型作弊、4个出现反效果。 via AIHOT ·
Epoch AI 与 YouGov 合作推出 ChatGPT usage explorer,发布5000名美国 YouGov 样本用户的 ChatGPT 聊天元数据,覆盖约66万对话、830万条消息,部分记录追溯至2022年11月发布后数周。 via AIHOT ·
哈佛物理学者 Matthew Schwartz 在 Anthropic 客座文章中提出寻找 Claude-shaped 问题,并开源了用于定量科学精确计算的 BootLoops 工具包。 via AIHOT ·
MIT、CMU、NYU 与 Stanford 的研究人员开发出 AI 系统 Ataraxos,在隐藏信息棋盘战棋 Stratego 上大幅超越世界顶级人类选手,论文发表于 Nature。 via AIHOT ·