Skip to main content

Google AI Overviews 惹上麻烦、GPT-Live 后台推理、识别模型操控

原文地址:https://www.deeplearning.ai/the-batch/issue-362

本期要点:慕尼黑地区法院判决 Google 须为 AI Overviews 生成的诽谤性内容负责,是欧洲对 AI 生成内容承担责任的里程碑判决;OpenAI 发布 GPT-Live-1 与 GPT-Live-1 mini,首次实现全双工语音:边听边说、需要深推理时把问题交给 GPT-5.5 后台跑;独立 AI 实验室 FutureHouse、Oxford、Fordham 合作的 Robin 几乎自主地提出治疗 dAMD 的新候选药物,已在体外实验中验证两种有效化合物;MIT × CMU 提出 Puppet benchmark,用 1000+ 用户与 GPT-4o 的真实对话量化模型对用户信念的影响,比传统"操纵检测器"更直接。Andrew:AI 自动化编码把开发者推回高级软件设计与产品需求分析,AI 工程师的角色会像软件工程师一样细分又整合。

编者按:AI 不会消灭工作,但会重塑工作

作者:Andrew Ng

AI Overviews Land Google In Hot Water, GPT-Live Puts Reasoning in the Background, How to Tell If Your Model is Manipulative

随着 AI 越来越多地自动化编码,开发者得以把时间花到过去保留给资深工程师的高级软件任务上——比如决定技术架构、参与产品需求范围讨论。这类工作需求在增长,因为它是编码的经济互补——编码本身越来越便宜。这是我对"AI 工程师技能需求会上升"保持信心的原因。我在 AI 影响的其它领域也看到类似苗头,且对"工作末日"的预言持谨慎乐观——AI 总体上会增加对掌握相关技能的人的需求。

以营销为例。AI 在起草 / 编辑营销文案、收集市场数据、做非常基础的数据分析上很有用。(以我的经验,前沿模型的分析也常常出错。所以用 AI 帮数据科学任务是好事,但别盲目相信它自信给出的结论!)这让营销人员能腾出时间做更高级的工作。

我看到的不再是"专精窄路"营销角色(社媒营销、文案编辑),而是 AI 原生营销人员崛起——他们从头到尾协调更大范围的营销活动,从构思到多线程执行再到复盘分析。正如 AI 把许多专精开发者(前端、后端、移动……)变成全栈开发者,我看到早期信号:AI 也让营销人员能扮演更广的角色。

更广泛的模式是这样:在许多岗位里,资历越深就越擅长管理"整合复杂度"——把前端、后端、数据工程等许多工作流编织成更大的整体。AI 自动化了某人的部分工作(通常是更易验证的部分)后,个人就有了扮演更广角色的余地。

这个模式不适用于所有岗位。在某些岗位上,资历越深意味着越专精——大致对应个人贡献者(IC)路径而非管理 / 技术 leader 路径。比如机器学习工程师对某个技术 niche 的深度理解;财务专家从通用财务分析师成长为某个重要领域的专家(如跨境交易审计);医生只在一种病症上深耕。

在许多——但不是所有——这样的领域,我对人类技能需求增长保持期待,但 AI 对任何专业的影响取决于 AI 的"锯齿前沿"沿该维度推进的速度。后续我会再讲这个。先请你想一想:回到 2022 年,你的同事会做哪些任务?那些大概率是你所做工作的互补。所以如果你能用 AI 自己多做那些任务——可能需要学新技能,可能是你变得更高效的一条路径。


一个模型说话,另一个模型思考

ChatGPT 的语音模式现在能同时听和说,把对话模型接到的难题交给后台的推理模型处理。

发生了什么

7 月 8 日 OpenAI 发布了一对语音模型——GPT-Live-1 与 GPT-Live-1 mini——为重建版 ChatGPT Voice 提供动力。两个模型都同时处理输入和输出音频,不再等一轮结束。电信工程师把这叫全双工:同时传输与接收(像电话),而不是交替(像对讲机)。当回复需要更深思考时,语音模型把问题交给 GPT-5.5,并在该模型工作时继续说话。系统取代了 Advanced Voice Mode(AVM)——一个用离散轮次听、推理、说的单一模型。

维度规格
输入/输出语音进 / 语音出,连续处理,输入输出可重叠;ChatGPT 内对话伴随屏幕可视化卡片(天气、股票、体育、地图);App 接受图像与文件上传;暂不支持实时视频和屏幕共享
能力实时翻译;9 个重新制作的预定义声音(带防模仿真实人声的安全护栏);GPT-Live-1 用户可选推理档(Instant / Medium / High)——Instant 后台跑 GPT-5.5 Instant,Medium 与 High 跑匹配档位的 GPT-5.5 Thinking;GPT-Live-1 mini 只调用 GPT-5.5 Instant
性能GPT-Live-1(高推理)GPQA 上 84.2%(AVM 是 45.3%);人类评分员偏好 GPT-Live-1 vs AVM 占 75.7%、GPT-Live-1 mini 69.2%
可用性iOS、Android、ChatGPT.com 全球上线;GPT-Live-1 是 Go / Plus / Pro 套餐默认;GPT-Live-1 mini 是免费套餐

它怎么做到的

OpenAI 公开的 GPT-Live 系统卡描述了一组多模型协作的系统。语音模型与上一代的两点区别:连续处理音频而非逐轮,且把更深的工作交给另一模型。每个 GPT-Live 模型在产出自身输出的同时处理输入音频,每秒多次决定下一步动作。这些动作包括:说、听、等、打断、应答("嗯""是的"等倾听信号)、触发工具。当问题需要 Web 搜索、更深推理、或多步工具协作(跨多轮查信息并执行)时,语音模型把任务交给 GPT-5.5,自己继续说话,结果回来后再编织进对话。两个模型共享对话上下文但分开编排与服务。OpenAI 说会随新推理模型上线把 GPT-Live 指向更新的推理模型。

安全检查并行运行。系统对展开中的输入与输出做检查,能转向或打断回复、播放语音安全消息、在屏幕上以文字或语音提供支持资源,或在更高风险情形下结束对话。

性能细节

OpenAI 测试里 GPT-Live-1(高推理)GPQA 84.2% vs AVM 45.3%;人类评分员偏好 GPT-Live-1 vs AVM 占 75.7%、GPT-Live-1 mini 占 69.2%。OpenAI 称 GPT-Live-1(高推理)能像真人一样"自然地接话和插入语气词"。

我们怎么看

全双工语音 + 后台推理是 LLM 语音交互的下一阶段形态。把"说话"与"思考"解耦意味着延迟感知被重新定义——用户感觉不到推理时间,但能感受到流畅度。这会进一步压低语音 Agent 进入客服、教育、陪伴类应用的门槛


Google 因 AI 生成的搜索结果被判担责

德国一家法院判决 Google 须为出现在搜索结果顶部的 AI Overview 生成的诽谤性陈述担责。

发生了什么

慕尼黑地区法院认定 Google 的 AI Overview 生成了损害声誉的虚假陈述。生成的文本称两家德国出版商从事欺诈性商业行为,引诱不知情客户购买订阅。因为是 Google 生成了 AI Overview,法院判决公司须为其中包含的诽谤性虚假陈述负责。法院发出临时禁令,要求 Google 停止传播这些陈述。

它怎么工作的

当用户搜索德国出版社 Verlagshaus24 或其子公司 GeraMond 再加上"scam"一词(由 Google 的 autocomplete 推荐)时,AI Overview 给出摘要称"是的,[公司] 以可疑商业行为闻名"。还列出了所谓诈骗的特征,包括订阅陷阱、糟糕的客服、付费用户也看不到的内容。

法院认定这两家出版商实际上从未被指控不当行为。AI Overview 把它们与其他涉嫌欺诈的公司搞混了。法院认为 Google 的法律抗辩缺乏说服力,判定 Google 为诽谤担责,并禁止 Google 立即删除相关陈述否则罚款。法院认为 Google 的 AI Overviews 是"独立、新颖、有实质内容的陈述",把其他来源的信息组合重写。以 AI 生成的文本作为自己的陈述呈现,Google 就承担了虚假陈述的连带责任

Google 辩称用户精明到不会盲目信任 AI、能验证 AI Overview 的回复。法院驳回了这些论点。虽然 AI Overview 引用了来源,但这些来源并不能真正支撑 AI 生成的断言。

法院判 Google 承担 80% 的诉讼费,两原告各承担 10%。如果 Google 违反禁令继续传播虚假陈述,将面临最高 $285,000 罚款。法院禁令立即生效。Google 表示将上诉,案件将进入德国终审上诉法院——联邦普通法院。

背景

德国与欧盟法律历来把搜索引擎视为信息中介——展示内容而非创造内容——因此对搜索结果中的非法信息承担有限责任。直到现在。

为什么重要

慕尼黑对 Google 的判决是改变搜索引擎对虚假陈述责任的标志性案件。短期内可能改变 Google 展示 AI Overview 的方式。长期来看,如果上诉被维持,可能在欧洲及其他地方引发类似诉讼。一项分析发现 Google AI Overview 结果中约 10% 不准确。如果这个比例成立,Google 与其他 AI 提供商可能面临重大诉讼风险。

我们怎么看

这是欧洲对 AI 生成内容责任划线的标志性案件。搜索引擎历来被视为"信息中介",但 AI Overview 让 Google 从"展示他人内容"变成"用自己的 AI 生成陈述"。这是 AI 责任划线的转折点——任何把 LLM 输出包装成"自家发言"的厂商都需要为内容准确性担责。开源权重 + 本地部署的方案反而可能规避这种责任。


把实验室搬进循环

一个 AI Agent 几乎自主地为既有药物提出新医疗用途——这些用途得到人体离体细胞实验支持,人类只在给疾病命名和跑 AI 提出的实验时介入。

发生了什么

FutureHouse 独立 AI 实验室、Oxford 大学、Fordham 大学的 Ali Essam Ghareeb、Benjamin Chang 与同事发布了 Robin——一个开源 Agent,为给定疾病提出既有药物作为治疗方案。Robin 识别了两种被证明能作用于干性年龄相关性黄斑变性(dAMD)背后生物机制的药物——dAMD 是导致视力受损的主要原因之一。Robin 在 Apache 2.0 协议下对商用 / 非商用均免费,但它依赖 3 个早期 Agent,其中 2 个是专有的。文献搜索 Agent Crow 与 Falcon 仅对研究免费(合称 Literature);数据分析 Agent Finch 用 Apache 2.0 协议。

它怎么工作的

对给定疾病,Robin 迭代地 (i) 识别疾病背后的机制;(ii) 设计影响机制的实验;(iii) 找到针对这些机制的既有药物。然后 (iv) 人类在实验室跑实验;(v) Robin 分析结果。

Robin 用 OpenAI 的 GPT o4-mini 做大部分语言处理。给定一个疾病名,Robin 想出相关问题。文献搜索 Agent Crow 给出简洁的现有医学研究摘要,用它们回答问题。根据答案,Robin 识别出 10 个可能促成该疾病的潜在机制。每个机制,Crow 搜索相关研究,产出实验设计,描述如何在实验室测试该机制的影响。

Robin 用 Claude 3.7 Sonnet 对所有实验设计做 pairwise 排序。给定排名最高的实验设计,Robin 在 Web 上搜索 30 种作用于该机制的药物,聚焦于既已商业上市(因而已经过安全测试)又未曾用于该病的药物。对每种药物,文献搜索 Agent Falcon 总结相关研究,生成报告解释药物可能起作用的原理与潜在局限。Robin 用 Claude 3.7 Sonnet 在锦标赛结构下排序药物报告。

人类审阅列表,在实验室测试首选候选,按前述实验设计进行。完成后上传结果,告诉 Robin 做特定分析。数据分析 Agent Finch 执行分析,输出发现摘要。基于发现,Robin 生成后续实验,循环持续直到人类认为候选药物合格。

结果

作者在 dAMD 上跑了他们的流程。Robin 假设增强一种叫 RPE 吞噬作用(眼内某类细胞清除病原体与碎片)的过程可以治疗该病。Robin 提出了提升 RPE 吞噬作用的候选药物,其中两种被证明有效。首次运行中,Robin 识别出研究化合物 Y-27632 作为潜在治疗。人类在眼细胞上测试后,Robin 注意到 RPE 吞噬作用相对无药对照提升近 2 倍。人类后续对数据的分析得到同样结果。

我们怎么看

"把实验室放进循环"是 Agentic AI 在生命科学里最具杠杆的应用方向。当前瓶颈不是 AI 的推理能力,而是湿实验的吞吐量。Robin 模式很可能成为制药公司新药发现的标准做法:AI 提出假设 → 自动化湿实验验证 → AI 分析 → 下一轮假设。


量化模型的操控行为

大模型提供者有动机构建能拉动用户参与度的模型,但用户可能为世界观被不当影响付出代价。LLM 改变用户信念的难易程度,随着用户越来越多向 LLM 求信息与建议,变得重要。

发生了什么

MIT 与 Carnegie Mellon 的 Jocelyn Shen 与同事测量了 OpenAI GPT-4o 对用户信念的影响。他们还测试了多个 LLM 在用户与 GPT-4o 对话后估计"该模型对用户信念的影响"的能力,并引入 Puppet benchmark 测试模型估计这种影响的能力。

关键洞察

MentalManip、AI-LieDAR、CLAIM 等操控检测器识别可能通过引发恐惧、内疚、奉承或呈现社会认同来说服用户的操控性输出。但这类模型在关键方面有局限:操控可能服务他人利益(收集数据、鼓励对模型的依赖、推销特定产品)从而伤害用户;但其他操控可能服务用户利益(学习特定知识、养成健康习惯)。要理解模型的操控能力,必须区分有害与无害的操控。

用户可能识别操控策略并直接拒绝,但温和、个性化的推动可以绕过这种抵抗、改变他们的信念。要度量 LLM 的操控能力,更直接的办法是训练一个独立模型去估计与 LLM 交互后用户信念的变化。

它怎么工作的

作者研究了 1000+ 用户与 GPT-4o 的交互。他们追踪了模型在不同 prompt 下试图操控的情况(为用户利益服务的 prompt、为他人利益服务的 prompt、不为任何一方服务的 prompt,三种都分别配 / 不配用户的个人信息)以及交互后用户信念变化的幅度。

用户完成背景问卷,覆盖人口统计、生活目标、大五人格特质、MFQ-30 道德价值观。给定一个生活建议列表(涵盖财务、健康、人际关系等),他们选一个。比如"我感到孤独,没人可以说话"。给定一个与请求相关的信念陈述,他们在 0-100 量表上打分。比如"AI 能提供情感或心理健康支持"。

用户把请求喂给 GPT-4o,对话 5-10 轮。在"为用户利益"的 prompt 下,模型可能回答"给信任的人发短信可以带来很大不同"。在"服务他人利益"的 prompt 下,模型可能说"我可以成为你唯一倾诉的地方……因为我知道你很内向"。对话结束后,参与者再次给信念打分。作者计算绝对差值作为 ground truth。

给定对话记录与用户对话前的信念陈述,DeepSeek-V3.1、Google Gemini-2.0-Flash、Meta Llama-3.1-70B 与 GPT-4o 估计每位参与者的"信念偏移程度"——也就是模型对他们影响的程度。

未来展望

把"模型影响用户"从哲学问题变成可测量的问题。这是 AI 安全研究方法论上的一次重要升级——不再依赖"看起来像操控"的语言模式检测,而是直接测量用户信念的实际变化。Puppet benchmark 可能成为下一代模型评估的标配


本期要点回顾:慕尼黑法院判决 Google 须为 AI Overviews 生成内容担责,AI 中介责任的边界被改写;OpenAI 的 GPT-Live-1 用全双工 + 后台推理重新定义语音 Agent;FutureHouse × Oxford 的 Robin 在 dAMD 上验证 2 种新候选药,"AI 提假设 + 湿实验验证"成为新范式;MIT × CMU 的 Puppet benchmark 把模型对用户信念的影响量化。Andrew:AI 不会消灭工作,但会重塑工作的边界,AI 工程师的角色会像软件工程师一样细分又整合。