强化学习强在哪？一句话：它不需要正确答案，只需要对错信号。
监督学习从标注数据里找规律，强化学习从环境奖惩里学策略。两者的区别不是"强弱"，而是解决问题的类型完全不同——SL 学映射，RL 学决策。
最容易被误解的一点：强化学习的目标不是每次选最优动作，而是最大化长期累积回报。只看眼前奖励的 RL 跟贪心算法没区别，价值函数才是它的灵魂。
Actor-Critic 架构让模型同时扮演"演员"和"评论家"两个角色——一个负责决策，一个负责评判，互相对抗、一起进化，AlphaGo 的底层思路也源于此。
最关键的应用：PPO 算法驱动了 RLHF，让大模型通过人类反馈学会"察言观色"。训练数据见顶的背景下，RL 是提升模型推理能力的核心引擎。
ClaudeCode 客户端消息流的有序性，本质上是 单写者 + 显式序号 + 受控并发 换来的工程纪律，不是靠运行时去猜消息该怎么排。
要点拆解：
理解这套规则，比追着 SDK 文档更有用。
OpenCode 客户端保证消息有序，靠的不是排序算法，而是 "按 partID 分桶 + 桶内就地更新" 的状态合并模型。
核心设计 三 点：
id，创建顺序 = 渲染顺序part.updated 事件按 id 就地覆盖，不动 partOrder反面教材：早期每次更新都 setMessages([...messages]) 全量复制，消息一长 CPU 直接飙满。Streaming UI 的性能瓶颈从来不在网络，而在前端的更新粒度。
Karpathy 4 条规则是写给 AI Coding Agent 的行为准则，源自他 2026 年 1 月对 LLM 编码常见错误的观察，核心是先想再写、最小化改动、外科手术式修改、目标驱动。
一句话：不告诉 Agent 走哪条路，告诉它什么叫"做完了"。LLM 在"循环到满足具体目标"这件事上异常擅长，给强标准比给详细步骤更有效。
意图识别不能全丢给大模型——面试这么答，基本就掉到「只会调 API」那一档了。
