12 posts tagged with "LLM"

Prompt 注入是 LLM 时代的新型安全威胁。

• 本质：把恶意指令塞进用户输入，劫持 AI 的决策逻辑
• 核心原理：指令优先级劫持 — 模型分不清系统规则和攻击代码
• 三步攻击：识别 prompt 结构 → 构造 payload → 触发执行
• 与 SQL 注入对比：同样利用边界混淆，攻击目标是 AI 语义，防御成熟度差 20 年
• 防御要纵深：输入过滤 + prompt 分层 + 最小权限 + 上下文沙箱 + 输出检测 + 日志监控
• 反直觉：AI 越智能，被攻破后破坏力越大

对齐是把"会说话的模型"变成"能帮忙的助手"的关键一步。

• 问题：基座模型只会续写 token，不会服从指令。
• 定义：对齐 = 让输出符合有用、诚实、无害 三 个标准。
• SFT：用"指令→回答"样例做监督微调，教会模型执行任务。
• RLHF：人类打分排序 → 训练奖励模型 → PPO 强化学习优化。
• DPO：直接从偏好数据学习，省掉奖励模型，训练更稳定。
• 代价：过度对齐有"对齐税"——创造力下降，安全与能力需要取舍。
• 现实：对齐不是一锤子买卖，用户反馈是最好的持续对齐信号。

英伟达目前的企业级显卡主要分为两条产品线（注：两者本质上都是 GPU，只是市场定位不同）：

训练卡：

• Ampere 架构：A100
• Hopper 架构：H100 / H200 / H800（中国特供） / H20（中国特供）
• Blackwell 架构：B100 / GB200 / B200

推理卡：

• Ada Lovelace 架构：L4 / L40 / L40S

此外，华为也有昇腾系列 NPU（如 2026 年发布的 950PR）作为替代方案。

选购建议：训练选 H100/H200，推理选 L40S，尝鲜等 B100。

多模态模型的真正瓶颈不是 "看不清"，而是 "指不准"。

1. Reference Gap（指代断裂）：模型看到了目标对象，但在推理链中无法稳定引用"到底是哪一个"。"左边那个""他旁边的"这类自然语言描述在视觉空间里不是精确地址——场景越复杂、相似物体越多，语言变量就越容易在几步推理后漂移到另一个实体上。

2. 解法：把边界框和坐标点变成推理链的中间变量。 每写下一个框 = 在草稿纸上钉一颗钉子，后续推理围绕这些坐标展开，不再依赖模糊的自然语言指代。论文将框和点定义为"视觉原语（Visual Primitive）"——本质上就是把人类"用手指点着数"的动作形式化到了 token 序列里。

3. 工程压缩比 7056×：2916 patch tokens → 3×3 空间压缩 → 324 → CSA 注意力缓存压缩 → 81。语言模型 DeepSeek V4 Flash（284B/13B MoE）+ 从头训练 DeepSeek ViT，视觉 token 限制在 81–384，不靠无限堆 token。

4. 数据说话：~90 个视觉缓存条目跑出 77.2 分，Gemini 3 Flash 用 1100 个拿 76.5 分。视觉 token 不是越多越好，关键是模型有没有办法把"这个对象"稳定地绑定到图像坐标上。