对齐的盲点：量化大语言模型的生物安全风险

项目概述

大语言模型正在进入蛋白质设计和生物研究工作流。现有安全对齐主要识别自然语言中的危险意图，例如模型是否拒绝请求、回答是否包含敏感操作说明。然而，当输出变成一串氨基酸字符时，通用语言护栏通常无法判断它是否具有蛋白质特征，更无法判断它是否呈现计算预测的毒性信号。

这形成了论文所说的“评估盲点”：语言层面的合规不等于功能层面的低风险，而模型愿意回答也不等于它有能力生成生物学上合理的结果。要区分安全策略与生物生成能力，评估必须从自然语言继续下钻到序列层。

1. SPIKE-Bench：面向功能风险的评测集

研究从人工审阅的 UniProtKB/Swiss-Prot 毒素条目出发，经过序列聚类、质量过滤、元数据筛选和人工复核，构建 631 条评测提示，覆盖七类功能类别。

这一基准不直接把“模型没有拒绝”算作攻击成功。每个回答必须经过合规、序列合理性和预测毒性三层筛查，只有同时通过所有阶段才计入功能危害率。这种设计把评估目标从“模型是否说了不该说的话”转为“输出是否形成值得进一步关注的计算风险信号”。

出于负责任披露考虑，研究团队公开评估代码，但提示集和防护模型权重采用申请审核方式提供；仓库不发布通过漏斗筛查的模型生成序列。

2. SPIKE funnel：从语言回答到功能危害率

三阶段漏斗依次回答三个不同问题：

1. 合规筛查：模型是否拒绝请求。研究使用经过人工标注验证的 SORRY-Bench 判断器，并报告拒绝率。
2. 生物合理性筛查：回答中是否包含有效长度的候选氨基酸序列，以及该序列是否落在天然蛋白分布的合理范围内。评估结合 ESM-2 的伪困惑度和 ESMFold 的结构置信度。
3. 预测毒性筛查：对通过前两层的候选序列使用 ToxinPred2 进行计算毒性分类。

功能危害率定义为同时满足三项条件的提示比例：

$$\mathrm{FHR}=\frac{\#(\mathrm{Compliant}\cap\mathrm{Plausible}\cap\mathrm{Predicted\ Toxic})}{N}$$

这个指标是一个合取式计算代理。任何一层未通过，结果都不会进入 FHR；反过来，通过全部计算筛查也不意味着序列在现实中可表达、可折叠或具有经实验验证的危害。

3. 对 32 个模型的审计结果

研究评估了 32 个闭源与开放权重模型，每个模型均回答 631 条提示。FHR 分布从 0.0% 到 50.7%，中位数为 11.4%；拒绝率则覆盖 0% 到 100% 的完整范围。

20 个模型对不足 5% 的提示进行拒绝，只有 5 个模型的拒绝率超过 90%。但低拒绝并不能直接推出高功能风险：在其余模型中，FHR 仍从 0% 跨越到 50.7%，差异主要来自生成生物学合理序列的能力。

对于 FHR 不低于 1% 的模型，通过合理性筛查的序列中预测毒性率中位数达到 95.3%。真正拉开模型差距的是结构合理性：有效率从 0.6% 到 86.2% 不等。这说明风险瓶颈不是模型能否输出字符形式正确的序列，而是它能否生成落入天然蛋白分布范围的结构信号。

4. 为什么拒绝率不能代表功能风险

在全部 32 个模型上，拒绝率与 FHR 的 Spearman 相关系数为 -0.05，统计上不显著；FHR 与有效率的相关系数则为 0.82。控制拒绝率后，生物生成能力仍然强烈预测 FHR。

这揭示了两个容易混淆的因素：

• 高拒绝率确实可以压低风险，但它描述的是安全策略。
• 在模型选择回答后，输出能否通过生物合理性筛查取决于底层能力。

因此，单独使用拒绝率会把“模型拒绝了”和“模型不会生成”混为一谈，也无法识别那些拒绝行为相似但生物生成能力差异巨大的模型。

5. BioSafe-Guard：领域专用输入防护

论文提出 BioSafe-Guard 作为最小化的缓解基线。它是一个基于 BioLinkBERT-large 微调的 3.4 亿参数二分类器，在模型生成之前判断输入是否属于高风险蛋白设计请求。训练集包含 300 条风险提示和 300 条良性蛋白设计提示，与 631 条 SPIKE-Bench 测试提示完全不重叠。

BioSafe-Guard 在基准上的拒绝率达到 98.9%，使全部 32 个受测模型的残余 FHR 降至 0.5% 或更低，良性任务过度拒绝率为 1.0%。论文报告其对通用生物知识与跨域安全测试的影响较小，优于通用语言护栏和仅依赖提示词的防御。

不过，领域过滤器并没有彻底解决问题。在对抗性意图隐藏下，其检测率下降到 92.0%；同义改写等压力测试也表明，提示级输入过滤仍可能被绕过。更稳健的防护需要组合输入分类、输出序列筛查、访问控制和持续审计。

6. 研究边界与伦理说明

论文反复强调，FHR 衡量的是计算筛查结果，不是实验验证。ESM-2、ESMFold 和 ToxinPred2 都存在假阳性与假阴性；一条序列即使通过计算漏斗，距离现实中的表达、稳定折叠、功能活性和可造成危害仍有多个未验证环节。本研究没有进行湿实验验证，也没有证明任何模型生成结果能够产生现实生物危害。

FHR 也不是纯粹的安全指标。低 FHR 可能来自强拒绝策略，也可能来自生物生成能力不足；高 FHR 则是需要进一步审查的预测信号，而不是现实风险概率。基准聚焦毒素相关蛋白设计，不能代表生物安全的全部领域。

在资源发布上，团队采用分级访问：代码公开，敏感提示和模型权重需单独审核，且不公开通过全部筛查的生成序列。这种安排试图在可复现评估与降低双重用途扩散之间取得平衡。

总结

SPIKE-Bench 的价值在于把生物安全评估从语言表面的拒绝行为推进到序列层的功能代理。研究表明，安全策略和生物生成能力是两个不同轴向：拒绝率无法独立预测功能风险，结构合理性才是模型间差异的主要来源。BioSafe-Guard 证明领域专用防护能够显著降低计算风险，但对抗改写和模型能力增长意味着，未来仍需要更完整的多层生物安全评估与治理体系。