OpenAI欧盟推水印技术,检测器漏洞百出
欧盟开始执行AI Act透明度规定,要求AI生成的文本必须带有机器可读标签。OpenAI最近在欧盟上线了ChatGPT的隐形文本水印,还配套推出了一款检测工具。但问题来了——自家测试数据表明,水印并没有想象中那么牢固。改几个词、换几个同义词,检测率直接打骨折。
ChatGPT水印是怎么工作的?
这套系统代号textGrain,原理说起来不复杂:模型在生成文本时会“偏爱”某些词的选择,留下一种隐藏的统计规律。配套的检测器扫描文章时,就是去找这个规律。
关键是,这套水印不往文字里塞任何隐藏字符、空格或者奇怪标点,所以网上那些清除隐藏字符的“老办法”对它是无效的。
不过水印效果跟文本长度关系很大。OpenAI按token计量文本,一个token大约等于四分之三个英文单词。在150词左右的短文本里,检测率只有66%。把文本拉长到300词,这个数字才爬到92%。
同义词替换真的能破解吗?
这个问题是大家最关心的。答案是:能,而且破解难度比你想象的低得多。
在300词的文本里,把十分之一的词换成同义词,检测率就从92%跌到66%。如果胆子大一点,换掉四分之一的词,检测率只剩17%。换句话说,随便动动手指改一改,水印基本就废了。
好在OpenAI也报告了一个好消息:加入这套水印对自家最新大模型GPT-6 Astra的基准测试成绩几乎没有影响,不会因为要留水印而牺牲生成质量。
OpenAI为什么不开放公众检测器?
目前这个检测工具不对普通用户开放,只接受研究机构和专家组织申请。OpenAI的解释是,这项技术还不成熟。
即使你拿到了检测器,给出的结果也非常有限。阳性结果只能证明“可能是AI生成的”,不代表能找到具体用户、提示词或对话记录。阴性结果的参考价值更低——短文本、经过编辑的文本、翻译过的文本、竞品AI生成的文本,都可能躲过检测。
所以OpenAI明确指出:没检测到水印不等于这是人类写的。
对比一下,图片和音频就宽松多了。OpenAI的公开验证工具任何人都能用,专门检测SynthID水印,这块技术成熟度明显比文本高。
欧盟之外的ChatGPT水印现状
在欧盟以外,ChatGPT的文本水印默认是关闭的。不过API客户现在可以通过项目或组织设置,自主选择为特定模型开启这项功能。
结语:技术有局限,监管还在摸索
OpenAI自己也承认,当前的文本水印技术存在明显局限性。这次在欧盟推出水印,更像是对EU AI Act合规要求的回应,而非一项成熟的检测解决方案。监管机构要求AI生成内容可追溯,但现有工具的实际效果跟这个要求之间还有不小差距。未来一段时间,这个缺口怎么补,估计会持续影响各大AI实验室的合规策略。
本文基于公开媒体报道整理,仅作信息参考,不构成任何投资依据,内容以原文为准。