OpenAI开发反作弊工具 效用如何引发质疑

《华尔街日报》消息显示,反作弊项目在OpenAI内部争论了大约两年,准备发布的时间就有大约为一年。 OpenAI首席执行官山姆·奥特曼(Sam Altman)和首席技术官米拉·穆拉蒂(Mira Murati)都参与了反作弊工具的讨论。知情人士说,奥特曼鼓励这个项目,但没有推动发布。 OpenAI内部在透明度承诺和留住用户之间摇摆不定,它对ChatGPT用户开展的一项调查发现,近1/3的用户会因为反作弊技术而关闭服务,这些受访者表示,如果ChatGPT使用反作弊技术而竞争对手没有,他们会减少使用ChatGPT。 ChatGPT可以预测句子中接下来会出现的token,OpenAI的反作弊工具将略微改变token的选择方式,这些变化会留下水印。这些水印对人眼来说是不明显的,但可以被OpenAI的检测技术发现。根据内部文件,当ChatGPT创建足够多的新文本时,水印的有效性为99.9%。 首先,从技术角度来看,OpenAI的反作弊工具利用了一种类似“水印”的方法,在文本中嵌入不可见的标记。这些水印对人眼来说是不明显的,但可以被OpenAI的检测技术发现。据称,当ChatGPT创建足够多的新文本时,水印的有效性高达99.9%,且不会影响ChatGPT的性能。然而,内部员工担心这些水印可能通过简单的技术被删除,比如将文本翻译成另一种语言再转换回来,或者在文本中添加表情符号后手动删除。此外,如何决定谁可以使用这种检测器也是一个挑战。 其次,从用户角度来看,OpenAI对ChatGPT用户进行了多次调查,发现近三分之一的用户表示,如果ChatGPT使用反作弊技术,他们会减少使用ChatGPT。这些用户担心,如果ChatGPT使用反作弊技术而竞争对手没有,他们可能会转向其他工具。此外,该工具还可能对非英语母语的用户产生不成比例的影响,这进一步增加了OpenAI在发布该工具时的顾虑。 因此,尽管OpenAI在技术上已经取得了显著的进展,但在是否发布和使用这一反作弊工具上仍然存在诸多争议和未解决的问题。目前,OpenAI尚未正式对外公开这一工具,但已有一些外部公司和研究人员正在开发类似的检测工具,并尝试在教育和学术领域中使用。