近日,南加州大学的研究团队爆出一项重磅消息:他们通过一种攻击方法,成功破解了 OpenAI 最新版 ChatGPT 模型(gpt-3.5-turbo)的参数规模,结果发现其参数规模可能只有 70 亿,而非此前传闻的数百亿甚至上千亿。

攻破 OpenAI 的“秘密”

南加大团队利用了一种名为“Softmax 瓶颈”的攻击方法,该方法能够从 ChatGPT 的 API 调用中获取足够多的输出样本,进而推断出模型的特征向量维度。根据已知信息,4096 或 4608 的嵌入向量维度对应约 70 亿的参数规模。

几乎所有已知的开源大模型如Llama和Mistral,嵌入向量维度4096的时候都是约7B参数规模。

其它比例的话就会造成网络过宽或过窄,已被证明对模型性能不利。

因此南加大团队指出,可以推测gpt-3.5-turbo的参数规模也在7B左右,除非是MoE架构可能不同。

其实在数月前,曾有微软CODEFUSION论文意外泄露当时GPT-3.5模型参数为20B,在后续论文版本中又删除了这一信息。

真相究竟如何?

这一发现与之前流传的 200 亿甚至 1750 亿参数规模的传闻相差甚远,不禁引发了人们的猜测:

  • 最初的 200 亿参数数据是否来自误传?
  • OpenAI 之后又对模型进行了压缩?
  • OpenAI 一直在刻意隐藏 ChatGPT 的真实参数规模?

无论真相如何,这都表明 OpenAI 在模型优化方面拥有着强大的技术实力。

那么,南加大团队是怎么扒出ChatGPT未公开配置的呢?

还要说到现代语言模型中普遍存在的”Softmax瓶颈”。

当Transformer网络处理完输入,会得到一个低维的特征向量,也就是Embedding。这个特征向量再经过Softmax变换,就得到了最后的概率分布输出。

问题就出在Softmax这里,因为矩阵的秩最多只能等于特征向量的维度,所以大模型的输出空间事实上被限制在了一个低维的线性子空间里。

这就像是无论你的衣柜里有多少件衣服,最后能穿出去的搭配,其实是有限的。这个”衣柜”的大小,就取决于你的”特征向量维度”有多大。

南加大团队抓住了这一点,他们发现,只要从API调用中获取到足够多的输出样本,就足以拼凑出这个大模型的”特征向量维度”。

有了这个特征向量维度,可以进一步推断大模型的参数规模、还原出完整的概率输出,在API悄悄更新时也能发现变化,甚至根据输出判断来自哪个大模型。

更狠的是,推测特征向量维度并不需要太多的样本。

以OpenAI的gpt-3.5-turbo为例,采集到4000多个样本就绰绰有余了,花费还不到1000美元。

攻击的意义

南加大团队认为,这种攻击方法并不能完全窃取模型参数,因此破坏性有限。同时,它也允许大模型 API 用户检测模型变更,建立信任,并促使大模型公司提供更高的透明度。

总而言之,这并非一个漏洞,而是一个促进大模型发展良性的契机。

未来展望

OpenAI 尚未对此事做出回应,未来他们会如何应对这种攻击,以及是否会公开 ChatGPT 的真实参数规模,都值得我们拭目以待。

附加信息

  • 南加大团队论文:https://arxiv.org/abs/2403.09539
  • 关于 Softmax 瓶颈: https://en.wikipedia.org/wiki/Softmax_function
  • 参考链接:https://x.com/TheXeophon/status/1768659520627097648

总结

ChatGPT 参数规模之谜被揭开,引发了业界对大模型参数规模和透明度的关注。未来,大模型的发展将更加注重安全性、可靠性和透明性。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。