OpenAI 最新旗舰大模型 GPT-4o,不仅免费使用,功能更是全面覆盖听觉、视觉和语音,体验丝滑流畅毫无延迟,仿佛在进行一次视频通话。

直播效果更是惊艳:

它能感知你的呼吸节奏,并用更加丰富的语气实时回应,甚至可以在适当时打断对话。

GPT-4o 中的 “o” 代表 Omni,即 “全能”,能够接受文本、音频和图像的任意组合输入,并生成相应的输出。

响应速度快至 232 毫秒,平均 320 毫秒,与人类对话反应速度一致。

这是一次馈赠所有人的大礼,GPTo 与 ChatGPT Plus 会员版的所有功能,包括视觉、联网、记忆、执行代码、GPT Store 等,都将免费开放!

(新语音模式将在几周内优先向 Plus 用户开放)

在直播现场,CTO Murati 谦虚地表示:这是将 GPT-4 级别的模型开放给大家。

研究员 William Fedus 揭秘,GPT-4o 是之前在大模型竞技场进行 A/B 测试的模型之一,名为 im-also-a-good-gpt2-chatbot。

无论是用户体验还是竞技场排名,GPT-4o 都超过了 GPT-4-Turbo 级别模型,ELO 分数遥遥领先。

这样的超强模型还将提供 API 服务,价格减半,速度提高一倍,单位时间调用次数是原来的五倍!

观看直播的网友已经在畅想其应用前景,认为它可以帮助盲人“看见”世界,并且确实比之前的语音模式体验更佳。

考虑到许多人已经在 ChatGPT 语音模式中找到“恋爱”感觉,大家可以在评论区分享你的大胆想法。

总裁 Brockman 在线演示

OpenAI 发布会选在谷歌 I/O 前一天,意在“打脸”。谷歌 Gemini 的发布会需要通过剪辑和提示词切换来实现的实时对话效果,OpenAI 则全程直播演示。

例如,让 ChatGPT 在不同语言间充当翻译器,实时将英语翻译成意大利语,反之亦然。

发布会直播之外,总裁 Brockman 还进行了额外的 5 分钟详细演示。

演示中两个 ChatGPT 互相对话,甚至唱起了对话内容,戏剧感满满。

这两个 ChatGPT,一个是旧版 APP,只能对话,另一个是新版网页,具备视觉等新功能。(分别简称为小 O 和小 N)

Brockman 先向小 O 介绍情况,告知她将与一个拥有视觉能力的 AI 对话,她欣然接受。

然后,Brockman 向小 N 介绍情况,并展示了小 N 的视觉能力。

小 N 准确描述了 Brockman 的衣着和房间环境,并对与小 O 对话表示兴趣。

接下来是小 O 和小 N 的对话时间。她们从 Brockman 的衣着开始聊起,小 O 提出问题,小 N 一一解答。

然后,她们谈论了房间的风格、布置和光线,甚至小 N 还意识到 Brockman 正在上帝视角观看她们。

视频中有一名女性在 Brockman 身后做了些恶搞的手势,这是 Brockman 与她串通好,专门给小 N 设置的“考题”。

当 Brockman 问有无发现异常,小 N 直接识破并描述了女性的动作,小 O 听后感叹原来享受乐趣的不止她们两人。

Brockman 将这视为夸赞,并加入了对话。

最后的部分最为精彩,小 O 和小 N 在 Brockman 的指挥下对唱起来。几轮之后,衔接紧密,旋律悠扬,音色如真人。

视频以 Brockman 唱出的 Thank you 结束,他在推文中透露新语音对话功能将在数周内向 Plus 用户开放。

端到端训练,一个神经网络搞定语音、文本和图像

正如奥特曼在发布会前所说,GPT-4o 让人感觉像魔法一样,那么它是如何做到的呢?

这次没有论文,也没有技术报告,只在官网博客有一段简短说明。

在 GPT-4o 之前,ChatGPT 语音模式由三个独立模型组成:语音转文本→GPT3.5/GPT-4→文本转语音。

整个系统的延迟为 2.8 秒(GPT-3.5)和 5.4 秒(GPT-4),丢失了大量信息,无法直接感受音调、多个说话者或背景噪音,也无法输出笑声、唱歌声,或表达情感。

GPT-4o 是跨文本、视觉和音频端到端训练的新模型,所有输入和输出都由同一个神经网络处理。

在语音翻译任务上,强于 OpenAI 的语音模型 Whisper-V3,以及谷歌和 Meta 的语音模型。

在视觉理解上,也反超了 Gemini 1.0 Ultra 与对手 Claude Opus。

虽然技术细节透露不多,但有学者评价,一个成功的演示胜过千篇论文。

One More Thing

除了 OpenAI 的精彩内容,不要忘记北京时间 5 月 15 日凌晨,谷歌将召开 I/O 大会。

零度解说将继续第一时间带来最新消息。

有网友推测,GPT-4o 如此强大,还免费开放,是劝大家不续订 ChatGPT Plus 吗?

当然不是~

鉴于 OpenAI 春节期间在谷歌发布 Gemini 1.5 Pro 后半小时用 Sora 狙击,明天 OpenAI 或许还有新动作?

直播回放

https://www.youtube.com/watch?v=DQacCB9tDaw

参考链接:

[1] https://openai.com/index/hello-gpt-4o/

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。