ChatGPT 现在可以看到、听到并与某些用户交谈

ChatGPT 有一个声音，或者说有五个声音。周一，OpenAI 宣布其备受关注、备受争议的大型语言模型 (LLM) 现在可以与用户进行口头交谈，以及解析上传的照片和图像。

在视频演示中，ChatGPT 根据引导提示“给我们讲一个关于一只名叫拉里的超级向日葵刺猬的故事”，即兴为儿童讲了一个睡前故事。然后，ChatGPT 描述了刺猬主角，并提供了有关其家和朋友的详细信息。在另一个例子中，通过 ChatGPT 的智能手机应用程序上传了一张自行车的照片，同时提出了“帮我降低自行车座椅”的请求。然后，ChatGPT 通过用户上传的照片和用户文本输入的组合，提供分步过程和工具推荐。该公司还描述了一些情况，例如 ChatGPT 根据用户冰箱和食品储藏室照片中识别出的食材帮助制作晚餐食谱，谈论照片中看到的地标，并帮助完成数学作业——尽管数字不一定是它的强项。

[相关：学区使用 ChatGPT 帮助删除图书馆书籍。]

据 OpenAI 介绍，最初的五种音频声音基于一种新的文本转语音模型，该模型可以仅通过输入文本和“几秒钟”的样本语音创建逼真的音频。当前的语音选项是在与专业配音演员合作后设计的。

与 LLM 之前的底层开发不同，OpenAI 的最新进展特别注重用户对该程序的直接体验，因为该公司寻求扩大 ChatGPT 的范围和实用性，最终使其成为更完整的虚拟助手。音频和视频附加组件在残障用户的可访问性方面也非常有用。

OpenAI 在 9 月 25 日的公告中解释道：“这种方法直接源于我们与 Be My Eyes 的合作，这是一款面向盲人和视力低下的人群的免费移动应用，旨在了解其用途和局限性。”“用户告诉我们，他们发现就背景中恰好包含人物的图像进行一般性对话很有价值，比如当你试图弄清楚遥控器设置时，有人出现在电视上。”

多年来，Siri 和 Alexa 等流行的语音 AI 助手基于特定命令的可编程数据库提供了特定的功能和服务。正如《纽约时报》所指出的，虽然更新和更改这些数据库通常很耗时，但 LLM 替代方案可以更快、更灵活、更细致入微。因此，亚马逊和苹果等公司正在投资改造他们的 AI 助手，以利用他们自己的 LLM。

OpenAI 正在走一条非常狭窄的路，以确保其视觉识别能力尽可能有用，同时尊重第三方的隐私和安全。该公司于今年早些时候首次展示了其视觉识别功能，但表示在更全面地了解其可能被滥用的方式之前不会向公众发布任何版本。OpenAI 表示，鉴于该程序在准确性和隐私方面存在大量问题，其开发人员采取了“技术措施，大大限制了 ChatGPT 分析和直接陈述人的能力”。此外，目前的模型仅“精通”英语任务——它的能力在处理其他语言时会大大降低，尤其是那些使用非罗马文字的语言。

OpenAI 计划在未来两周内推出 ChatGPT 的新音频和视频升级，但仅限于其 Plus 和 Enterprise 计划的高级订阅者。也就是说，这些功能将在“不久之后”向更多用户和开发者开放。