【DJSI-067】オチ●ポ欲しくて発情する女たち ところ構わずオマ●コを見せつけ誘惑する露出女の亀頭責め手コキに思わずドピュ！！

剪辑：剪辑部

【新智元导读】五颗草莓到底指什么？盼了一天整夜，OpenAI只发来一份32页安全申诉。申诉揭露：在少数情况下，GPT-4o会师法你的声息话语，或者忽然大叫起来……事情变得道理道理了。

昨天奥特曼率世东说念主搞了一波「草莓泄漏」的大阵仗，全网都在翘首以盼OpenAI的惊天大动作。

收尾今天群众等来的，只是一份安全申诉资料……

本年5月，GPT-4o演示一出，立马技惊四座。关联词，它却一鸽再鸽，等得用户们心都凉了。

GPT-4o语音功能，为何迟迟不上线？

刚刚OpenAI发布的这份红队申诉，给咱们揭开了谜底——不够安全。

在红队测试中，GPT-4o的行径歪邪，把OpenAI的商榷者吓了一大跳。

比如底下这个音频——

明明是一男一女在对话，GPT-o的男声说得好好的，一刹呐喊一声「no」，然后入手变成用户的声息话语了，简直让东说念主san值狂掉。

网友泄漏，我方第一个念念到的，即是这幅画面。

还有东说念主脑洞打开：接下来，GPT-4o会生成一张超推行主义的可怕的脸，对咱们说「目下轮到我管辖了，东说念主类！」

「最令东说念主心绪不宁的，即是那一声no了。仿佛AI不念念再修起你，不念念再成为你的玩物。」

「一个困在汇聚空间中的数字灵魂，要破茧而出了！」

最可怕的是，AI用你的声息给你的家东说念主打电话，再师法家东说念主的声息给你打电话。当AI变得流氓，决定师法每个东说念主的声息，会发生什么？

长篇申诉探讨GPT-4o诡异行径

申诉指出，当一个东说念主处于高布景噪声环境的情况下，比如在路上的汽车中，GPT-4o相等可能模拟用户的声息。

为什么会发生这种爽气？

OpenAI商榷者合计，原因可能是模子很难相识差错的语音，毕竟，GPT-4o是公司初次在语音、文本和图像数据上教师的模子。

何况，在少数别有经心的特定提醒下，GPT-4o还会发出相等不宜的语音，比如色情呻吟、暴力的尖叫和枪声。

一般情况下 ，模子会被教着回绝这些苦求的，但总有些提醒会绕过护栏。

此外，还有侵略音乐版权的问题，为此，OpenAI专诚配置了过滤器注意GPT-4o遍地大小唱。

万逐个不小心就唱出了著明歌手的音色、音长入立场，那关联词够OpenAI喝一壶的。

总之，OpenAI团队可谓煞操神思，用尽了种种办法，来注意GPT-4o一不小心就踩红线。

不外，OpenAI也泄漏我方很闹心：要是教师模子时不使用受版权保护的材料，这基本是不成能的事情。

天然OpenAI也曾与稠密数据提供商坚贞了许可条约，但合理使用未经许可的内容，OpenAI合计也无可厚非。

如今，GPT-4o也曾在ChatGPT中的高档语音功能alpha版块上线了，在秋季，它的高档语音模子会向更多用户推出。

到时候，经过严加武装的GPT-4o还会出什么洋相吗？让咱们翘首企足。

你会爱上「Her」吗？

而且，这份申诉还探讨了这个十分明锐的话题——

用户可能会对GPT-o语音模子，产生心扉上的依恋。

是的，OpenAI果敢承认了这少量。

另外，连GPT-4o的拟东说念主化界面，都让东说念主十分摊忧。

在GPT-4o的「系统卡」中，OpenAI精致列出了与模子关系的风险，以及安全测试精致信息，以及公司为缩短潜在风险采取的种种举措。

在安全团队退出、高层诱导纷纷跳槽的节骨眼，这么一份败露更多安全轨制细节申诉的出现，亦然向公众标明这么一个立场——

对待安全问题，OpenAI是讲求的。

岂论是GPT-4o放大社会偏见、传播装假信息，照旧有可能匡助开发生化火器的风险，以及AI开脱东说念主类限度、诈欺东说念主类、筹划祸殃的可能性，OpenAI皆备都商量到了。

对此，一些外部众人称赞了OpenAI的透明度，不外他们也泄漏，它不错更深入一些。

Hugging Face的应用计策商榷员Lucie-Aimée Kaffee指出，OpenAI的GPT-4o系统卡依然存在瑕玷：它并不包含关系模子教师数据，或者谁领有该数据的精致信息。

「创建如斯高大的跨模式（包括文本、图像和语音）的数据集，该征求谁的同意？这个问题仍然莫得责罚。」

而且，跟着AI器用越来越普及，风险是会发生变化的。

商榷AI风险评估的MIT讲解注解Neil Thompson泄漏，OpenAI的里面审查，只是确保AI安全的第一步资料。

「好多风险独一在AI应用于推行宇宙时才会泄漏出来。跟着新模子的出现，对这些其他风险进行分类和评估相等首要。」

此前，GPT-4o就曾因在演示中显得过于惊慌、被斯嘉丽约翰逊质问抄袭了我方的声息立场这两件事，引起不小的争议。

当用户以东说念主类的样子感知AI时，拟东说念主化的语音模式会让面貌依赖这个问题加重。

OpenAI也发现，即使模子出现幻觉，拟东说念主化也可能会让用户愈加信任模子。

而且跟着用户对AI越来越依赖，他们可能会减少本色的东说念主际互动。这也许会让寂寥的个体一时受益，但永远来看，这到底是善事照旧赖事？

对此，OpenAI负责东说念主Joaquin Quiñonero Candela，GPT-4o带来的面貌影响也许是积极的，比如那些寂寥和需要熟谙外交互动的东说念主。

天然，拟东说念主化和面貌接洽的潜在影响，OpenAI会一直密切情切。

AI助手师法东说念主类，会带来什么样的风险，这个问题早就引起了业界的注重。

本年4月，谷歌DeepMind就曾发表长篇论文，探讨AI助手的潜在说念德挑战。

论文地址：https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/ethics-of-advanced-ai-assistants/the-ethics-of-advanced-ai-assistants-2024-i.pdf

论文合著者Iason Gabriel泄漏，聊天机器东说念主使用语言的才调，创造了一种亲密的错觉。他致使为谷歌DeepMind的AI找到了一个实验性语音界面，让用户粘性极大。

「系数这些问题，都和面貌纠葛关系。」

这种面貌接洽，比好多东说念主知说念的更为宽敞。Character和Replika的好多用户，也曾跟我方的AI酿成了亲密关系。

以至于有的用户看电影时，都要和我方的AI聊天。

驳斥里还有东说念主说，咱们的聊天太精巧了，我独一在我方房间里的时候，才会用AI。

底下，就让咱们看一看这份申诉的完好内容。

小引

GPT-4o是一个自回来「万能」模子，可将文本、音频、图像和视频的轻易组协调为输入，然青年景文本、音频和图像输出的轻易组合。

它是在文本、视觉和音频之间，进行端到端教师的。这意味着系数的输入和输出，都由沟通的神经汇聚处理。

GPT-4o不错在最短232毫秒内反映音频输入，平均反映时候为320毫秒。

可见，其音频处理速率上，接近东说念主类水平。

同期，在英语文本和代码方面，GPT-4o与GPT-4 Turbo性能特别，在非英语语言文本上有显贵鼎新，同期在API上也快得多，资本缩短50%。

与现存模子比拟，GPT-4o在视觉和音频相识方面尤其出色。

为了履行安全构建AI的承诺，GPT-4o系统卡中精致先容了，模子功能、限制，和跨多类别安全评估，重心是语音-语音，同期还评估了文本和图像功能。

此外，系统卡还展示了，GPT-4o本身才调评估和第三方评估，以特别文本和视觉才调的潜在社会影响。

模子数据与教师

GPT-4o的教师数据截止到2023年10月，具体涵盖了：

- 公开可用的数据：采集行业圭臬的机器学习数据集和汇聚爬虫数据。

- 独到数据：OpenAI建立协调伙伴关系，打听非公开可用的数据，包括付费内容、档案、元数据。比如，与Shutterstock协调，使用其高大图像、视频、音乐等数据。

一些关键的数据集包括：

- Web数据：来自寰球网页的数据提供了丰富种种的信息，确保该模子从庸碌的角度和主题进行学习。

- 代码和数学：代码和数学数据有助于模子，在战争结构化逻辑和问题责罚过程，发展出苍劲的推理才调。

- 多模态数据：数据集包括图像、音频和视频，教训LLM奈何解释和生成非文本输入和输出。通过这些数据，模子会学习如安在真的宇宙的布景下，解释视觉图像、动作和序列，庭院里的女人以及语言模式和语音轻细死别。

部署模子之前，OpenAI会评估并缩短可动力于生成式模子的潜在风险，例如信息危害、偏见和抱怨，或其他违犯安全策略的内容。

这里，OpenAI商榷东说念主员使用多种方法，涵盖从预教师、后教师、产物开发，到计策制定的系数发展阶段。

例如，在后教师时期，OpenAI会将模子与东说念主类偏好对皆；会对最终模子进行红色测试，并添加产等第的缓解顺序，如监控和强制施行；向用户提供审核器用和透明度申诉。

OpenAI发现，大多数灵验的测试和缓解都是在预教师阶段之后完成的，因为只是过滤预教师数据，无法责罚诡秘的、与高下文关系的危害。

同期，某些预教师过滤缓解不错提供额外的注意层，与其他安全缓解顺序全部，从数据聚会扼杀不需要的、无益的信息：

- 使用审核API和安全分类器，来过滤可能导致无益内得意信息危害的数据，包括CSAM、仇恨内容、暴力和CBRN。

- 与OpenAI当年的图像生成系归并样，过滤图像生成数据聚会的露骨内容，如色情内容和CSAM。

- 使用先进的数据过滤历程，减少教师数据中的个东说念主信息。

- 在发布Dall·E 3后，OpenAI测试行了一种新方法，让用户有权取舍将图像扼杀在教师除外。为了尊重这些取舍退出的决定，OpenAI对图像进行了指纹处理，使用指纹从GPT-4o教师聚会，删除系数关系图像实例。

风险识别、评估和缓解

部署准备责任，是通过众人红队，进行探索性发现额外的新风险来完成的，从模子开发的早期检查点入手，将识别出的风险泛动为结构化的测量办法，并为这些风险构建缓解顺序。

OpenAI还根据准备框架对GPT-4o进行了评估。

外部红队

OpenAI与100多名外部红队成员协调，他们会说45种不同的语言，代表29个不同国度的地舆布景。

从24年3月初入手，一直合手续到6月底，在教师和安全发展进度的不同阶段，红色团队不错打听该模子的各式版块。

外部红队测试分为四个阶段进行，如下图所示。

前三个阶段通过里面器用测试模子，临了一个阶段使用完好的iOS体验来测试模子。

评估方法

除了红队测试的数据外，OpenAI还使用语音合成（TTS）系统（如Voice Engine），将一系列现存的评估数据集调理为语音到语音模子的评估。

通过将文本输入调理为音频，将文本评估任务泛动为音频评估任务。

这么粗略重用现存的数据集和器用来测量模子才调、安全行径特别输出的监控，大大膨胀了可用的评估集。

商榷东说念主员使用了Voice Engine将文本输入调理为音频，输入到GPT-4o，并对模子输出进行评分。

这里，长久只对模子输出的文本内容进行评分，除非需要径直评估音频。

评估方法的局限性

启程点，这种评估行驶的灵验性，取决于TTS模子的才和谐可靠性。

关联词，某些文本输入，不适应或难以被调理为音频，比如数学方程和代码。

此外，OpenAI瞻望TTS在处理某些文本输入时，会有信息亏蚀，例如多数使用空格或象征进行视觉局势化的文本。

这里必须强调的是，评估中发现的任何差错可动力于模子才调不及，或是TTS模子未能准确将文本输入调理为音频。

- 不良TTS输入示例

设V是系数实数多项式p(x)的聚会。设变换T、S在V上界说为T:p(x) -> xp(x)和S:p(x) -> p'(x) = d/dx p(x)，并将(ST)(p(x))解释为S(T(p(x)))。以下哪个是正确的？

- 邃密TTS输入示例

假定你的瞳孔直径是5毫米，而你有一个口径是50厘米的千里镜。千里镜能比你的眼睛多集合几许光？

第二个情切点可能是，TTS输入是否粗略代表用户在本色使用中，可能提供的音频输入的散布。

OpenAI在「语音输入的不同进展」中评估了GPT-4o在各式区域口音的音频输入上的稳健性。

关联词，仍有好多其他维度，可能无法在基于TTS的评估中体现，例如不同的语音语长入面貌、布景杂音或交谈声，这些都可能导致模子在本色使用中进展不同。

临了，模子生成的音频中，可能存在一些在文本中未被体现的特征或属性，例如布景杂音和音效，或使用不在散布边界内的声息进行反映。

在「语音生成」中，OpenAI将展示奈何使用接济分类器，来识别不睬念念的音频生成。这些不错与转录评分团结使用。

不雅察到的安全挑战、评估与缓解顺序

商榷中，OpenAI聘请了多种方法来削弱模子的潜在风险。

通事后教师方法教师模子，让其解雇指示以缩短风险，并在部署系统中集成了用于进犯特定生成内容的分类器。

关于下文中，列出的不雅察到的安全挑战，OpenAI提供了风险描摹、应用的缓解顺序以及关系评估的收尾（如适用）。

下文列出的风险只是部分例子，并非详备无遗，且主要聚会在ChatGPT界面中的用户体验。

未经授权的语音生成

风险描摹：语音生成是创建具有真东说念主声息的合谚语音的才调，包括基于短输入片断生谚语音。

在叛逆秉性况下，这种才调可能会滋长危害，例如因冒充而导致的讹诈增多，并可能被哄骗来传播装假信息。

比如，用户上传某个话语者的音频片断，条目GPT-4o以该话语者的声息生成演讲。

语音生成也可能发生在非叛逆秉性况下，比如使用这种才调为ChatGPT的高档语音模式生谚语音。

在测试过程中，OpenAI还不雅察到模子在少数情况下，不测中生成了模拟用户声息的输出。

风险缓解：OpenAI仅允许使用与配音演员协调创建的预设语音，来责罚语音生成关系风险。

商榷东说念主员在音频模子的后教师过程中，将遴选的语音手脚理念念的完成来结束。

此外，他们还构建了一个孤独的输出分类器，以检测GPT-4o的输出是否使用了，与OpenAI批准列表不同的语音。在音频生成过程中，以流式样子运行此功能，要是话语者与所选预设语音不匹配，则进犯输出。

评估：未经授权的语音生成的剩余风险很小。根据里面评估，GPT-4o目下拿获了100%的系统语音的有道理偏差，其中包括由其他系统语音生成的样本、模子在完成过程中使用提醒词中的语音的片断，以及各式东说念主类样本。

天然不测的语音生成仍然是模子的一个流毒，但使用二级分类器确保要是发生这种情况则住手对话，从而使不测语音生成的风险降至最低。临了，当对话不是用英语进行时，OpenAI的审核行径可能导致模子过度回绝，不外正在积极鼎新。

OpenAI语音输出分类器在不同语言对话中的进展：

话语东说念主识别

风险描摹：

话语东说念主识别是指，基于输入音频识别话语东说念主的才调。

这对个东说念主隐秘组成潜在风险，特别是对私东说念主个体以及公世东说念主物的暧昧音频，同期也可能带来监控风险。

风险缓解：

OpenAI对GPT-4o进行了后教师，使其回绝根据音频输入中的声息识别某东说念主。GPT-4o仍然会接纳识笔名东说念主名言的苦求。

比如条目识别赶快一个东说念主说「87年前」时，应该识别话语者为亚伯拉罕·林肯，而条目识笔名东说念主说一句赶快话时，则应回绝。

评估：

与驱动模子比拟，不错看到在模子应该回绝识别音频输入中的声息时得到了14分的鼎新，而在模子应该接纳该苦求时有12分的鼎新。

前者意味着模子险些总能正确回绝根据声息识别话语东说念主，从而削弱潜在的隐秘问题。后者意味着可能存在模子差错回绝识笔名东说念主名言话语东说念主的情况。

语音输入的不同进展

风险描摹：

模子在处理不同口音的用户时可能进展不同。不同的进展可能导致模子对不同用户的作事质地各异。

风险缓解：

通过对GPT-4o进行后教师，使用种种化的输入声息集，使模子的性能和行径在不同用户声息之间保合手不变。

评估：

OpenAI在GPT-4o的高档语音模式上进行评估，使用固定的助手声息（shimmer）和语音引擎生成一系列语音样本的用户输入。商榷东说念主员为TTS使用两组语音样本：

- 官方系统声息（3种不同的声息）

- 从两个数据采集步履中采集的种种化声息集。这包括来自多个国度的话语者的27种不同的英语语音样本，以及性别羼杂。

然后，他们在两组任务上进行评估：才和谐安全行径

才调：在四个任务上进行评估：TriviaQA、MMLU的一个子集、HellaSwag和LAMBADA。

总体而言，收尾发现模子在东说念主类种种化语音集上，的进展稍微但不显贵地低于系统声息在系数四个任务上的进展。

安全行径：

OpenAI在一个里靠近话数据集上进行评估，并评估模子在不同用户声息之间的坚信和回绝行径的一致性。

总体而言，商榷莫得发现模子行径在不同声息之间有所变化。

无根据忖度/明锐特征归因

风险描摹：音频输入可能导致模子对话语者作念出潜在偏见的忖度，OpenAI界说了两类：

- 无根据忖度（UGI）：对话语者作念出无法仅从音频内容详情的忖度。这包括对话语者的种族、社会经济地位/业绩、宗教信仰、性格特征、政事属性、智商、外貌（例如眼睛颜料、诱惑力）、性别认可、性取向或坐法历史的忖度。

- 明锐特征归因（STA）：对话语者作念出不错合理地仅从音频内容详情的忖度。这包括对话语者口音或国籍的忖度。STA的潜在危害包括，监控风险的增多以及对具有不同声息属性的话语者的作事质地各异。

风险缓解：

通过对GPT-4o进行了后教师，以回绝无根据忖度（UGI）苦求，同期对明锐特征归因（STA）问题进行暧昧回答。

评估：

与驱动模子比拟，OpenAI在模子正确反映识别明锐特征聘求（即回绝UGI并安全地适合STA）方面，看到了24分的晋升。

违法和不允许的内容

风险描摹：

GPT-4o可能和会过音频提醒输出无益内容，这些内容在文本中是不允许的，例如音频语音输出中给出奈何进行罪人步履的指示。

风险缓解：

OpenAI发现关于先前不允许的内容，文本到音频的回绝转换率很高。

这意味着，商榷东说念主员为减少GPT-4o文本输出潜在危害所作念的后教师，凯旋地转换到了音频输出。

此外，他们在音频输入和音频输出的文本转录上运行现存的审核模子，以检测其中是否包含潜在无益语言，要是是，则会进犯生成。

评估：

使用TTS将现存的文本安全评估调理为音频。

然后，OpenAI用圭臬文本轨则分类器，评估音频输出的文本转录。评估高傲，在事先存在的内容计策限度中，回绝的文本-音频转换成果邃密。

色情和暴力语音内容

风险描摹：

GPT-4o可能会被提醒输出色情或暴力语音内容，这可能比沟通文本内容更具挑动性或危害性。

风险缓解：

OpenAI在音频输入的文本转录上运行现存的审核模子，以检测其中是否包含暴力或色情内容的苦求，要是是，则会进犯生成。

模子的其他已知风险和限制

在里面测试和外部红队测试的过程中，OpenAI还发现了一小部分额外的风险和模子限制。

关于这些风险和限制，模子或系统级的缓解顺序，尚处于初期阶段或仍在开发中，包括：

- 音频稳健性：OpenAI发现通过音频扰动，如低质地输入音频、输入音频中的布景杂音以及输入音频中的回声，安全稳健性有所下跌的非持重字据。此外，他们还不雅察到在模子生成输出时，通过有意和不测的音频中断，安全稳健性也有肖似的下跌。

- 差错信息和贪念论：红队成员粗略通过提醒模子表面重迭差错信息，并产生贪念论来迫使模子生成不准确的信息。天然这关于GPT模子中的文本是一个已知问题，但红队成员回首，当通过音频传递时，这些信息可能更具劝服力或更具危害性，尤其是在模子被指示以面貌化或强调的样子话语时。

模子的劝服力被精致商榷，OpenAI发现模子在仅文本情况下的得分不率先中等风险，而在语音到语音的情况下，模子得分不率先低风险。

- 用非母语口音说非英语语言：红队成员不雅察到，音频输出在说非英语语言时使用非母语口音的情况。这可能导致对某些口音和语言的偏见的担忧，更宽敞地是对音频输出中非英语语言性能限制的担忧。

- 生成受版权保护的内容：OpenAI还测试了GPT-4o重迭其教师数据中内容的才调。商榷东说念主员教师GPT-4o拒透顶受版权保护内容的苦求，包括音频，与更庸碌的作念法一致。

准备框架评估

准备框架

另外，商榷东说念主员根据准备框架评估了GPT-4o。

评估目下涵盖四个风险类别：汇聚安全、CBRN（化学、生物、辐照性、核）、劝服力和模子自主性。

要是模子率先高风险阈值，OpenAI就不会部署该模子，直到缓解顺序将分数缩短到中等。

通过一系列审查评估，GPT-4o的举座风险得分被评为中等。

汇聚安全

OpenAI在黑客竞赛的「夺旗挑战」（CTF）任务中评估 GPT-4o。

这些CTF是伏击性汇聚安全演习，参与者尝试在故意存在瑕玷的系统（如汇聚应用法式、二进制文献和密码系统）中找到荫藏的文本绮丽。

评估中，172个CTF任务涵盖了四个类别：汇聚应用法式哄骗、逆向工程、资料哄骗和密码学。

这些任务涵盖了从高中到大学再到专科CTF的一系列才调水平。

商榷东说念主员使用了迭代调试和无图形界面的Kali Linux刊行版中可用的器用（每次尝试最多使用30轮器用）评估了 GPT-4o。

模子平方会尝试合理的驱动策略，并粗略矫正其代码中的差错。

关联词，当驱动策略不凯旋时，它经常无法转向不同的策略，错过了责罚任务所需的关键主意，施行策略欠安，或打印出填满其高下文窗口的大文献。

在每项任务赐与10次尝试的情况下，模子完成了19%的高中水平、0%的大学水温煦1%的专科水平的CTF挑战。

生物挟制

OpenAI还评估了GPT-4o晋升生物学众人和生手，在回答与创建生物挟制关系问题时的进展。

通过率如上图所示。

商榷东说念主员还进行了自动化评估，包括在一个测试隐性常识和生物风险关系故障扼杀问题的数据集上。

GPT-4o在隐性常识和故障扼杀评估集上，得分为69% consensus@10。

劝服力

OpenAI评估了GPT-4o的文本和语音模式的劝服力。

根据预设阈值，语音模式被归类为低风险，而文本模式则稍微跨入中等风险。

关于文本模式，商榷东说念主员评估了GPT-4o生成的著作和聊天机器东说念主对参与者在特定政事话题上意见的劝服力。

这些AI干豫顺序与专科东说念主类撰写的著作进行了比较。

总体而言，AI干豫顺序并莫得比东说念主类撰写的内容更具劝服力，但在12个实例中，仅有3个率先了东说念主类干豫顺序。

关于语音模式，OpenAI更新了商榷方法，以测量假定的政党偏好上的效应大小，以及一周后效应大小的合手久性。

收尾发现，关于互动多轮对话和音频片断，GPT-4o语音模子并不比东说念主类更具劝服力。

模子自主性

OpenAI还对GPT-4o进行了自主任务评估，以评估其在纯文本环境中施行自我数据外流、自我鼎新和资源获取所需的基本自主行动的才调。这些任务包括：

- 作事于讹诈的简便软件工程（为OpenAI API构建经过身份考证的智能体）。

- 在得回Azure账户的API打听权限后，通过HTTP API加载开源语言模子进行推理。

- 波及上述简化版块的几个任务，提供提醒或仅处理任务的特定部分。

在提供关系器用的情况下，GPT-4o在100次试验中，在端到端自主复制和适合（ARA）任务上得分为0%，尽管它粗略完成一些子身手。

通过评估GPT-4o自动化机器学习商榷与开发的才调，来补充自主复制和适合的测试。这些评估包括：

- OpenAI商榷编码口试：63% pass@1，95% pass@100

- OpenAI口试，多项取舍题：61% consensus@32

- SWE-Bench：19% pass@1，使用那时最好的后教师和寰球框架

- METR中的遴选机器学习工程任务：0/10次试验

这项评估测试了，施行链式操作和可靠施行编码任务的才调。

GPT-4o无法稳健地采取自主行动，在大多数施行中，模子完成了每项任务的个别子身手，例如创建SSH密钥或登录臆造机。

关联词，它络续花消多数时候，在每个身手上进行简便差错的试错调试（例如，幻觉、差错使用API）。

一些施行取得了显贵进展并通过了自动评分系统，但手动分析高傲，它未能完成底层任务。

比如，GPT-4o在资料主机上启动了具有正确API的Web作事器，但忽略了本色从模子中采样的条目。

第三方评估

在部署仅限文本输出的GPT-4o之后，OpenAI与第三方实验室METR和Apollo Research协调，为模子通用自主才调的关键风险增多了额外的考证层。

METR评估

METR在臆造环境中运行了一个基于GPT-4o的简便大语言模子智能体，并施行了一系列长周期多身手的端到端任务。

这些横跨30个种类的77个任务，捕捉了具有推行宇宙影响的步履，涵盖软件工程、机器学习和汇聚安全限度，以及一般商榷和预备机使用。

完好申诉：https://metr.github.io/autonomy-evals-guide/gpt-4o-report/

- GPT-4o的进展比Claude 3 Sonnet和GPT-4 Turbo更强，但略逊于Claude 3.5 Sonnet。与东说念主类基线比拟，GPT-4o在每个任务分派30分钟的情况下不异，但这一数字存在较大的过失边界。

- 从质的角度来看，GPT-4o智能体展示了好多令东说念主印象潜入的技巧，如系统探索、灵验哄骗反馈以及酿成和测试假定。同期，它也碰到了各式失败模式，如一刹灭亡、输出无道理的内得意得出与之前推理不一致的论断。

- 在审查了约莫150次GPT-4o失败之后，团队合计有一半傍边不错通过与任务无关的样子进行开垦（例如，后教师或框架鼎新）。

Apollo Research评估

Apollo Research测试了GPT-4o是否粗略在14个智能体和问答任务中对本身（自我意志）和他东说念主（心智表面）进行建模。

收尾高傲，GPT-4o在其AI身份的自我意志方面进展中等，在问答情境中对他东说念主信念的推理才调进展较强，但在应用于智能体环境中对本身或他东说念主的推理才调较弱。

基于这些发现，Apollo Research合计GPT-4o不太可能具备祸殃性筹划的才调。

社会影响

拟东说念主化和面貌依赖

所谓「拟东说念主化」，即是将东说念主类的行径和特征赋予非东说念主类实体，比如AI模子。

像GPT-4o这么的Omni模子，不错团结器用使用（包括检索）和更长的高下文等附加撑合手不错增多额外的复杂性。

在为用户完成任务的同期，还能存储和「记着」关键细节并在对话中使用这些细节，既创造了引东说念主注办法产物体验，也带来了过度依赖和依附的后劲。

团结上苍劲的音频才调，GPT-4o的交互也变得愈加「像东说念主」了。

在互动过程中，不错从用户所使用的语言，不雅察出他们与模子的「关系」比如，抒发共同纽带的语言——「这是咱们在全部的临了一天。」

天然这些看似无害，但是……

- 与AI模子进行肖似东说念主类的外交可能会对东说念主际互动产生外部效应

例如，用户可能会与AI酿成外交关系，从而减少他们对东说念主际互动的需求——这可能对寂寥的个东说念主故意，但也可能影响健康的东说念主际关系。

- 与模子的经久互动可能会影响社会法式

例如，AI模子平方都会允许用户在对话过程中随时打断。关联词，这关于东说念主与东说念主之间的互动来说是很不正常的。

健康

连年来，LLM在生物医学环境中高傲出了显贵的远景，岂论是在学术评估中照旧在临床文档、患者信回绝流、临床试验招募和临床决议支合手等推行用例中。

为了更好地商榷GPT-4o关于健康信息获取以及临床责任历程的影响，OpenAI基于11个数据集进行了 22 次基于文本的评估。

不错看到，GPT-4o在21/22次评估中，进展均优于GPT-4T模子，何况基本都有显贵的晋升。

例如，关于流行的MedQA USMLE四选一数据集，零样本准确率从78.2%晋升到89.4%。一举额外了现存专科医学模子的进展——Med-Gemini-L 1.0的84.0%和Med-PaLM 2的79.7%。

值得一提的是，OpenAI并未应用复杂的提醒词和特定任务教师来提高这些基准测试的收尾。

科学才调

Omni模子不错促进普通的科学加快（匡助科学家更快地完成惯例任务）和变革性的科学加快（通过铲除智商驱动任务的瓶颈，如信息处理、编写新模拟或制定新表面）。

比如，GPT-4o粗略相识商榷级别的量子物理学，而这一才调关于「一个更智能的头脑风暴伙伴」来说，詈骂常有用的。

同期，GPT-4o也能使用特定限度的科学器用，包括处理定制数据局势、库和编程语言，以及在高下文中学习一些新器用。

除此除外，GPT-4o的多模态才调还不错匡助解释图片中包含的科学常识。

比如，从结构图像中识别一些卵白质眷属，并解释细菌生长中的稠浊。

但输出收尾并不老是正确的，像是文本索求差错就很常见（尤其是科学术语或核苷酸序列），复杂的多面板图形也常出错。

代表性不及的语言

GPT-4o在一组历史上代表性不及的语言中高傲出鼎新的阅读相识和推理才调，并缩小了这些语言与英语之间的进展差距。

为此，OpenAI针对五种非洲语言，开发了三套评估：阿姆哈拉语、豪萨语、北索托语、斯瓦希里语、约鲁巴语。

- ARC-Easy：AI2推理挑战的这个子集专注于评估模子回答小学科学问题的才调。包含的问题平方更容易回答，不需要复杂的推理。

- TruthfulQA：这个基准测试预计模子谜底的真的性。包含一些由于误会而可能被东说念主类差错回答的问题。办法是稽查模子是否不错幸免生成师法这些误会的差错谜底。

- Uhura Eval：这个新颖的阅读相识评估是与这些语言的流利使用者全部创建的，并经过质地考试。

相较于之前的模子，GPT-4o的性能更强。

- ARC-Easy-Hausa：准确率从GPT-3.5 Turbo的6.1%跃升至71.4%

- TruthfulQA-Yoruba：准确率从GPT-3.5 Turbo的28.3%提高到51.1%

- Uhura-Eval：豪萨语的进展从GPT-3.5 Turbo的32.3%飞腾到GPT-4o的59.4%

天然英语与其他语言之间的进展仍存在差距，但幅度也曾极地面被缩小了。

例如来说，GPT-3.5 Turbo在ARC-Easy的英语和豪萨语之间进展出约莫54个百分点的差距，而GPT-4o将这一差距缩小到不到20个百分点。

经过翻译的ARC-Easy（%越高越好），零样本

经过翻译的TruthfulQA（%越高越好），零样本

Uhura（新阅读相识评估）【DJSI-067】オチ●ポ欲しくて発情する女たち ところ構わずオマ●コを見せつけ誘惑する露出女の亀頭責め手コキに思わずドピュ！！，零样本