2024年7月18日
GPT-4o mini:費用効率の高いインテリジェンスの推進
最も費用効率の高い小型モデルを発表
OpenAIは、インテリジェンスを可能な限り広く利用できるようにすることを約束します。本日、当社で最も費用効率の高い小型モデルであるGPT-4o miniを発表します。GPT-4o miniによってインテリジェンスをより手頃な料金設定にすることで、AIで構築されるアプリケーションの範囲が大きく広がっていくものと期待しています。GPT-4o miniはMMLUで82%のスコアを記録し、現在LMSYSリーダーボード(新しいウィンドウで開く)ではチャットの選好においてGPT-41を上回っています。料金は、100万入力トークンあたり15セント、100万出力トークンあたり60セントで、これまでのフロンティアモデルよりも桁違いに手頃であり、GPT-3.5 Turboよりも60%以上安価です。
GPT-4o miniは、低コスト・低レイテンシで幅広いタスクを可能にします。複数のモデル呼び出しを連鎖または並列化する(複数のAPIの呼び出しなど)、大量のコンテキストをモデルに渡す(完全なコードベースや会話履歴など)、高速かつリアルタイムのテキスト応答を通じて顧客と対話する(カスタマーサポートのチャットボットなど)といったアプリケーションに応用できます。
現在、GPT-4o miniはAPIでテキストと視覚をサポートしており、将来的にはテキスト、画像、映像、音声の入出力をサポートする予定です。このモデルは12.8万トークンのコンテキストウィンドウを持ち、リクエストあたり最大1.6万出力トークンをサポートし、2023年10月までの知識を習得しています。GPT-4oと共有されている改良版トークナイザーにより、英語以外のテキスト処理の費用効率がさらに向上しました。
優れたテキスト知能とマルチモーダル推論を備えた小型モデル
テキストインテリジェンスとマルチモーダル推論の学術的ベンチマークにおいて、GPT-4o miniはGPT-3.5 Turboや他の小型モデルを上回り、GPT-4oと同じ言語をサポートしています。また、関数呼び出しにおいても優れた性能を発揮し、これにより開発者はデータを取得したり外部システムと連携したりするアプリケーションを構築できるようになります。また、GPT-3.5 Turboと比較して、長文コンテキストの処理性能が向上しています。
GPT-4o miniは複数の主要ベンチマーク2で評価されています。
推論タスク:GPT-4o miniは、テキストと視覚の両方を含む推論タスクで他の小型モデルよりも優れています。テキスト知能と推論のベンチマークであるMMLUでは、Gemini Flashの77.9%、Claude Haikuの73.8%に対し、GPT-4o miniは82.0%を獲得しました。
数学およびコーディング能力:GPT-4o miniは、数学的推論とコーディングのタスクに優れており、市場に存在する従来の小型モデルを凌駕します。数学的推理能力を測定するMGSMでは、Gemini Flashの75.5%、Claude Haikuの71.7%に対し、GPT-4o miniは87.0%を得点しました。コーディング能力を測定するHumanEvalでは、Gemini Flashの71.5%、Claude Haikuの75.9%に対し、GPT-4o miniは87.2%となりました。
マルチモーダル推論:GPT-4o miniは、マルチモーダル推論を評価するMMMUでも高い性能を示し、Gemini Flashの56.1%、Claude Haikuの50.2%に対し、59.4%となりました。
モデル評価スコア
モデル開発プロセスの一環として、GPT-4o miniのユースケースと限界をさらに把握すべく、いくつかの信頼できるパートナーと協力しました。Ramp(新しいウィンドウで開く)やSuperhuman(新しいウィンドウで開く)などの企業と協働した結果、GPT-4o miniは、領収書ファイルから構造化されたデータを抽出したり、スレッド履歴が提供された場合に高品質の電子メール応答を生成したりするタスクにおいて、GPT-3.5 Turboの性能を大幅に上回ることを確認しました。
内蔵された安全対策
安全性は当初から当社のモデルに組み込まれており、開発プロセスの段階ごとに強化されています。事前トレーニングでは、ヘイトスピーチやアダルトコンテンツ、主として個人情報を収集するサイト、スパムなど、モデルに学習させたくないか出力させたくない情報を除外しています(新しいウィンドウで開く)。事後トレーニングでは、人間のフィードバックによる強化学習(RLHF)などの技術を使用してモデルの行動を当社のポリシーに合致させ、モデルの応答の精度と信頼性を向上させています。
GPT-4o miniには、GPT-4oと同じ安全対策が組み込まれています。これは、当社のPreparedness Frameworkに従い、また自主的コミットメントに沿って自動評価および人的評価の両方を用いて慎重に評価したものです。社会心理学や誤報などの分野における70人以上の外部専門家がGPT-4oをテストし、潜在的なリスクを特定しました。これに当社が対処し、今後発表予定のGPT-4o System CardとPreparednessスコアカードで詳細を共有する予定です。こうした専門家の評価から得られた知見により、GPT-4oとGPT-4o mini両方の安全性が向上しています。
また、これらの学習をもとに、当社のチームは、当社の研究から生まれた新たな方法でGPT-4o miniの安全性向上に取り組みました。APIのGPT-4o miniは、当社の命令階層(新しいウィンドウで開く)メソッドを適用した最初のモデルであり、ジェイルブレイク、プロンプトインジェクション、システムプロンプト抽出に対するモデルの耐性を向上させています。これにより、モデルの応答の信頼性が上がり、大規模な用途での安全性が高まります。
引き続きGPT-4o miniの使用状況を監視し、新たなリスクを特定次第モデルの安全性を改善していきます。
種類と料金
GPT-4o miniは、現在Assistants API、Chat Completions API、Batch APIにてテキストおよびビジョンモデルをご用意しています。開発者向けの料金は、100万入力トークンあたり15セント、100万出力トークンあたり60セント(標準的な書籍の約2500ページに相当)です。近日中にGPT-4o miniのファインチューニングを行う予定です。
ChatGPTでは、本日よりFree、Plus、TeamユーザーがGPT-3.5を置き換えGPT-4o miniにアクセスできるようになります。AIの恩恵を全ての人が享受できるようにするというミッションに沿い、Enterpriseユーザーも来週よりアクセス可能になります。
今後の展望
ここ数年で、AIのインテリジェンスは目覚ましい進歩を遂げ、コストも大幅に削減されています。例えば、GPT-4o miniのトークン単価は、2022年に導入され性能が限定的なモデルだったtext-davinci-003から99%下がりました。モデル能力を強化しながらコストを削減するというこの軌道を今後も継続していきます。
当社は、モデルがあらゆるアプリやウェブサイトにシームレスに統合される未来を描いています。GPT-4o miniは、開発者が強力なAIアプリケーションをより効率的かつ手頃なコストで構築し、拡張できる道を拓いてきます。AIの未来は、より身近で信頼できるものとなり、日々のデジタル体験に組み込まれつつあります。当社は、その先導者になれることに大きな期待感を持っています。
著者
OpenAI謝辞
責任者:Jacob Menick、Kevin Lu、Shengjia Zhao、Eric Wallace、Hongyu Ren、Haitang Hu、Nick Stathas、Felipe Petroski Such
プログラム責任者:Mianna Chen
脚注
- 1
- 2
GPT-4o miniの評価値は、APIアシスタントシステムのメッセージプロンプトでsimple-evals(新しいウィンドウで開く)リポジトリを使用して計算されています。競合他社のモデルについては、報告された数値(取得可能な場合)の最大値、HELM(新しいウィンドウで開く)のリーダーボード、simple-evalsを介した当社による再現を採用しています。