先日、OpenAIから新たなモデル、o3-miniとo3-mini-highが発表されました。
詳しい内容やカタログスペックはすでにわかりやすい記事がたくさん出ていますので、そちらをご確認いただければと思います。
↓などなど。
https://note.com/chaen_channel/n/n6b00b5269a24
https://note.com/it_navi/n/nc9e6d154d703
コンテンツ発信に出遅れた身としては、わかりやすさと速報性以外で勝負しなければならないということで、弊社のサービスであるSTORYAIを絡めて、既存モデルの4o、o1と今回発表されたo3-miniとo3-mini-highの精度を独自の視点で検証していこうと思います。
結論を頭出しすると、今回の検証に用いたタスクにおいての順位はo1→4o→o3-mini-high→o3-miniという結果になりました。
検証内容
今回の検証では、STORYAIで行っているLLMを用いたネットワーク分析を、ChatGPTの異なるモデルで実施し、精度や違いを比較しました。
そもそもネットワーク分析とは？
ネットワーク分析とは、キャラクターや組織などの登場人物同士の関係性を視覚的にマッピングし、誰がどのように影響を及ぼしているのかを明らかにする手法です。これにより、文章だけでは見えにくい人物同士のつながりが浮かび上がり、作品の構造をより深く理解できるようになります。
この分析では、LLMが文章を読み込み、登場人物同士の関係を抽出する処理を担います。
今回は、森鴎外の小説『舞姫』を題材に分析を行いました。『舞姫』は、主人公・太田豊太郎とエリスを中心に、恋愛と社会的な葛藤を描いた作品です。この小説をChatGPTの各モデルで分析し、それぞれがどのようなネットワーク（人間関係）を構築するのかを検証しました。
※ところどころ『舞姫』を読んだことが前提となる記述になるかもしれませんが、なるべく一般的な示唆も書きますのでどうかお付き合いください。
検証結果
4o
まず、「4o」の結果を確認します。
主人公の「太田豊太郎（以下、豊太郎）」と「エリス」の関係が最も強く、そこを中心に「豊太郎」のネットワークと「エリス」のネットワークが形成されていることがわかります。「豊太郎」のネットワークでは、「官長」「天方伯」「相沢謙吉」「豊太郎の母」などとのつながりが強調されています。特に「豊太郎」が「エリス」と別れて帰国するきっかけとなったのは、「相沢謙吉」の助言と「天方伯」の命令によるものですが、このネットワークでもそれらの影響力が可視化されています。一方、「エリス」を中心としたネットワークでは、「エリスの母」や「シャウムベルヒ」との、豊太郎とは独立した関係が見られます。
ただし、「豊太郎」と「エリスの母」の関係が可視化されていません。物語では、「豊太郎」は「エリス」と「エリスの母」と共に暮らしており、何度か関わる場面があります。しかし、モデルは直接的なやりとりや明示的な関係を優先して抽出する傾向があるのか、この関係が抜け落ちた可能性があります。さらに、登場人物の網羅性がやや低い点も気になります。一方で、主要な人物に焦点を当てるという意味では、簡潔にまとまっているとも言えます。
また、「相沢謙吉」と「天方伯」も強く関係しているはずですが、ネットワークではそのつながりが見られません。この点も、関係性の抽出における課題の一つと考えられます。
o1
続いて、「o1」の結果を見ていきます。
このモデルでも、「豊太郎」と「エリス」の関係を中心に、2つのネットワークが形成されています。4oと比べると、登場人物の網羅性が上がっています。
重視する観点が異なるのか、どれくらい出力するのかといった裏で動いている指示が異なるのかなと思いました。
例えば、「4o」と「o1」それぞれに「森鴎外について教えて」とプロンプトを入力したところ、「4o」では1,149文字、「o1」では2,285文字の出力となりました。この違いから、モデルごとの情報抽出の粒度や設定が異なっていることが推測されます。
また、「天方伯」は「大臣」と呼ばれることがあり、ネットワーク上でも「天方伯（天方大臣）」と表記されています。これは、モデルが異なる呼び名に気づき、それを考慮して表示した可能性があり、評価できるポイントです。
o3-mini
続いて、新モデルである「o3-mini」の結果を見ていきます。
このモデルでは、やや精度が落ちたように感じられます。特に、以下の点が気になりました。
1人の登場人物の異なる呼び方を認識できていない
ネットワークの画像をみると、「天方伯」と「大臣」という人物が出てきていますが、これらは同一人物です。
ちなみに、関係性としては「相澤謙吉」とともに、「豊太郎」が「エリス」と別れて帰国するきっかけを作った人物であるため、「豊太郎」と「相澤謙吉」とつながっているべきです。そのため、「大臣」の方が正しく、「大臣（天方伯）」のように書いてほしかったところです。
関係性の取り違い
「豊太郎」と「エルンスト・ワイゲルト」が結びついていますが、本来は「エリス」とのつながりの方が適切でしょう。
余は暫し茫然として立ちたりしが、ふと油燈の光に透して戸を見れば、「エルンスト・ワイゲルト」と漆もて書き、下に仕立物師と注したり。これすぎぬといふ少女が父の名なるべし。（森鴎外『舞姫』）
私はしばらく茫然と立ち尽くしていたが、ふと灯りに照らされた扉を見ると、「エルンスト・ワイゲルト」と漆で書かれており、その下には「仕立物師」と注記されていた。これが「亡くなった」と言っていた少女の父の名前なのだろう。（ChatGPTによる現代口語訳）
「エルンスト・ワイゲルト」は、おそらく「エリス」のお父さんなのでしょう。
ちなみに、ネットワーク図では「エルンスト・ワイゲルト」と「仕立物師」が結びついていますが、同じ人物のようなので抽出ミスです。
登場人物の網羅性の低さ
「4o」よりも多くの人物を抽出していますが、「o1」と比較すると少なく、特に4oど同様に「エリスの母」が抜け落ちている点が記になります。「豊太郎の母」と「エリスの母」を識別できなかった可能性があり、そうであれば、「エリス」と「母」の間に関係が描かれているべきでした。
o3-mini-high
最後に、「o3-mini-high」の結果を確認します。
このモデルでは、登場人物の網羅性が非常に高く、22人が抽出されています。しかし、関係性の抽出には課題が残ります。
まず、「豊太郎」と「エリス」の関係を中心に2つのネットワークが形成されていますが、それ以外の登場人物同士のつながりがほとんど見られません。本来、「相沢謙吉」と「天方伯」、「豊太郎」と「エリスの母」など、3人以上の関係が結びつくはずですが、ネットワーク上ではそれが見られません。その結果、豊太郎とエリスに他の登場人物が個別に関係しているだけの、単純な構造になってしまっています。
また、関係性の誤った抽出も目立ちます。
例えば、「エリス」と「ショーペンハウエル」や「シルレル」がつながっていますが、これは以下の文章から考えると、「豊太郎」と結びつくべき人物です。
嗚呼、何等の悪因ぞ。この恩を謝せんとて、自ら我｜僑居に来し少女は、「ショーペンハウエル」を右にし、「シルレル」を左にして、終日兀坐する我読書の窓下に、一輪の名花を咲かせてけり。
ああ、なんという皮肉なめぐり合わせだろう。あの少女は、この恩に報いようとして、自分からわたしの下宿先へやって来た。そして、右手にショーペンハウエル、左手にシラーを置いて、終日じっと読書しているわたしの窓辺に、一輪の美しい花を咲かせたのだった。（ChatGPTによる現代口語訳）
「豊太郎」は「ショオペンハウエル」や「シルレル」の本を読む生活をしていたということですね。
さらに、登場人物の網羅性が高いことは評価できますが、「猶太教徒の翁」や「ドロシュケ」など、散歩中に街にいた人や遠出のための馬車などはさすがに不要なのかなと思われます。このあたりは省くようにプロンプトでコントロールしていない上に主観がかなり入りますが、マイナスポイントに感じます。
まとめ
今回の検証では、1回のみの生成結果を比較しているため運の要素も影響していますが、ネットワーク分析の精度を順位付けすると、以下のようになります。
1位：o1
網羅性と関係性の抽出精度のバランスが良い。
2位：4o
網羅性は高いものの、主要なポイントはしっかり抑えられている。
3位：o3-mini-high
登場人物の網羅性は非常に高いが、関係性の抽出が弱い。
4位：o3-mini
網羅性・関係性の抽出ともに精度が低い。
意外にも、新しいモデルよりも既存のモデル（o1や4o）の方が優れた結果を出すケースがあることがわかりました。
文章を読んで内容を整理するようなタスクにおいては、4oでも十分な性能を発揮しており、少なくとも劣ってはいないように思われます。
ただ、一般的には新しいモデルほど多くのタスクで平均的に良い結果を出すものの、思考過程や出力形式にクセがあり、タスクによってはモデルの新しさと精度が逆転してしまうことがあるのかと思われます。
今後の妄想
今回のようなネットワーク分析に関しては、まず人手で作品の読み込みとネットワーク図を作成し、それを正解データとするのが望ましいでしょう。そのうえで、新しいモデルの導入時に複数回同じ作品でネットワーク分析を実施し、生成されたネットワーク図と正解データを比較することで、モデルのクセを把握し、動的にプロンプトを修正することで精度を向上させられるのではないかと妄想してみました。
もっとも、こうしたモデルのクセを補正する作業すら、いずれはモデル自身が内部で調整できるようになっていくのかもしれません。そうなれば、上記のような手作業による準備との確率的なプロンプトのメタ修正も不要になるのかと思います。
最後に宣伝
STORYAIでは、今回取り上げたネットワーク分析を簡単にお試しいただけます。
作品を分析していただき、追加自然言語分析＞ネットワーク分析と進んでいただくと、結果を確認できます。