どうもPdM の川合です。 あいも変わらず、LLMがどんどん出てきますが、 今回は先日リリースされたGemini 4 Algonをつかって漫画のコマ分析をアップデートした話です。
ん？
アップデートって言った？
はい、アップデートです。
しれっと、精度があがりました。
が、実はAlgonのテストをしていて気が付いたので結果的に・・・ というお話もしたいと思います。
さて、これまでは矩形で切り抜いていたので、1枚目の様な斜めの物をきれいには抜けませんでした。 しかし今回からは精度が上がったことで斜め切断も容易に。 ところが、Claude Fableは最も高いモデルなのに目を持っていないのでこのような形に。
次に、普通の矩形のみです。おかしいですね、やはりFableはうまく行きません。むしろClaude Opus5.5の方が良いまである。
3枚目です。これをみると、GPT 6.1 SolとGemini 4 Algonが段違いでコマからはみ出るセリフを切り抜けています。 どっちが精度が高いのかというと、GPT 6.1 Solですね。Algonは下側の境界線が、上のコマのセリフの境界線に接続してしまっています。 実に惜しい。
さて、4枚目。 このコマの認識で私はメインをGPT 6.1 Solにしようと決意しました。やはり、見えないところに境界線があると認識できている事がポイントです。 これはどういうことかというと、たぶんそらは白ではなくスクリーントーンか何かで薄くグレーが入っていたはず。 目視できないほどの薄いものがあったと思います。 そこを指示せずに機械的に抽出したのがGPT 6.1 Solで、境界線が下と認識したのがAlgonでした。
最後の5枚目。Algonらしくない、境界線認識のずれが下のコマに発生。なぜか、下から2番目のコマの下側の境界線に接続している。
そのため微妙なコマ切りになっている。
ということも含め、Algonに3.6からそのまま継承しようと思っていたんですが、やめました。 ただ、フォールバック先としては非常に優秀なので、
GPT 6.1 Solを第1優先にして、ダメだった場合にGemini 4 Algonを選択するという流れとなりました。 今日から使えるようになっています。
STORYAI v11 今日、開幕です。
※今回もテストで、佐藤秀峰先生のブラックジャックによろしくを利用させて頂きました。いつもありがとうございます！