ComfyUI用のGUIを開発中その4

従来の日本語選択からのDanbooruタグを利用してプロンプト組み立てて画像を生成する機能とは別に、VLMをバックエンドにしてチャットしながら画像を生成できるモードを実装中。
VLMは入力された画像や文章からプロンプトを組み立てて、システムがComfyUIに投げて画像を生成する仕組みで進めている。
チャット形式で生成された画像にダメ出しするとプロンプトを内部で調整して再生成できる。簡易版のChatGPT Imagesみたいなイメージ。
生成画像はセッションに紐づく形で、気に入った画像だけ履歴ライブラリに保存できる。
セッションを削除するとライブラリに保存してない画像は一緒に消える。
想定している機能を実装したつもりなんだが、VLMが吐き出す生成プロンプトにreasoningの内容なんかが混じることがあるので調査中。どうしても、VLMのパラメータ数が少なすぎるので仕方ないとは思うけど。システム側でどう吸収するかというところ。
最終的には入力内容に応じてInpaintで済ませたりとか、そういった処理内容の分岐みたいなのを自動判断できるようにしていきたいところ。