雑記帳 : 2ページ目

システムの大幅改修中

画像生成UIがほぼほぼ完成してしまったのでこっちに注力。お盆休みを利用して一気に進めた。まぁ以下の内容はお盆前に終わらせたものとかも混ざってるけど。

UIについて

• UIを刷新してスマホでも利用しやすくなった。
• 手順としてはClaude Designに要件を渡してモックを作ってもらって、それをCodexに渡して実装させた。Codexにいきなり実装させると試行錯誤のトークン数がもったいない。

新規実装・改修した内容

• 今まで全データをJSONファイルで保存していたものについて、セッション情報とか記憶情報なんかはSQLiteに保存するようにした。
• Irodori-TTS-Server を導入してBotの出力後にセリフの読み上げができるようになった。キャラ設定でキャラごとにサンプルボイスを選択できるようにした。実装当初は Irodori-TTS-500M-v3 いつのまにか Irodori-TTS-v4-Small を利用したもののバージョンアップしていたので、再調査のうえ実装しなおす羽目になった。
• 当初はシステムの設定内に記述するプロンプト次第でロマンス要素も含むTRPG的なものも遊べるようにみたいに進めていたけど、構想ベースになってる私が作ったGeminiのGem用に書いてたシステムプロンプトにもとづいてロマンス要素に特化することにした。汎用システムだと開発を進める意味があまりない。Marinara-Engineで良くね？みたいな。
• ステータス処理を本格実装した。システムとLLMでうまく仕事を分担して数値計算する感じ。GeminiのGemでは完全にLLM任せだったところを、LLMに文脈判断だけ ( true または false ) を担当させてシステム側がそのフラグを受け取って更新するイメージ。LLMに数値管理を任せると破綻するので、数字は扱わせない方針。挙動としては、例えば好感度が80になったらユーザーからの告白でキャラクターとの関係が進行する判定が発生する、欲求度が低い時に身体的接触を図ろうとすると拒否られる、とか。毎ターン更新予定。
• シーン情報の導入。今いる場所とかどういった場面なのかとかいう大雑把な情報。こっちは3ターン毎くらい。
• 感度レベルの導入。ロマンス行為でキャラクターが絶頂するたびに経験値が蓄積して、レベルによって高揚度 (100になると次のターンに絶頂) の上昇値に補正がかかる。身体的開発、みたいな。
• 現状は自動更新機能はないのでボタンをクリックして手動更新。自動更新したいところなんだがステータス処理が複雑すぎるせいなのか更新にめちゃくちゃ時間がかかるようになってしまったのでボトルネックになっている箇所を調査中。
• 実装済みだった記憶機能は直近の記憶情報3件とピン止めしていた最大15件をBotの出力用プロンプトに入れるとかいう単純な仕組みだった。これをEmbeddingモデル (Qwen3-Embedding-0.6B) を導入して簡易的なベクトル検索を導入して改善した。はずなんだが、開発作業ばかりでシステムを使い込めていないので、機能しているかどうかがどうもよくわからん。本末転倒感がすごい。
• ComfyUIと連携した画像生成機能は実装済みだった。ただし生成速度が遅くて話にならなかったので、システムで利用するベースモデルを8ステップくらいでまともな画像が出てくるAnima-Turboに変更 ^*1 。さらに画像生成プロンプトもキャラクターステータスに脱衣状況や今の服装などを導入し、前述のシーン情報も利用することでセッションの進行で生成するたびに服装や場所が毎回変わる現象を減少させた。
• 画像の削除と再生成機能もなかったのでそれも実装。
• ついでなのでキャラクター設定内でも画像生成用のプロンプトをLoRAのトリガーワードを含めた身体的特徴の欄と、初期衣装プロントに分けた。これによってステータスに服装情報がある場合はそれを使って、ない場合は初期衣装タグを使って画像生成という流れにした。

機能改修に関しての全体的な方針

• LLMに何かさせる場合は「特定の形式のJSONを返せ」といった指示を出さないようにしている。ローカルで動く程度のモデルとか、DeepSeek-V4あたりだと返答形式の遵守が厳しめで、システム側でエラーになりやすい。ふわっとした形式のテキストを返してもらってそれをシステム側で利用できる形に整形といった手順にしているつもり。

今後の予定

• 前述したとおり現状ステータス更新処理に時間がかかりすぎるのでそこの改善が再優先。
• NSFW表現の多様化。どうもLLMの文章が単調なのでシステムで語彙力を高められないか検討中。
• ステータスなどの自動更新機能。バックグラウンドのエンドポイントを別途設定できるようにして、軽量・高速LLMでユーザーがキャラクターとやり取りしている裏側で処理させたい。
• スマホでの使い勝手が未だに微妙なところがあるので改善したい。
• ランダムイベントの導入。「キャラクターとデート中に突然雨に降られる」「不倫してて行為中に着信が入る」とかそういうの。
• キャラクター側の短期意図の導入。「ユーザーと恋人になりたい」「今度はデートで水族館に行きたい」とか。現状だとあまりにも展開がユーザーの入力頼みになってしまっていて、遊んでいて私が面白くないのでランダム要素というか、キャラクター主導の要素が欲しいなということで試行錯誤中。
• Irodori-TTS-Serverでの演技指導の導入。caption を利用してどんな話し方なのか指示できるらしいので演技力を向上させたい。とか何とか言ってたらIrodori-TTS本体が Irodori-TTS-v4.1-Small になってたのでまた入れ替え作業が必要そう。今回は前回ほど作業量が多くないと思う。APIとかはそのまま使えるらしいし。

その他

• なんつーか、こういう話してる日本語コミュニティがあんまりない気がする。モデルの性能がどうのとか、そういう技術的な話ばかり。

1. 将来的にAnimaベースのモデルであればほかに変えられるようにしてもいいかなとは思った[↩]

色々作ってるやつの経過メモとか。

画像生成GUI

• なんかSafariのアップデートの所為なのか blob:http でプレビューできる画像を直接別タブで開くことができなくなってので、生成履歴ライブラリと生成画面のプレビュー欄に拡大表示ボタンを実装して画像を拡大表示できるようにした。
• 新機能に関してはうーんという感じなのでいったん開発を止めている。

デスクトップマスコット

• LLMを利用した伺かが欲しい、ということで開発開始。
• Swift使ってmacOS完全ネイティブにしようかと思って作り始めたものの、Xcodeが使いづら過ぎるので、Tauri + Rustでゼロから作り直している。
• ごくごく基本的な機能の実装は完了して、LLMを利用したランダムトーク（季節や天気によっても内容変更、蓄積された会話履歴からも話題抽出）、ユーザーの入力に応じた応答、Irodori-TTS-Severを利用したセリフの読み上げ、台詞の感情に応じた立ち絵の切り替えと瞬きアニメーション、長記憶機能、あたりは実装完了。
• 基本実装が済んだ今はリファクタリングというか、基礎の見直し工事中。
• それが終わったら好感度変化みたいな機能を取り入れたいところ。あとは伺かみたいな立ち絵切り替えとかじゃなくてアニメーションさせたいのよね。

ロールプレイチャットシステム

• Irodori-TTS-Serverを使ったセリフ読み上げが思いのほか破壊力高かったので、こちらにも実装すべく改修中。
• 台詞しか出力されないチャットモードでは問題ないんだけど、ト書きがある小説モードではト書きが読み上げられないようにTTSサーバーに投げる内容の事前処理が必要。
• 自動再生も考えたけど、一度読み上げられた台詞を聞きなおしたいこともあるだろうということで、Bot側の出力の再生成ボタン、編集ボタンの並びに読み上げボタンを設置することにした。
• Irodori-TTSのベースのボイスはキャラクターごとに設定できる必要があるので、そこも考慮しないといけない。
• 今のところ全データがJSON管理なので少し見直すべきかなぁとは思っている。IndexedDB使うのかSQLite使うのか。

• 飾りになってたベースモデルの管理機能を実装しておいた。今は主にSDXLとAnimaだけ。
• LoRA学習素材画像のための連続生成機能を付けた。今まで作ったIllustrious用のLoRAをAnima用にするために実装。
• Duoモードの時にAnima LLLite Regional Controlnetを利用できるようにしてみたけど、用意するマスク画像自体がなかなか難しい。適切なマスクを用意しないと人体が崩壊する。

• 生成履歴の保存機能を拡充してアルバム機能を付けた。気に入った画像を選択して整理できる。アルバム内で並べ替えもできてダウンロードも可能。スライドショー機能とかあってもいいかもしれん。
• 生成履歴の検索機能も実装。プロンプト内のタグとか利用したLoRAで検索できる。
• Duoモードの実装も終わった。のだがキャラクター同士の衣装設定とかが混ざるのでプロンプト構造を改善する必要がありそう。Animaは位置関係を間違えることはないんだけど、キャラクターの明確な描き分けがプロンプトだけだと厳しいのかもしれない。
• テキストエンコーダーに4Bとか8BクラスのLLMを使ったアニメ系に強い生成モデルが出てくればいいんだけどなぁ。Flux.1とかだとアニメ系が弱すぎてダメ。実写には興味ないねん。

現状の色々

• ロールプレイチャットについてはステータス実装で止まっている。同じLM Studio上でメインモデルとバックグラウンドモデルを同時に動かすと今の作りではKVキャッシュが壊れて出力が遅くなるので、複数のローカルLLM APIに接続できるようにはした。
• ComfyUIのプロンプトを書くのを楽にするためのGUIを作り始めた。特定の構図や衣装のイラストを出力するときにdanbooruタグ調べたり、自分で作ったLoRAのトリガーワードを毎回メモファイルからコピペするのめんどくさいな、と。Xで作ってる人を見かけたので、自分も似たようなの作ればよくね？となった。
• 自分で組んだワークフローのJSONをベースにAPI処理を書かせることができて楽そうだから、バックエンドはComfyUI固定にした。A1111系は処理過程においてどこで何やってるかぱっと見で全然わかんないから、トラブった時の原因調査が難しくてだいぶ前に投げてしまった。
• 大まかな機能は完成しつつある。
• それにしてもコーディングエージェント任せでUIを作るとアクセントカラーを紫にしがちなのは何なんだろうか。

現状の基本機能とか

現状は以下のような感じ。一人の人物の且つ初期状態だと女性限定みたいになっている。タグの編集機能はあるからタグを差し替えれば男性キャラクター生成にも使える。

• データの保存はIndexedDB
• ComfyUI接続先URLの登録
• 生成画像のサイズ指定
• 2倍アップスケールのオン・オフ。オンの場合はアップスケール用のLoRAも指定可能
• FaceDetailerのオン・オフ
• 低VRAM環境というかmacOSだとアップスケールなどでこけやすいので、Tiled VAEの利用のオン・オフ機能。RTXのいいやつ使ってる人はオフの方が生成が早い
• LoRAの管理機能: システム内で使いたいLoRAとトリガーワードを管理できる
• タグのプリセット保存機能: 特定のタグの組み合わせをプリセットとして保存できて、クリックすると即反映
• 生成履歴の保存機能: 今まで作った画像をギャラリー的に閲覧可能。プリセットごとにフィルタリング可能。画像の削除やダウンロード、画像からのタグ選択状態の復旧も可能
• 各種タグの選択機能
  • 品質
  • アートスタイル（LoRAも指定可能）
  • キャラクター: 髪型・色、瞳の形・色、表情、体型など。（キャラクターLoRAも指定可能）
  • 衣装: ワードローブ的な感じでアウター、トップス、インナー、ボトムス、レッグウェア（靴下など）、靴、ヘッドウェア（帽子とか）、フェイスウェア（眼鏡やイヤリングなど）、ネックウェア（ネックレスやネクタイなど）、ハンドウェア（手袋など）、その他装備品（スマホやバッグなどの小道具）を選択して組み合わせられる。それぞれのパーツごとに色選択も可能。
• 選択タグの重みづけ機能: 選択したタグについて重みづけを変更してプロンプトに反映可能
• 各種タグの管理機能: ベースのタグは登録済みだが新規のタグを追加可能。CSVでのインポートとエクスポートも可能
• プロンプトの重複確認および整形機能。例えばロングヘアとショートヘアを両方選択してたら警告が出る。警告が出るだけで解消するかどうかはユーザー任せ
• もろもろ選択し終わったら生成ボタンをクリック。インジゲータが100%になったら画像が生成されてライブラリに保存される

将来的な構想や妄想

• 二人の人物の絡んだイラストを生成できる「Duo」モードを実装したい。
• 手をつないでデートしている、夜のプロレスしている、みたいな。
• そのためにはどういうUIがいいのか、そもそも生成のためのベースモデルはSDXLじゃなくてプロンプトを自然言語で記述できるやつの方が良さそう。
• タグ選択UIは維持したいからローカルLLMと連携してタグから自然言語プロンプトを生成とかかね。
• 今だとAnimaとか？
• Soloモードで生成した画像を利用してDuoモードでキャラ指定とかできたら楽そう。

開発作業について

• 今まではずっとClaude Codeを利用していたんだが、コーディングエージェントをCodexに切り替えた。
• Claude Codeはサボりが多すぎる。特にドキュメント更新とバージョン管理。
• 作業計画を提示させるとClaude Codeは「今回はこのドキュメントの更新は不要です」とか自信満々に言ってくるけど、そんなことなくて更新必須やろというパターンが多すぎる。
• 私の使い方が悪いだけな気がするけど、雑な指示でもしっかり・きっちり・慎重に作業してくれるCodex (GPT-5.5) の方が私には今のところ合っている。
• 両方使える金銭的な余裕があるならClaude Codeに作っと作業させてCodexに作業毎にレビューさせるか、ひと段落したところでCodexにリファクタリングさせるというのが良さそう。
• Skillsだのなんだのは良く分からないので私は使ってない。
• ちなみに私はプログラミングが全然分からないのでロールプレイチャットシステムと同様に完全ノーコード開発である。AIに全部丸投げしてダメ出ししてるだけ。