- VRAMに余裕のある環境ではチャット出力用メインモデルと、ステータス処理・記憶自動処理用のバックグラウンドモデルの二つのLLMモデルをロードできるようにした。
- バックグラウンドモデルをどの程度にするのかについては思案中。たぶん設定画面で指定されてるサンプリングの値がバックグラウンドモデルの自動処理では使われていないのでそこも改善しないといけない。
- 今はシステム全体を再度リファクタリングしているところ。
- 二つのLLMモデルをロードについても勝手にモデルがアンロードされてしまうこともあって挙動が不安定。リファクタリングと再調査が終わったら原因を突き止めたいところ。
- それが終わったら思考軽めのMoEモデルでおこなって、その試行結果に基づいてメインモデルには思考させずに出力するといった形にして、最初の一文字が出力されるまでの時間を短縮したい。
- あとはプロンプトとして差し込んでるだけでなんとなく変動させてるステータスの各数値をきちんと変動、Botの返答内容に反映させたいというのはある。そもそもチャット画面にステータス表示もないのよね。もう少しギャルゲー化というかそういう形にしたい。
- ベクトル検索とやらも導入して世界設定なんかをキャラクター間で共有できるようにもしたいんだよね。全部をキャラクターのシステムプロンプトに書くとローカルLLMには荷が重い。
- 画像生成機能も同一LANネットワーク内のComfyUIを使えるようにしたい。DrawThingsでFaceDetailerみたいなことをする仕組みが全然分からないんだよね。全身に近いキャラクターの画像がチャット内に生成されるときに顔が崩れがちなので何とかしたいって感じ。
- TRPG的な硬派な用途にも使えるようにはいずれは考えてるけど、ひとまずNSFWな要素も含む恋愛ロールプレイに特化させて基盤づくりを進めるつもり。
- ちなみにSillyTavern使いづらい系の人は「Marinara-Engine」がだいぶモダンで使いやすそうな雰囲気が漂ってる。まぁ使ってないから憶測でものを言ってる部分もあるんだけど、私が今作ってるやつの最終形態みたいな印象。
その他
- FGOの新イベが始まった。いちおうストーリーをきちんと追いかけている。
- アズールレーンもエロバレーコラボが金曜までで終わってしまうので、作業の片手間でもう少し周回を重ねてコラボ装備なんかの取り逃しをしないようにしたい。
- しばらくはゲームを買ったりフィギュアを買ったりってのはやめるつもり。バニーガーデン2も全然遊べてないし。Diablo4の拡張版も購入済みで明日から遊べるはずなんだけど、それも積んでしまおうかなって。ローカルLLMで遊んでる方が楽しいし、あれもこれもと手を出すには時間が足りない。
