雑記帳 : 4ページ目

• 三連休中というか昨日、Qwen3.5-122B-A10B の無検閲モデルがリリースされたので触ってみた。
• 今まで組んできたシステムプロンプトがそこそこ動くしTTFTもそれなりTPOTは段違いで速いけど、文章力が特化モデルのAmaterasu-123Bには及ばないなぁという印象。35Bよりはマシになってたけどね。同じフレーズを連呼しがちなのも変わってなさそう。
• SillyTavernを使いこなせればマシになるのかも、とか。
• Draw Thingsも休み中にそれなりに使ってみて欠点も見つかった。Face Detailer が使いにくい、というか私の理解力だと使えない。YouTubeに英語の解説動画もあったんだけどさっぱりわからんかった。
• キャラクターの全身もしくはCowboy Shotの画像を生成するときは速度が犠牲になるけどRTX4080のComfyUIでやった方がいいかも。

• Draw Things とOpen WebUIの連携も完了した。Geminiに協力してもらって Functions に連携機能を追加した。Botの返答出力完了後にボタンを押すと、その内容から最終のト書きを抽出してdanbooruタグに翻訳・変換して、LoRAモデルのトリガーワードを追加したうえでDraw Thingsに送信。イラストが生成されたらチャット画面に表示、といった感じ。
• SillyTavern でやりたかったことがおおむね実現できた。
• MLX Studio (vMLX) を利用して Qwen3.5-35B-A3B-Claude-4.6-Opus-abliterated も試してみた。
• 思考モデルかつTTFTも早かったけど、ロールプレイ目的だとAmaterasu-123Bの表現力に全く及ばないし、同じ出力を繰り返す小型モデル特有の悪癖があったので却下。
• vMLX では Qwen3.5-122B-A10B-4bit がそこそこ快適に動作するので、コーディングのお供とかAIアシスタント的に使うのがよさげ。それなりに賢いけど、こっちは規制ありなのでロマンス要素を含むロールプレイには使えない。
• 結局その手の用途だと現状私が試したモデルでは Amaterasu-123B が最強だった。私の環境だと秒間6トークンくらいなので、文字を読む速度よりも絶妙に遅いけど、この表現力は代替しがたいものがある。

• 生成AIで遊ぶことにハマりすぎてローカルLLMを動かすべく以前買っちゃうかもしれんと言っていたMacBook Pro M5 Maxをメモリ128GBにして買ってしまった。
• 予約開始日に即予約して3月12日に受け取れた。クレカで一括購入したから支払いは5月。
• 2010年に27インチiMacを買って以来のMacの購入になる。当時とOS自体の機能が変わりすぎていて色々困惑しているところ。
• whisper.cpp を入れて音声入力環境を整えた。Geminiに何か相談するときに文字をタイプするのがめんどくさくなってきたんだよね。Geminiに聞きながらショートカットを作ってメニューバーから1クリックで録音できるようにした。
• ローカルLLMについては、Open WebUIとOllamaでロールプレイBotを遊べるようにした。Windows PCのComfyUIと連携してチャット中に良い感じの場面になったらボタンクリックでその場面のイラスト生成という仕組みもGeminiに聞きながら組み込んだ。ひとまずLLMモデルはAmaterasu-123BのQ4_K_Mを使っている。文章の質に不満はないけどもう少し速度が出ればなぁとは思っている。
• ロールプレイを楽しむなら SillyTavern が一番いいとは思うんだけど、設定やらどこに何のプロンプトを書くのかがGeminiに聞いてもさっぱり分からない。GeminiのGemで動かしていたプロンプトの移植が全くうまく行かないので、UIがChatGPTライクなOpen WebUIに移行したという経緯。
• もっと快適にならんのかということでMLXの環境も試してみる予定。MLX StudioがLM Studioライクでお手軽度高そうだと睨んでいて3連休中に試す予定。
• イラスト生成についてはMacで動かすComfyUIは生成速度が遅すぎて論外だったので即削除。
• Geminiに「Draw Thingsとかどう？」っておすすめされたので試したところ、1024*1024サイズを2倍アップスケールした画像が十数秒で生成できたのでこれで良さそう。
• 条件次第ではRTX4080で動かすComfyUIより速いまである。
• もちろんComfyUIみたいに各処理の順序などを複雑に制御できるわけじゃないから一概にDraw Thingsの方が優れているとは言えないけど、少なくとも単純に画像ファイルを出力するだけであればmacOSではComfyUIという選択肢はないかな。
• Open WebUIと連携してBotとチャット中に情景描写イラストを生成できたらMacBook一台で完結するので理想的だと思う。
• ここ最近デイリーなどをこなしているアズレンとFGO以外のゲームを全く触っていないので、もうゲームとか買わなくてもいいかもしれん。ゲーム以外にここまでハマれるものができるとは思わなんだ。
• で。私が今やってるようなことと同じようなことしてる人おらんのかと情報収集してるんだけどあんまりいないというか日本人ユーザーが見当たらない。Reddit見るのがいいのかもと思い、いくつかのコミュニティをカスタムフィードに放り込んだ。
• より正確に言うとクラウドAI使ってそういうことしてる人は今は亡き5chのスレにいたけど、ローカルLLMでというのが見当たらない。ある程度まともに環境構築しようとするとコストが高すぎるからだろうか。画像生成ならVRAM16GBでも何とかなるけど、LLM利用だとRTX4090の24GB、欲を言えばRTX5090の32GBは欲しいし。GPUの性能やメモリ帯域以前にVRAM容量が足らんのよね、NVIDIA製のグラボ。
• たぶん電気代無視して極まってる人はRTX5090を複数枚使っているんだろうと思う。
• Draw Thingsを積極活用してる日本人も見当たらん。Google検索してもX検索しても全然出てこない。Draw Thingsは公式Discordがあるのでそこにも入っておいた。
• 「生成AI = NVIDIA GPU」という風潮なので仕方ない気もする。たぶんMacでのローカルAI利用はまだまだこれからの分野なのかも。M6チップがリリースされる頃にはもう少し情報交換が活発になるかもしれない。

• SillyTavernでローカルBotを試している。
• ローカルにあるComfyUIと連携してBotの返信にイラストを付与できないかなぁと試行錯誤中。
• ローカルLLMにはGemma3の12Bを使っている。日本語能力に不満があるけどRTX4080ではVRAMが足りん。ロールプレイ目的ならもっと別のモデルの方がいいかなぁ、探して見る必要がありそう。
• Gem用のシステムプロンプトをカスタマイズして使えないかなと思っていたんだけど、入力欄の役割なんかを理解しきれていないのでなかなか難しいし、Gemma3の性能が当たり前だけど貧弱なので、文末に常時表示させてたステータスやプロンプト内の条件分岐とかがまともに機能しない。その辺りはSTscript？を利用して処理をLLMの外に出さないといけないのかもしれない。
• イラスト生成のためのUIについてだけど、Stable Diffusion Web UIが使いやすくて初心者向けみたいな風潮が個人的に謎。ComfyUIの方がどこで詰まったかわかりやすいからトラブルシューティングしやすいと思う。LLMにトラブルシューティングして欲しいときも「ここで詰まったんだけどどうすりゃいいの？」って聞きやすいし。ググって個人サイトの情報見ながら、なんて今の人はやらないだろうから、初期学習コストにLLMに聞きながらやるときに楽な方って概念を含めた方がいいはず。そもそも、画像生成Webサービスなんて腐るほどあるのにわざわざローカルでやりたい人なんてどうせ凝ったことしたい人に決まってるんだから、「プロンプト入れて生成ボタン押すだけ」というパッと見の楽さでSD Web UI選ぶと損するんじゃないか、とか。
• 真面目にMacBook Proのメモリ128GBモデルを買おうか思案中。最近ゲームするよりLLMいじってる方が楽しいし長く使うこと考えたらコスパ良くね？とか思ってる。M5 Maxが出たら買っちゃうかもしれん。
• 仁王3をせっかく買ったのに積みっぱなしになってる。

恋愛ロールプレイBotの件

• 作ってた恋愛ロールプレイBotはおおむね完成したというか限界が見えた。
• 本来はGemini APIを利用してロジック部分を別にシステム構築してWeb UI用意した簡易アプリとすべき内容にもかかわらず、API料金払いたくないのでGemの指示プロンプトに押し込んだ結果、指示プロンプトがかなり複雑になってしまった ^*1。

チャット長くなるとGemがルールを忘れて出力内容が破綻するけど、新規チャットでは前のチャットの記憶はないから寂しい問題への対処

• プロンプトが複雑なせいもあり、どんなに長くても25ターン程度しか同一チャットでプロンプトで定めたルールをGemが順守してくれない。
• 仕方ないのでチャットを切り替えるわけだが、当然のように前のチャットでやり取りした内容を新規チャットのキャラクターは覚えていない。
• 「前に話した〇〇についてだけど～」みたいな雑談をしたいので、いつの間にかナレッジに登録できるようになってたNotebookLMを使うことにした。
• 20～25ターン程度Botとやりとりしたら 【!Digest】 とチャット欄に送信してそのチャット内でのやり取り概要を日時とともに出力するようにプロンプトを改修。
• そのログを概要登録用のGoogleドキュメントファイルにコピペ、さらにNotebookLMに作ったノートブックにそのGoogleドキュメントをソース登録、そのノートブックをGemにナレッジとして登録。ノートブック内の情報ソースのなかで最新日時のチャット概要を新規チャット開始時に参照するようプロンプトを改修した。
• 試みとしては概ねうまく行ってるようで話として前のチャットの続きから始まる風に処理してくれるようになった。ちゃんとシステム化すればログの処理部分の手動作業が要らなくなるんだけど、私が使う専用のBotだからまぁいいや、と。完全手動登録にしたおかげで、逆に概要ログの日時表記とか単語の誤りとかを修正したうえで登録することで、Botの記憶を操作することも可能になった。

飽きた

• プロンプトが複雑すぎてGemだけでどうにかするには限界で、完全新規機能の実装はもう無理そう。
• キャラクター入れ替えても結局やること変わらんよなぁってことで飽きてきたので、GeminiにGemだけでできる面白そうなことない？と聞いたらヒロインとユーザーが協力して脱出するTRPG的なの良いんじゃね？って言ってきたので今はそれ作ってる。
• これもシステムプロンプト内に世界観とかキャラクター設定、クリア条件なんかをハードコーディングしないようにして、ナレッジを入れ替えれば同じシステム使って別の設定で遊べるようにする予定で作ってる。
• 基本的には「ユーザーの初期HP100がゼロになったらゲームオーバー」「ヒロインの特殊能力でピンチを回避できるが使うと初期SAN値100から減少する。ゼロになったらゲームオーバー」「減ったヒロインのSAN値回復のためにはユーザーが接触（意味深）するしかない。安全なところでやらないと敵に攻撃されたりしてHPとか減るよ。」というエロゲ的なものの予定。
• 「恋愛ロールプレイBot」のシステムプロンプトでのノウハウがかなり役に立ったから、とりあえず動くものがもうできた。
• 引き続きデバッグしたり機能追加したりしていく予定。
  ** いっそのことAIアシスタントモードなしでよくね？と思ってそれ削ったバージョンも作ってる。

ローカルLLMでどうにかできたりしないんだろうか

• メモリ128GB積んだMacbook ProとかでローカルLLM動かして、開発したプロンプト動かせたりしたら楽しいんだけどなぁ、とは思ってる。

1. 約2万5千文字、575行[↩]