どうでもいい雑記その1859

ロールプレイチャットシステム

• メインのチャット用のサーバーとは別にバックグラウンドサーバーを指定してステータスなどの自動更新を実装した。
• 今までの手動機能をほぼそのまま自動で実行するようにしただけ。
• メインチャットはOllamaのクラウドモデル、バックグラウンド処理はローカルのLM StudioでGemma4-26B-A4BのMLX版を動かすことで現状は対応している。完全ローカルの場合はメインをGemma4-31Bにする必要があるので、バックグラウンド処理はGemma4-E4Bあたりにしないと厳しそう。
• システムのファビコンが現状のUIイメージと合ってなかったので適当にAIに作らせて手元のAffinityで調整して差し替えた。
• .commandファイルで起動して、Ctrl+Cで終了というのが面倒だったので、起動用のランチャーアプリをCodexに実装させた。Dockで起動と終了ができるようになったので便利。

画像生成用GUI

• 前述のファビコンの差し替えについてなかなか反映されなかったので、Safariブラウザ内データを消すかと作業したら、当然IndexedDBに保存していた本システムのデータも吹き飛んだ。
• タグ辞書とかチェックポイントやLoRAの登録情報、画像の生成履歴が丸ごとなくなった。ComfyUIがバックエンドなのでモデルデータ自体はそこに残っている。消えたのはあくまで参照情報だけ。
• そもそもブラウザ内に保存しておくのが良くないわけで、ということでロールプレイチャットシステムと同様にSQLiteに移行すべく作業を始めたとこ。
• 移行完了後の作業として、LoRAの再登録はまぁいいんだけど、タグ辞書の再登録がめんどくさいなぁ。こまめにバックアップ取っておくべきだったわ。

その他

• ローカルLLM動かしたいからということで今MacBook Pro買うのはあんまりおすすめできないなぁと。
• とはいえMacStudioはいつ出るかわからんし、十分なサイズのLLMを動かそうとすると200万とか300万とかになりそう。
• M5 Maxにするならメモリ128GB一択。M5 Proなら64GBが良さそう。メモリ64GBにした時の価格がMaxとProで20万くらい違う。
• LLM目的なのにユニファイドメモリをケチって36GBとかにするのはお金の無駄なのでやめた方がいい。個人的にはMacBook ProならM5 Maxの128GB以外選択肢ないと思う。
• あとMacの場合、標準の状態だとユニファイドメモリの75%をVRAMとして利用できる。128GBなら96GBがVRAM扱い。割り当てを無理やり変更もできるけど、結局macOS動かす分とかは確保しておかないとダメだしね。VRAM128GBとか最強やんけっていうのはそうじゃないので要注意。これはDGX Spark互換機も同じ話。
• 今買うならAmazon.comでASUS Ascent GX10がやたら安い。関税とか送料とか考慮してもたぶん安い。日本のAmazonで売ってるやつ転売品じゃねーの？と思ったり。2台買うと楽しいかもしれない。
• あとはRTX5090積んだゲーミングPCにRAMを128GBとか192GBとか積んでFreeToken使うとか？ GPU代だけで死ぬほど高いけど。
• RTX50系のVRAM16GB以上のモデルを使っててRAMが最低64GBできれば128GBとかあるとFreeTokenためしてみてもいいかも。
• LLM目的だけ考えると NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition が最強な気もするけど、それを買うお金でRTX5090積んだPCが余裕で組めそうなのでコスパとしてどうなのか。
• 明日からChatGPT PlusにCodex使用量の5時間制限が復活するらしい。主に週末にまとめて作業する民としては厳しい。
• 断酒して酒代をChatGPT Pro代に充てるかわりと真面目に考えている。