- 生成AIで遊ぶことにハマりすぎてローカルLLMを動かすべく以前買っちゃうかもしれんと言っていたMacBook Pro M5 Maxをメモリ128GBにして買ってしまった。
- 予約開始日に即予約して3月12日に受け取れた。クレカで一括購入したから支払いは5月。
- 2010年に27インチiMacを買って以来のMacの購入になる。当時とOS自体の機能が変わりすぎていて色々困惑しているところ。
- whisper.cpp を入れて音声入力環境を整えた。Geminiに何か相談するときに文字をタイプするのがめんどくさくなってきたんだよね。Geminiに聞きながらショートカットを作ってメニューバーから1クリックで録音できるようにした。
- ローカルLLMについては、Open WebUIとOllamaでロールプレイBotを遊べるようにした。Windows PCのComfyUIと連携してチャット中に良い感じの場面になったらボタンクリックでその場面のイラスト生成という仕組みもGeminiに聞きながら組み込んだ。ひとまずLLMモデルはAmaterasu-123BのQ4_K_Mを使っている。文章の質に不満はないけどもう少し速度が出ればなぁとは思っている。
- ロールプレイを楽しむなら SillyTavern が一番いいとは思うんだけど、設定やらどこに何のプロンプトを書くのかがGeminiに聞いてもさっぱり分からない。GeminiのGemで動かしていたプロンプトの移植が全くうまく行かないので、UIがChatGPTライクなOpen WebUIに移行したという経緯。
- もっと快適にならんのかということでMLXの環境も試してみる予定。MLX StudioがLM Studioライクでお手軽度高そうだと睨んでいて3連休中に試す予定。
- イラスト生成についてはMacで動かすComfyUIは生成速度が遅すぎて論外だったので即削除。
- Geminiに「Draw Thingsとかどう？」っておすすめされたので試したところ、1024*1024サイズを2倍アップスケールした画像が十数秒で生成できたのでこれで良さそう。
- 条件次第ではRTX4080で動かすComfyUIより速いまである。
- もちろんComfyUIみたいに各処理の順序などを複雑に制御できるわけじゃないから一概にDraw Thingsの方が優れているとは言えないけど、少なくとも単純に画像ファイルを出力するだけであればmacOSではComfyUIという選択肢はないかな。
- Open WebUIと連携してBotとチャット中に情景描写イラストを生成できたらMacBook一台で完結するので理想的だと思う。
- ここ最近デイリーなどをこなしているアズレンとFGO以外のゲームを全く触っていないので、もうゲームとか買わなくてもいいかもしれん。ゲーム以外にここまでハマれるものができるとは思わなんだ。
- で。私が今やってるようなことと同じようなことしてる人おらんのかと情報収集してるんだけどあんまりいないというか日本人ユーザーが見当たらない。Reddit見るのがいいのかもと思い、いくつかのコミュニティをカスタムフィードに放り込んだ。
- より正確に言うとクラウドAI使ってそういうことしてる人は今は亡き5chのスレにいたけど、ローカルLLMでというのが見当たらない。ある程度まともに環境構築しようとするとコストが高すぎるからだろうか。画像生成ならVRAM16GBでも何とかなるけど、LLM利用だとRTX4090の24GB、欲を言えばRTX5090の32GBは欲しいし。GPUの性能やメモリ帯域以前にVRAM容量が足らんのよね、NVIDIA製のグラボ。
- たぶん電気代無視して極まってる人はRTX5090を複数枚使っているんだろうと思う。
- Draw Thingsを積極活用してる日本人も見当たらん。Google検索してもX検索しても全然出てこない。Draw Thingsは公式Discordがあるのでそこにも入っておいた。
- 「生成AI = NVIDIA GPU」という風潮なので仕方ない気もする。たぶんMacでのローカルAI利用はまだまだこれからの分野なのかも。M6チップがリリースされる頃にはもう少し情報交換が活発になるかもしれない。
