複数PCのGPUを束ねる「Mesh LLM」公開──OpenAI互換APIで分散推論

何が発表されたか

分散ネットワーク技術「iroh」の公式ブログは、複数のパソコンやサーバーにあるGPUとメモリをまとめて使う「Mesh LLM」を2026年7月11日に紹介しました。1台では動かしにくい大きなAIモデルを、複数の端末に分けて動かせる仕組みです。

Mesh LLMは、利用者のアプリに対してOpenAI互換APIを提供します。標準的なOpenAIクライアントからローカルのAPIへ接続できるため、アプリ側は処理がどの端末で行われたかを意識せずに利用できると説明されています。

詳細

公式ブログによると、AIへのリクエストは3つの方法で処理されます。1つ目は自分の端末のGPUで動かす方法、2つ目は必要なモデルを読み込み済みの別端末へ送る方法、3つ目は1台に収まらないモデルを層ごとに分け、複数端末を順番につないで動かす方法です。

モデル一覧には40以上のモデルが用意され、5億パラメータ規模から2350億パラメータのMixture-of-Expertsモデルまで含むとされています。ただし、一覧にあるすべてのモデルが、どの端末構成でも同じ速度や品質で動くという意味ではありません。

端末同士の通信にはirohを使います。各端末は公開鍵を本人確認に使い、QUICで直接接続します。直接つながらない場合は中継経路へ切り替える仕組みも用意されています。Mesh LLM側は参加できる端末、互換性のあるバージョン、信頼する相手を管理する独自の情報共有層を持つと説明されています。

利用方法と公開状況

公式ブログでは、約18MBのソフトウェアを導入し、公開メッシュへ参加するか、非公開の構成を設定できると案内しています。APIの接続先はローカルの「localhost:9337/v1」で、一般的なOpenAIクライアントから利用できる設計です。

ソースコードはGitHubで公開されています。公式ブログはモバイルアプリやACPへの対応を今後の計画として説明しているため、これらは現時点で提供済みの機能として扱うべきではありません。

なぜ重要か

会社に余っているGPU搭載パソコンが複数ある場合、1台ずつ別々に使うのではなく、まとまった計算資源として利用できる可能性があります。外部のAI APIだけに頼らず、自社で選んだモデルと機器を使える点は、費用やモデル変更を自分たちで管理したい企業にとって重要です。

一方で、公式ブログだけでは、実際の処理速度、電気代を含む総費用、大人数で使った場合の安定性、企業向けの運用支援までは確認できません。公開メッシュへ接続する場合は、誰の端末で処理されるか、入力データをどこまで共有してよいかも確認が必要です。企業が試すなら、まず機密情報を使わない小さな検証から始め、性能、費用、アクセス制御、ログの扱いを確かめるのが安全です。