NVIDIA NeMo AutoModel、Diffusers対応──画像・動画AIの分散学習を簡単に

何が発表されたか

NVIDIAとHugging Faceは2026年7月17日、オープンソースの学習ライブラリNeMo AutoModelを、Hugging FaceのDiffusers形式に対応させたと発表しました。画像生成AIや動画生成AIを、自社の画像や動画に合わせて追加学習しやすくするための機能です。

Diffusersは、画像や動画を作る生成AIを共通した方法で扱うためのライブラリです。一方のNeMo AutoModelは、NVIDIAのNeMoに含まれる学習用ライブラリで、PyTorchの分散学習機能を使い、1台のGPUから複数台の大きな環境まで学習を広げることを狙っています。

今回の連携により、Hugging Face Hubにある対応モデルをNeMo AutoModelで読み込み、追加学習した結果をDiffusersへ戻せます。公式記事では、別のチェックポイント形式へ変換したり、モデルごとに学習コードをすべて書き直したりする手間を減らせると説明しています。

通常の追加学習とLoRAの両方に対応

NeMo AutoModelは、モデル全体を学習し直すフルファインチューニングと、変更する部分を絞って必要な計算量を減らすLoRA形式の学習に対応します。品質を優先して大きなGPU環境を使う方法と、費用や時間を抑えて小さく試す方法を選べます。

発表時点で用意されているレシピは、動画向けのWan 2.1、Wan 2.2、HunyuanVideo 1.5、画像向けのFLUX.1-dev、FLUX.2-dev、Qwen-Imageです。たとえばWan 2.1の13億パラメータ版は、公式記事で40GBのA100 GPU 1台に収まると説明されています。

大きなモデルでは、データや計算を複数GPUへ分けるFSDP2、テンソル並列、コンテキスト並列、パイプライン並列などを設定で選べます。モデルのコードを分散学習用に書き直すのではなく、設定を変えて規模を広げる考え方です。現在はSLURMによる複数ノード実行に対応し、Kubernetes対応は今後の予定とされています。

使えるモデルには現時点で制限がある

「Diffusers対応」といっても、すべての画像・動画モデルがそのまま使えるわけではありません。公式記事では、NeMo AutoModelが現時点で対応するのはflow-matching方式のモデルだけだと明記されています。まずは公式レシピに名前があるモデルから試すのが安全です。

追加学習には、学習用の画像や動画、説明文、GPU環境の準備も必要です。公式の実行例では、事前に画像をVAEの潜在表現へ変換して保存し、学習中の処理を軽くしています。また、性能測定はNVIDIA H100 80GBを8基積んだ1台の環境で行われています。同じ速度がすべての会社の環境で出るという意味ではありません。

NeMo AutoModelはApache 2.0で公開されています。ただし、学習対象のモデルやデータには別の利用条件があります。会社で使うときは、NeMo AutoModelのライセンスだけでなく、元モデル、学習データ、生成物の利用条件をそれぞれ確認する必要があります。

なぜ仕事や会社に重要なのか

広告、映像、ゲーム、ECなどでは、自社の商品や表現に合う画像・動画AIを作るため、既存モデルの追加学習が使われます。しかし、小さな実験から本番向けの大きな学習へ進むときに、モデルの変換や分散学習のコード変更が増えやすいことが課題でした。

今回の連携は、Hugging Face上のモデルを使う流れと、NVIDIAの大規模学習機能をつなぎます。まずLoRAで小さく試し、効果が確認できたら複数GPUの学習へ広げる道筋を作りやすくなります。追加学習後のモデルをDiffusersの生成パイプラインで使える点も、既存の開発環境へ戻しやすい利点です。

ただし、導入判断では「学習できるか」だけでなく、必要なGPU費用、データの権利、生成物の検査方法まで見る必要があります。最初は公式レシピのある1モデルと小さなデータで試し、学習時間、画質、必要メモリを測ってから規模を広げるのが現実的です。