Hugging Faceでのイラスト用モデルの探し方

AIイラストモデルを探す場としてHugging Faceやcivitaiがあります。私はこれまでcivitaiを主に使っていたのですが、Hugging Faceにしか掲載されていないモデルも結構あるのだということを知り、Hugging Faceでのイラスト用モデル探し方を調べましたので備忘録も兼ね記事にしました。

Hugging Faceとは

Hugging Faceを簡単に表すとAI・機械学習に特化したGitHubにクラウド実行環境が組み込まれたようなサービスです。Transformerという深層学習モデルをベースに機械学習モデルの開発・共有を行うためのプラットフォームとして存在していましたが、現在では派生したライブラリやデータセットなども扱うエコシステムとして広がりました。

notebooks/01_introduction.ipynb at main · nlp-with-transformers/notebooks · GitHub

Hugging Face上の個別ページは３つのタブ「Model card」「Files」「Community」で構成されています。「Model card」にはモデルの説明README.mdの内容が表示されれ、「Files」ではモデルの掲載が行われており、「Community」ではモデルに関する議論を行う場となっています。なお下の画像はstable-diffusion-2-1のページです。

前述しましたがHugging Faceには「Spaces」というクラウド実行環境があります。SD2.1であればこちらがSpacesのページとなっており、プロンプトを入れ「Generate image」を押すと実際に画像の生成が行えます。計算に必要な資源はHugging Faceが提供しているため位置づけとしてはデモ用の機能ではありますが、ユーザー側の資源を利用せずにモデルのテストを行うことも可能です。

この他には生成AIをやっていると度々目にすることもあるかもしれない「Diffusers」を公開しているのもHugging Faceです。Hugging Faceはプラットフォーマーとしての側面が目立つかもしれませんが、デベロッパーとして活動していることも抑えておくと良いかもしれません。

Hugging Faceでのモデルの探し方

Hugging Faceの公式サイトにアクセスします。

上部の「Models」をクリックして、左の「Multimodal」にある「Text-to-image」をクリックします。これでt2iモデルだけに絞り込みが行えます。右上の「Sort: Most Download」から表示順の変更が行えます。

下記リンク先のようにstable-diffusionタグを付与しているモデルのみの絞り込みも可能です。

Hugging Faceには前述したようにクラウド実行環境「Spaces」が存在しますが、各モデルページ右側の「Hosted inference API」からもデモ生成を行うことができます。

モデルのダウンロード

モデルは各モデルのページの「Files and versions」から行います。モデルファイル名の右側にある「↓」からファイルのダウンロードが行えます。

fp16 / fp32

モデルファイル名に記載されていることが多いfp16やfp32の違いですが、生成で使用する分にはfp16、マージなどを行う場合にはfp32を使用します。fp16はfp32に比べて画質が劣るといわれていますが、ほとんど認識できるレベルではありませんので、ファイル容量を抑える意味でも普段使いはfp16にすることをお勧めします。なお、fpの記載がないモデルは基本的にfp32と考えた方がいいケースが多いです。

ckpt / safetensors

モデルのファイル拡張子はckptかsafetensorsになっています。ckptはsafetensorsに比べ脆弱性があるようなので、基本的にsafetensorsの方を使用することをお勧めします。

あとはダウンロードしたモデルファイルをご自身のローカル環境下 (\stable-diffusion-webui\models\Stable-diffusion) に配置すればモデルの導入完了です。

以上です。