ComfyUI on namaraii.com

ControlNet

hitoshi@namaraii.com (竹内仁 (TAKEUCHI Hitoshi)) — Tue, 26 Aug 2025 14:31:21 +0900

ControlNetとは、Stable Diffusionなどの画像生成AIに追加の制御情報を与えて、より精密で意図した画像を生成するための拡張技術である。

ControlNetの基本概念
#

定義と目的
#

ControlNetは条件付き画像生成を実現する技術で、テキストプロンプトだけでは困難な構図、ポーズ、形状、エッジなどの具体的な制御を可能にする。

仕組み
#

既存のStable Diffusionモデルに追加のネットワークとして接続し、参照画像から抽出した制御情報（エッジ、深度、ポーズなど）を基に画像生成を誘導する。

主要なControlNetモデル
#

1. Canny
#

特徴: エッジ検出による輪郭制御

用途: 線画やスケッチからの画像生成
制御内容: オブジェクトの輪郭や境界線
適用例: 建築物の線画から写実的な建物を生成

2. OpenPose
#

特徴: 人体のポーズ制御

ComfyUI

hitoshi@namaraii.com (竹内仁 (TAKEUCHI Hitoshi)) — Tue, 26 Aug 2025 14:01:41 +0900

ComfyUIは、Stable Diffusionなどの拡散モデルを使用した画像生成のためのノードベースUIである。

ComfyUI | Generate video, images, 3D, audio with AI

ComfyUIの基本概念
#

ノードベースワークフロー
#

ComfyUIは従来のテキストボックス形式ではなく、ノード（節点）を線で繋ぐ方式でワークフローを構築する。各ノードが特定の機能を持ち、それらを組み合わせて複雑な画像生成プロセスを作成できる。

基本的なノード構成
#

入力系ノード
#

Checkpoint Loader: モデル（チェックポイント）を読み込む
CLIP Text Encode: プロンプトをテキストエンコーディングする
Empty Latent Image: 生成する画像のサイズを指定

処理系ノード
#

KSampler: 実際の画像生成（サンプリング）を行う
VAE Decode: 潜在空間から画像に変換
LoRA Loader: LoRAモデルを適用

出力系ノード
#

Save Image: 生成された画像を保存
Preview Image: 画像をプレビュー表示

ワークフローの例
#

基本的な画像生成ワークフローは以下のような流れになる：

FLUX.1 [dev]をComfyUIで試してみる

hitoshi@namaraii.com (竹内仁 (TAKEUCHI Hitoshi)) — Tue, 13 Aug 2024 00:00:00 +0900

Stable Diffusionの共同開発者たちによって設立されたベンチャー企業Black Forest Labsが発表した画像生成AIモデルであるFLUX.1をComfyUIから使えるようにローカル環境へインストールする。

インストール
#

FLUX.1 \[dev\]のインストール
#

基本的にComfyUIでFlux AIを使う方法：詳細ガイドを参考にしてインストールしたが、現時点（2024/8/1 2）でいくつかの相違点があった。

flux1-dev.sftがflux1-dev.safetensorsにファイル名変更されている
VAEはae.safetensors · black-forest-labs/FLUX.1-schnell at mainからダウンロードする

それ以外は問題なくインストールできた。

FLUX.1 \[schnel\]のインストール
#

最軽量のモデルFLUX.1

\[schnel\]

もインストールする。 black-forest-labs/FLUX.1-schnell at mainからflux1-schnell.safetensorsをダウンロードしComfyUI/models/unetへ置く。

(オプション)FP8 CLIP用のチェックポイント
#

flux1-schnell-fp8.safetensors · Comfy-Org/flux1-schnell at mainからflux1-dev-fp8.safetensorsをダウンロードしComfyUI/models/checkpoints/へ置く
flux1-schnell-fp8.safetensors · Comfy-Org/flux1-schnell at mainからflux1-schnell-fp8.safetensorsをダウンロードしComfyUI/models/checkpoints/へ置く

画像の作例
#

ComfyUI
#

ComfyUIへFlux Examples | ComfyUI_examplesにある画像をDrag&Dropすると、こんな感じのワークフローが表示される。

ComfyUI on namaraii.com

ControlNet

ControlNetの基本概念 #

定義と目的 #

仕組み #

主要なControlNetモデル #

1. Canny #

2. OpenPose #

ComfyUI

ComfyUIの基本概念 #

ノードベースワークフロー #

基本的なノード構成 #

入力系ノード #

処理系ノード #

出力系ノード #

ワークフローの例 #