StableDiffusion ControlNet,OpenPose,AnimateDiffの商用利用・ライセンス

StableDiffusionの覚書です。StableDiffusionはいろいろなものの複合体のため、個別にライセンスを確認していきます。

ライセンスOKのもので作ればOKです。

StableDiffusion 自体は商用利用できる？ライセンスは？

StableDiffusion自体は悪意のある使い方をしない限り、商用利用できるようです。

The user owns the rights to their generated output images, and is free to use them commercially.

https://stablediffusion.gitbook.io/overview/stable-diffusion-overview/license

モデルのライセンス

個別にモデルのライセンスの確認が必要です。変更になる場合もあるため注意が必要です。

【全体公開記事】ChilloutMixのパーミッションが変更され、マージモデルであるAbyssOrangeMix3も商用利用が禁止となっています。あらためて使用モデルのライセンスを確認しましょう～～という記事を書きました。

【注意喚起】使用モデルのライセンスを再確認しよう！https://t.co/ZmpOQGZLOK pic.twitter.com/0koEWNJrIW

— 賢木イオ＠スタジオ真榊 (@studiomasakaki) February 24, 2023

１番安心なのは自分絵を学習させることです。

StableDiffusion ControlNetの商用利用・ライセンス

ControlNetは確認したとき、ちょっと戸惑いました。

StableDiffusion ControlNetの開発者は？

スタンフォード大学の中の人のようですね。GitHubはこちらです。

author={Lvmin Zhang and Anyi Rao and Maneesh Agrawala},

https://github.com/lllyasviel/ControlNet

論文はこちらです。

Lvmin Zhang, Anyi Rao, and Maneesh Agrawala
Stanford University

https://arxiv.org/pdf/2302.05543.pdf

StableDiffusion ControlNetにOpenPoseが使われている噂?

ControlNet自体はApache License 2.0で商用利用可です。

Apache License 2.0

https://github.com/lllyasviel/ControlNet/blob/main/LICENSE

ただ、ControlNetの学習データに少し疑問があります。

ControlNetの学習にOpenPoseが使われてると思いますが、OpenPoseの規約に派生物も商用利用不可と書かれてるので、ControlNetのOpenPoseモデルも商用利用不可になると思います。https://t.co/oMELI7JtQu

— Yuya Hanai (@hanasaan_) February 15, 2023

I understand that models such as openpose cannot be used commercially and must follow the corresponding license when redistributing.
The model you posted is OpenRAIL, so can I assume there are no restrictions on commercial use?

https://github.com/lllyasviel/ControlNet/issues/633

GitHubでは、この問題に関する開発者の回答はありません。

AIのclaude3 opus君の見解はこちらです。Issueに言及がありません、と言ってしまうあたりがまだまだ甘さを感じますかね…。

ControlNetの公式リポジトリはhttps://github.com/lllyasviel/ControlNetで、そこにはOpenPoseに関する記載は見当たりません。

私が確認した限りでは、リポジトリ内のドキュメントやIssue、Pull Request、ディスカッションなどでもOpenPoseについての言及はありませんでした。学習データについての詳細な説明もなく、OpenPoseを使用しているという証拠は見つかりません。

ただし、これはあくまでGitHubリポジトリ上の情報に基づく判断であり、開発者が他の場所でOpenPoseについて言及していないという保証はありません。

いずれにせよ、公式リポジトリにOpenPoseの使用が明記されていない以上、現時点ではControlNetがOpenPoseを学習データとして使用しているとは言えないでしょう。

ただし、ControlNetの商用利用を検討する際は、開発者からの公式な見解を確認するとともに、法的リスクを慎重に評価することが重要です。

claude3 opus君

ただ、akuma.aiという有料サービスは導入しようとしている？ツイートはあるんですけどね。

リアルタイムでボーンを操る実験🦴

ポーズ指定の精度がまだまだ… けど面白い！ pic.twitter.com/W8WDaHOn2x

— Akuma.ai (@AkumaAI_JP) March 13, 2024

ControlNetは気になるソースがあれば追記します。

OpenPoseの商用利用は高い!?他のライセンスは？

少し調べたのですけど使えませんね。個人には高すぎます

OpenPoseとか商用ライセンス$25,000/yearらしいけど買う企業あるのだろうか

— Katsunori Ohnishi (@0hnishi) September 19, 2017

ソース元はこちらです。

The non-exclusive commercial license requires a non-refundable $25,000 USDannualroyalty.

https://cmu.flintbox.com/technologies/b820c21d-8443-4aa2-a49f-8919d93a8740

GitHubをみると派生物はあるようです。淡い嫌いを抱く人もいるでしょう。

TensorBoyさんはOpenPoseを論文から自身で実装し、訓練も実施してモデルパラメータも独自のものを公開しています

https://github.com/YutaroOgawa/pytorch_advanced/issues/169

派生物もちょっと作り方によってはまずそうな気もします。

DERIVATIVES: You may create derivatives of or make modifications to the Software, however, You agree that all and any such derivatives and modifications will be owned by Licensor and become a part of the Software licensed to You under this Agreement. You may only use such derivatives and modifications for your own noncommercial internal research purposes, and you may not otherwise use, distribute or copy such derivatives and modifications in violation of this Agreement.

https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/LICENSE

派生物作ってもいいけど、商用利用できんぞ、と言っていますね…(´・ω・｀)。

…微妙な提案力ですね、カーネギーメロン大学のCenter for Technology Transfer and Enterprise Creationは…。

有料でもいいですけど大手法人しか手に入らない状況はよくないからです。

OpenPoseは実質、商用利用は厳しそうですから、ControlNetにOpenPoseを使わない機能があるかが焦点になりそうです。

個人的に思うのは、クリスタ3.0がControlNetみたいなポーズ機能がついてくれれば楽なんですけどね～。漫画のソフトですでに3D機能もありますので。需要もあるかと。

クリスタ3.0がライセンスや著作権をクリアにした形で Stable DiffusionのControlNetみたいなポーズ機能がついてくれれば楽ですかね

漫画ソフトですでに3D機能もあり需要もあるかと。もしくはAbobeか

絵師はベース絵は自分で描きたいはずなのでバリエーションの機能がほしいかなと。特にゲームや漫画

— 個人開発作家 neru (@neruplan) November 19, 2023

クリスタに頑張ってほしいです。

CLIP STUDIO PAINT EX

とはいえ、クリスタは生成AIのような機能はのっけないと明言しているため、他に代替案も必要そうです。

代替は?krita-ai-diffusionの商用利用・ライセンス

ControlNetは正直わかりにくいです。すでに多くの人に使われているため、許容されているようにも見ますけど…いわゆるエンジニアとしての技術は高いけど、ライセンスは結構適当な人が開発しちゃたのかもしれません。(´・ω・｀)

そこで目をつけたのはリアルタイムお絵描きです。Krita-AI-Diffusionは、ControlNetとは異なる技術を使用しています。

AI assisted live painting with @Krita_Painting frontend and #ComfyUI backend via LCM and this boss krita extension: https://t.co/HqYks0uHK8 pic.twitter.com/zQ9xd0sRVP

— David Marx || digthatdata.bsky.social (@DigThatData) November 17, 2023

krita-ai-diffusionのリアルタイムお絵描きができれば、ControlNetは別にいらんかもしれませんね。これだけでいい。あとは自作Loraで自分絵を学習させればよさそうです。

個人的にはすっきりとしているkrita-ai-diffusionから導入することにしました。ControlNetしかない時代、StableDiffusionの導入をスルーしていました。krita-ai-diffusionができたタイミングで導入を決断しました。お絵描きになれている人はこっちの方がとっつきやすいでしょう。

StableDiffusionを選んだ理由はカスタマイズ性ですね。特に自分絵を学習させることが目的にあったため、この機能がない画像生成AIはあまり使う気になりません。

kiritaというグラフィックソフトは昔からあるもので、日本ではあまり有名じゃないかもだけど海外のアーティストがよく使っているのをみます。krita-ai-diffusionがという拡張がでているようです。

krita-ai-diffusionは商用利用可で、GPL3.0のライセンスのようです。GPL3.0はプログラマとしてカスタマイズする際の話なので、絵師は商用利用可だけ覚えておければ大丈夫でしょう。

GNU General Public License v3.0

https://github.com/Acly/krita-ai-diffusion/blob/main/LICENSE

AnimateDiffの商用利用・ライセンス

AnimateDiffは商用利用可で、Apache License 2.0のライセンスのようです。

Apache License 2.0

https://github.com/guoyww/AnimateDiff/blob/main/LICENSE.txt