生成モデルは各種あるが、今、使っているものはwan2.2 i2vと呼ばれるもの。

画像から動画を生成してくれる。

生成する動画時間は５秒前後。サイズは960×540。生成時間は約６分。

GPUの性能やGRAMによって生成時間は変わる。私はRTX5060tiを使っている。

生成したものはアップスケールモデルを使い、フルＨＤに。

指示文（プロンプト）は英語。80文字から100文字がいい結果が出るといわれている。

まあ、考えることが多い作業なので、ボケ防止にも役に立っている。

生成するときに、まず考えることは動作アクションの時間である。

例えば、「床に落ちたものを拾う」動作は何秒かかるか？

状況によって変わるが、おおよその目安を知っていれば、

スムーズな動画が生成される。生成時間に大きな値を入れると

ＡＩは勝手に違う動作を作る。

こういったルールが徐々に分かってくると、俄然、生成意欲が湧いてくる。

ＡＩ動画は今後、間違いなく主流になっていくだろう。

ＴＶでも再現シーンなどで徐々に使われ始めている。

映画やドラマなど、エンターテイメントの映像は変わっていく可能性が高い。

来年には、自分が思ったものが簡単にできるモデルが出てくるだろう。

という訳で、「月の遺伝子」第３話はこちら

  月の遺伝子-KAGUYA-

comfyUIのオープンソースのモデルは日々進化しているが、

最新のＡＩモデルに比べれると、無料の分手間はかかる。

しかし、オープンソースモデルも半年後はかなり進化しているのではないだろうか。

ＡＩの進化に合わせたドラマ制作ができればと考えている。

「月の遺伝子」第２話はこちら

  月の遺伝子-KAGUTYA-

さて、動画生成だが、昔から作ってみたい物語があった。

それはＳＦサスペンス映画。ストーリーのアイデアはあったが、

実現するためには高いハードルがあった。

それが、ここ数年のＡＩの進化でハードルが低くなり、

「いけるかも！」と始めたのが動画生成だった。

ストーリーのタイトルは「月の遺伝子」。

脚本をそのまま撮ると、多分２時間は軽く超えるボリュームになると思う。

現在、comfyUIのトレーニングついでにコツコツと作っているのだが、

できたものを連続ドラマ風にアップしていくことにした。

comfyUIトレーニングの記録にもなればと考えている。

  初めはcomfyUI

仕事量も減り、時間ができたのでＡＩ動画生成に挑戦することに。

動画生成のプラットフォームはたくさんあるが、どれも今、流行りのサブスク。

トライ＆エラーが多い動画生成。効率的ではない。

そこで見つけたのがcomfyUIと呼ばれる無料のインターフェース。
要はＡＩモデルデータを自分のマシンに入れて、

ローカルで作って行こうというもの。

オープンソースのモデルデータを使えば、電気代だけで維持できる。

「これは、いいものを見つけた」と喜び、動画生成の道に入ったのが１か月前。

ただ、その道は甘くなかった。

出てくる言葉は英語ばかり。

データを処理するノードを繋ぎ合わせて動画や画像を作る。

chatGPTやYouTubeの助けを借りて悪戦苦闘の日々。

しかし、少しづつ分かってくると面白さも生まれてくる。

始めて２０日ほど経ったころ、

脚本を書いてショートドラマ風なものを作ってみることに。

昔から、実践で覚えていくタイプなのである。

その１作目が、下の動画。　タイトルは「割れたスマホ」。

場面によって、服や顔などが若干変わっていくのが今後の課題。

IPadapter やLoRAを使えば解決することもあるらしいが、

導入には至っていない。今後の大きな課題だ。

まあ、時間はたっぷりあるので、試行錯誤を重ねて

やっていこうと考えている。

今後、定期的に動画をアップしていく予定。

時間があれば、一度ご覧ください。