2020年12月30日 05:10
今年はDeepfakeの凄さに始まってAIのアプリをTESTしまくってました。
AIアプリは今後進化を続け、私などの考えられない事を成し遂げるに違いありません。
POSERやDAZは既存の３Dデータを使っての、よく言われる着せ替人形遊びですね。
MAYAやZBrush、BlenderといったモデラーはそんなPOSERやDAZなどポリゴンを扱えないソフトへの素材や
その他あらゆるシーンへの３DCGのObjを作成またアニメーションを作成するソフト。
今後これらの枠を超えるAIの３Dソフトが出るかもしれません。
現在すでに自動でモデルをスキャンしたり、写真を使ったりして
それを素にAIがモデリングしてそのモデルさんそっくりな３Dデータを作りアニメーションすることができています。
これが一般のユーザーへ降りてくる日も遠くはないでしょう。
モデラーすらいらなくなる日が来るかもです？
そして、私はいままで写真の修整加工はPhotoshopが動画はPremiereが一番だとおもっていました。
昭和のAdobe神話の申し子でしたので他のアプリをTESTする事、
ましてや購入することなど頭の片隅にもありませんでした
切った貼ったではまだAdobeに分があると思いますが新しいAdobe製品はAIを取り込み始めています
がしかし、この分野では後塵を拝しているのは否めません。
また、Deepfakeは人物のムービーの顔を書き換えるソフトでコラージュではありません。
書き換えのために準備した顔のデータは色や光源の角度を問いません。
現に写真やムービーデータなど顔のデータを集めると、その肌の色、髪型、光源の角度など様々です。
コラージュであればまずそこを合わせる必要がありますが、Aiの望むものは詳細さです。
摘出しデータがいかに詳細な情報を持っているかにつきます。
それは解像度であり尚且つ詳細でシャープなディティールの情報量、そしてあらゆる角度と表情が必要であって
そのムービーや写真の人物の肌の色や光源の角度がどうであれかまいません。
そこで私は綺麗に拡大出来てシャープにかつ詳細にできないものかを考え始め
Photoshop2021を購入、するとAIのプラグインがあるではないですか。
しかし、まだ完全ではなくベータのままのものもありましたし、その出来栄えに満足できません。
そこで、AIだと思い探したところいろいろ出来そうなLuminar 4を購入
なかなか出来はよかったのですが、Deepfakeとの相性がいまひとつでした。
出来た画像はシャープに見えるのですがなぜがDeepfakeでピンが来ないのです。
コントラストやガンマ彩度が調整され綺麗に見えても細部のディティール情報はそのままのようです。
そこで写真の修整のみに特化したTopazのAIアプリを試してみました。
完璧です！素晴らしい Deepfakeと相性ばっちりでした。
何と立て続けに３つのAI写真アプリと動画アプリ一つTopazで購入してしまいました。
Sharpen AI
実際のディテールとノイズの違いを区別できる最初のシャープニングおよび手ぶれ補正ソフトウェアです。
ハンドヘルドや夜間の撮影でも、シャープな画像を作成できます。
Gigapixel AI
詳細を失わずに画像を拡大することは、今まで不可能でした…。
AIの力で画質を完全に維持しながら、写真を最大600％アップスケールします。
Denoise AI
AIを利用した最初のノイズリダクションツールを使用して、
ノイズを除去し、画像の鮮明なディテールを復元します。
Video Enhance AI
何千ものビデオでトレーニングされ、複数の入力ビデオフレームからの情報を組み合わせることで、
Topaz Video Enhance AI は、真のディテールとモーションの一貫性を備えたビデオを最大8Kの解像度に拡大します。
これらが購入した物です、詳細はTopazで確認してみてください。
どれもすごいのですがビデオの拡大ソフトは圧巻でした。
これは昔の子供のビデオを高解像度へ地道に変換しようと思って購入。
では、ほぼディティールが飛んだ古いSD動画、エディーでTESTしてみましょう。
上が元動画で下がHD拡大変換動画のです。
ドラムや腕のディティール、ほとんど消えた顔のも少し復活。
影や模様など、これだけディティールが消えていても少しは復活します。
次はGAKKYのCMでTEST、髪の毛やYシャツのディティール
影やビルのディティールをよ～く見てみてください。
元動画
HD拡大変換動画
3840X2160拡大変換動画
画像や動画の拡大やエフェクト、フィルターなどで、いままでは元の画像よりかなり劣化すると思っていたところ
AIの技術により個人レベルでもここまで再生することができるようになってきました。
とても素晴らしい！っで思いついたのは・・( *´艸｀)
最近噂の例のモザイク処理ソフトもAIを使っています。ということでさっそくTESTしてみました。
ソフトとモザイクには相性がありますので相性の良いものをNetより物色
いろいろテストで見つけました。【家族に隠れてAV検索はドキドキ、念のため履歴は削除、最近の娘はみんな可愛いですね(''◇'')ゞ】
かのソフトはムービーよりコマを摘出、有料版ではAIで拡大詳細化して処理しています。
では拡大詳細化に特化したTopaz Video Enhance AIで処理してから渡したらどうなるか？
有料版ソフト本体にはさらに二度目の詳細化する設定がありますがFree版なのでありません。
とは言ってもTopaz Video Enhance AIも時間がかかる。
Video Enhance AIを使い私の環境のRyzen 7 3700X、GTX１０８０Ti １１GBで
ワンフレーム０．０５２シーク、１５０分ほどのHDの映画を使い２００％拡大でBlu-ray保存用に処理するとまる一日はかかる。
ですので今回AVを短く切ってテストしてみた。
Free版では長い変換は出来ず、透かしが入りますがOKでしょう。
まずTopaz Video Enhance AIで２００％拡大、詳細化処理
そうしてからモザイク処理ソフトへ渡してそちらで1/2へ縮小してみましょう・・・・・・・。
結果思ったとおりの素晴らしい結果が出ました。
Topaz Video Enhance AIで２００％拡大、詳細化処理をするとモザイクの中も詳細化が出来ているのでしょう
そのままの時よりモザイク処理がかなりきれいです。
有料版もこんな感じなのでしょうか？？
AIバンザーイ！！
脇へそれましたが、POSERへはGigapixel AIで既存のテクスチャを詳細に拡大、
足りなければSharpen AIで細部まで詳細に書き直すことができます。
元画像
２００％拡大画像
っと３DCGでもかなり使えるソフトです。
今では特に髪の毛のテクスチャを作るときに、この順序で大きなテクスチャを作っています。
テクスチャの皮膚のディティール復活へも使ってます。
少し前のテクスチャは小さいものが多いので、
こうやって拡大すれば大きくレンダリングした時の肌やOBJのディティールは失われません。
バンプマップも細部を詳細に拡大すれば大きくレンダリングした時のディティールはさらにリアルになります。
今後どんなAIソフトがでて驚かせてくれるのか楽しみですね。
それでは今回はこの辺で
MNE
AIアプリは今後進化を続け、私などの考えられない事を成し遂げるに違いありません。
POSERやDAZは既存の３Dデータを使っての、よく言われる着せ替人形遊びですね。
MAYAやZBrush、BlenderといったモデラーはそんなPOSERやDAZなどポリゴンを扱えないソフトへの素材や
その他あらゆるシーンへの３DCGのObjを作成またアニメーションを作成するソフト。
今後これらの枠を超えるAIの３Dソフトが出るかもしれません。
現在すでに自動でモデルをスキャンしたり、写真を使ったりして
それを素にAIがモデリングしてそのモデルさんそっくりな３Dデータを作りアニメーションすることができています。
これが一般のユーザーへ降りてくる日も遠くはないでしょう。
モデラーすらいらなくなる日が来るかもです？
そして、私はいままで写真の修整加工はPhotoshopが動画はPremiereが一番だとおもっていました。
昭和のAdobe神話の申し子でしたので他のアプリをTESTする事、
ましてや購入することなど頭の片隅にもありませんでした
切った貼ったではまだAdobeに分があると思いますが新しいAdobe製品はAIを取り込み始めています
がしかし、この分野では後塵を拝しているのは否めません。
また、Deepfakeは人物のムービーの顔を書き換えるソフトでコラージュではありません。
書き換えのために準備した顔のデータは色や光源の角度を問いません。
現に写真やムービーデータなど顔のデータを集めると、その肌の色、髪型、光源の角度など様々です。
コラージュであればまずそこを合わせる必要がありますが、Aiの望むものは詳細さです。
摘出しデータがいかに詳細な情報を持っているかにつきます。
それは解像度であり尚且つ詳細でシャープなディティールの情報量、そしてあらゆる角度と表情が必要であって
そのムービーや写真の人物の肌の色や光源の角度がどうであれかまいません。
そこで私は綺麗に拡大出来てシャープにかつ詳細にできないものかを考え始め
Photoshop2021を購入、するとAIのプラグインがあるではないですか。
しかし、まだ完全ではなくベータのままのものもありましたし、その出来栄えに満足できません。
そこで、AIだと思い探したところいろいろ出来そうなLuminar 4を購入
なかなか出来はよかったのですが、Deepfakeとの相性がいまひとつでした。
出来た画像はシャープに見えるのですがなぜがDeepfakeでピンが来ないのです。
コントラストやガンマ彩度が調整され綺麗に見えても細部のディティール情報はそのままのようです。
そこで写真の修整のみに特化したTopazのAIアプリを試してみました。
完璧です！素晴らしい Deepfakeと相性ばっちりでした。
何と立て続けに３つのAI写真アプリと動画アプリ一つTopazで購入してしまいました。
Sharpen AI
実際のディテールとノイズの違いを区別できる最初のシャープニングおよび手ぶれ補正ソフトウェアです。
ハンドヘルドや夜間の撮影でも、シャープな画像を作成できます。
Gigapixel AI
詳細を失わずに画像を拡大することは、今まで不可能でした…。
AIの力で画質を完全に維持しながら、写真を最大600％アップスケールします。
Denoise AI
AIを利用した最初のノイズリダクションツールを使用して、
ノイズを除去し、画像の鮮明なディテールを復元します。
Video Enhance AI
何千ものビデオでトレーニングされ、複数の入力ビデオフレームからの情報を組み合わせることで、
Topaz Video Enhance AI は、真のディテールとモーションの一貫性を備えたビデオを最大8Kの解像度に拡大します。
これらが購入した物です、詳細はTopazで確認してみてください。
どれもすごいのですがビデオの拡大ソフトは圧巻でした。
これは昔の子供のビデオを高解像度へ地道に変換しようと思って購入。
では、ほぼディティールが飛んだ古いSD動画、エディーでTESTしてみましょう。
上が元動画で下がHD拡大変換動画のです。
ドラムや腕のディティール、ほとんど消えた顔のも少し復活。
影や模様など、これだけディティールが消えていても少しは復活します。
次はGAKKYのCMでTEST、髪の毛やYシャツのディティール
影やビルのディティールをよ～く見てみてください。
元動画
HD拡大変換動画
3840X2160拡大変換動画
画像や動画の拡大やエフェクト、フィルターなどで、いままでは元の画像よりかなり劣化すると思っていたところ
AIの技術により個人レベルでもここまで再生することができるようになってきました。
とても素晴らしい！っで思いついたのは・・( *´艸｀)
最近噂の例のモザイク処理ソフトもAIを使っています。ということでさっそくTESTしてみました。
ソフトとモザイクには相性がありますので相性の良いものをNetより物色
いろいろテストで見つけました。【家族に隠れてAV検索はドキドキ、念のため履歴は削除、最近の娘はみんな可愛いですね(''◇'')ゞ】
かのソフトはムービーよりコマを摘出、有料版ではAIで拡大詳細化して処理しています。
では拡大詳細化に特化したTopaz Video Enhance AIで処理してから渡したらどうなるか？
有料版ソフト本体にはさらに二度目の詳細化する設定がありますがFree版なのでありません。
とは言ってもTopaz Video Enhance AIも時間がかかる。
Video Enhance AIを使い私の環境のRyzen 7 3700X、GTX１０８０Ti １１GBで
ワンフレーム０．０５２シーク、１５０分ほどのHDの映画を使い２００％拡大でBlu-ray保存用に処理するとまる一日はかかる。
ですので今回AVを短く切ってテストしてみた。
Free版では長い変換は出来ず、透かしが入りますがOKでしょう。
まずTopaz Video Enhance AIで２００％拡大、詳細化処理
そうしてからモザイク処理ソフトへ渡してそちらで1/2へ縮小してみましょう・・・・・・・。
結果思ったとおりの素晴らしい結果が出ました。
Topaz Video Enhance AIで２００％拡大、詳細化処理をするとモザイクの中も詳細化が出来ているのでしょう
そのままの時よりモザイク処理がかなりきれいです。
有料版もこんな感じなのでしょうか？？
AIバンザーイ！！
脇へそれましたが、POSERへはGigapixel AIで既存のテクスチャを詳細に拡大、
足りなければSharpen AIで細部まで詳細に書き直すことができます。
元画像
２００％拡大画像
っと３DCGでもかなり使えるソフトです。
今では特に髪の毛のテクスチャを作るときに、この順序で大きなテクスチャを作っています。
テクスチャの皮膚のディティール復活へも使ってます。
少し前のテクスチャは小さいものが多いので、
こうやって拡大すれば大きくレンダリングした時の肌やOBJのディティールは失われません。
バンプマップも細部を詳細に拡大すれば大きくレンダリングした時のディティールはさらにリアルになります。
今後どんなAIソフトがでて驚かせてくれるのか楽しみですね。
それでは今回はこの辺で
コメント
harry_west | URL | rRUVqs/Y
面白いけど作業量がペイしないと考える私
確かにAIは凄いんですけど、結局は使う人間のスキルなんですよね。
IT技術者としてのスキルより、芸術的・対象業務的センスと
AI学習に必要な情報を含んだデータ選定と言う能力が要なワケで。
実際にAVをDeepFakeで置換えても、どれだけマッチする容姿でも仕草や表情モーションが違うので
フェイク感がハンパ無く、DeepVoiseライブラリで音声を置換えても喋り方が違う。
私自身はPoserメインの3DCGアニメーションで、昔ぶっこ抜き系キャラを移植して使ってました。
よってそのキャラらしいモーションってのをある程度再現出来るので、
DeepFake用CGを作っても無意識に対象人物のモーションを再現してるんですが
弊害は汎用性が無くなる点。流用が効かなくなる。
今も某女子アナのDst用動画をPoserでレンダ中ですが、
試しに某女優にて置換えたら静止画では無問題なのに、なんか動きに違和感が。
（余談ですがMGSのクワイエット、あれリアル女優のスキャンって知らずに
ゲームCGからFake作ろうとして、本末転倒でなんだかなぁって^^;）
こういった現状のAIの問題点回避には、「モーションフェイク」が必須なんですが
現状のリソースでは、GoogleAIを総動員しても学習量の爆増で自立不能でしょう。
AIってのは現状あくまでも「人のお手伝い」が限界ですね。
リソース不足を補うその道のプロが、手取り足取りお膳立てしてあげて初めて機能してるワケで
自立出来るレベルのリソース処理能力の実現は当面無理でしょう。
自然なフェイク作成には、極論言うと森羅万象を学習する必要があり
事象が1件増える度に指数関数的に学習量が増大する現ロジックでは、
それらをシミュレートするだけの資源自体が宇宙には不足してるってどっかの学者が言ってました。
私も、DeepFakeに関しては事前の画像準備・AI学習後のMargeベース画像共に
AIサーチやAI高精細化を多用して２年前からAIだらけに突入していますが、
結局は入力データと3DCGアニメの表現力が命でなかなか思うように行かず、作業量も爆増で・・。
因みに128程度でトレイン後、Gan系で高画質化するのが速くキレイに作れますね。
そこら、DFLの1.0に残ってる素の学習モデルタイプ＆搭載されている各種高画質化サブルーチンが
3DCGによるマスク不要のトレインに適しています。メチャクチャ学習が速いです。
PoserのフェイスルームがAI化されると面白いし楽なんですが、世間の風当たりがキツくなるし
そもそものアニメーション機能のバグ直してくれないと^^;
なんかダラダラ書いてしまい失礼しました。良いお年を！
( 2020年12月30日 15:58 [Edit] )
mne-poser | URL | -
harry_westさんへ
harry_westさんコメントありがとうございます。
そうですね、AIは進歩しました、それも格段に。
しかし、DeepFakeもモザイクソフトも確かにすごい！のですが
中途半端な設定の使い方では違和感はぬぐえないのも確か、
AIに対しての必要なスキルの学習は必要です。
３DCGをやるにしてもモデリングの学習は必須。
現在AIは個人使用においてのCG分野ではまだまだ生まれたばかり
CG技術はここ２０年でパソコンの性能とともにすさまじい進化を遂げました。
３Dを始めたころはシングルコア（ペンティアム100MHzメモリ16GB）でどっとを一つづつレンダリングしていて
SD画像１枚に１日かけていました。
それを思うと現在は夢の世界のように感じます。
さてAIですが数年で寝覚ましい進化をとげこれからもあたらしい技術は出てくるでしょう
そして開発するコンピュータの進化も上がり続けるので
今後のPC、AIの進化、それに伴うAI学習のスピードも上がるでしょう
そして、学習されたAIモデルを共有する日もそう遠くはないと思います。
そしてharry_westさんの言うようにPOSERへAIの導入も面白そうですね。
PC用のCGAIはここ数年でやっと小学校へ行ったようなもの
わたしの目の黒いうちにどこまで進化するのか見守っていきたいです。
MNE
( 2020年12月31日 15:18 )
コメントの投稿