2ntブログ

AI技術の進歩に仰天そして魅せられる。

2020年12月30日 05:10

今年はDeepfakeの凄さに始まってAIのアプリをTESTしまくってました。
AIアプリは今後進化を続け、私などの考えられない事を成し遂げるに違いありません。

POSERやDAZは既存の3Dデータを使っての、よく言われる着せ替人形遊びですね。
MAYAやZBrush、BlenderといったモデラーはそんなPOSERやDAZなどポリゴンを扱えないソフトへの素材や
その他あらゆるシーンへの3DCGのObjを作成またアニメーションを作成するソフト。
今後これらの枠を超えるAIの3Dソフトが出るかもしれません。
現在すでに自動でモデルをスキャンしたり、写真を使ったりして
それを素にAIがモデリングしてそのモデルさんそっくりな3Dデータを作りアニメーションすることができています。
これが一般のユーザーへ降りてくる日も遠くはないでしょう。
モデラーすらいらなくなる日が来るかもです?

そして、私はいままで写真の修整加工はPhotoshopが動画はPremiereが一番だとおもっていました。
昭和のAdobe神話の申し子でしたので他のアプリをTESTする事、
ましてや購入することなど頭の片隅にもありませんでした
切った貼ったではまだAdobeに分があると思いますが新しいAdobe製品はAIを取り込み始めています
がしかし、この分野では後塵を拝しているのは否めません。

また、Deepfakeは人物のムービーの顔を書き換えるソフトでコラージュではありません。
書き換えのために準備した顔のデータは色や光源の角度を問いません。
現に写真やムービーデータなど顔のデータを集めると、その肌の色、髪型、光源の角度など様々です。
コラージュであればまずそこを合わせる必要がありますが、Aiの望むものは詳細さです。
摘出しデータがいかに詳細な情報を持っているかにつきます。
それは解像度であり尚且つ詳細でシャープなディティールの情報量、そしてあらゆる角度と表情が必要であって
そのムービーや写真の人物の肌の色や光源の角度がどうであれかまいません。

そこで私は綺麗に拡大出来てシャープにかつ詳細にできないものかを考え始め
Photoshop2021を購入、するとAIのプラグインがあるではないですか。
しかし、まだ完全ではなくベータのままのものもありましたし、その出来栄えに満足できません。
そこで、AIだと思い探したところいろいろ出来そうなLuminar 4を購入
なかなか出来はよかったのですが、Deepfakeとの相性がいまひとつでした。
出来た画像はシャープに見えるのですがなぜがDeepfakeでピンが来ないのです。
コントラストやガンマ彩度が調整され綺麗に見えても細部のディティール情報はそのままのようです。
そこで写真の修整のみに特化したTopazのAIアプリを試してみました。
完璧です!素晴らしい Deepfakeと相性ばっちりでした。
何と立て続けに3つのAI写真アプリと動画アプリ一つTopazで購入してしまいました。

Sharpen AI
実際のディテールとノイズの違いを区別できる最初のシャープニングおよび手ぶれ補正ソフトウェアです。
ハンドヘルドや夜間の撮影でも、シャープな画像を作成できます。
Gigapixel AI
詳細を失わずに画像を拡大することは、今まで不可能でした…。
AIの力で画質を完全に維持しながら、写真を最大600%アップスケールします。
Denoise AI
AIを利用した最初のノイズリダクションツールを使用して、
ノイズを除去し、画像の鮮明なディテールを復元します。
Video Enhance AI
何千ものビデオでトレーニングされ、複数の入力ビデオフレームからの情報を組み合わせることで、
Topaz Video Enhance AI は、真のディテールとモーションの一貫性を備えたビデオを最大8Kの解像度に拡大します。
これらが購入した物です、詳細はTopazで確認してみてください。

どれもすごいのですがビデオの拡大ソフトは圧巻でした。
これは昔の子供のビデオを高解像度へ地道に変換しようと思って購入。

では、ほぼディティールが飛んだ古いSD動画、エディーでTESTしてみましょう。
上が元動画で下がHD拡大変換動画のです。
ドラムや腕のディティール、ほとんど消えた顔のも少し復活。
影や模様など、これだけディティールが消えていても少しは復活します。



次はGAKKYのCMでTEST、髪の毛やYシャツのディティール
影やビルのディティールをよ~く見てみてください。
元動画

HD拡大変換動画

3840X2160拡大変換動画

画像や動画の拡大やエフェクト、フィルターなどで、いままでは元の画像よりかなり劣化すると思っていたところ
AIの技術により個人レベルでもここまで再生することができるようになってきました。

とても素晴らしい!っで思いついたのは・・( *´艸`)
最近噂の例のモザイク処理ソフトもAIを使っています。ということでさっそくTESTしてみました。
ソフトとモザイクには相性がありますので相性の良いものをNetより物色
いろいろテストで見つけました。【家族に隠れてAV検索はドキドキ、念のため履歴は削除、最近の娘はみんな可愛いですね(''◇'')ゞ】
かのソフトはムービーよりコマを摘出、有料版ではAIで拡大詳細化して処理しています。
では拡大詳細化に特化したTopaz Video Enhance AIで処理してから渡したらどうなるか?
有料版ソフト本体にはさらに二度目の詳細化する設定がありますがFree版なのでありません。
とは言ってもTopaz Video Enhance AIも時間がかかる。
Video Enhance AIを使い私の環境のRyzen 7 3700X、GTX1080Ti 11GBで
ワンフレーム0.052シーク、150分ほどのHDの映画を使い200%拡大でBlu-ray保存用に処理するとまる一日はかかる。
ですので今回AVを短く切ってテストしてみた。
Free版では長い変換は出来ず、透かしが入りますがOKでしょう。

まずTopaz Video Enhance AIで200%拡大、詳細化処理
そうしてからモザイク処理ソフトへ渡してそちらで1/2へ縮小してみましょう・・・・・・・。

結果思ったとおりの素晴らしい結果が出ました。
Topaz Video Enhance AIで200%拡大、詳細化処理をするとモザイクの中も詳細化が出来ているのでしょう
そのままの時よりモザイク処理がかなりきれいです。
有料版もこんな感じなのでしょうか??
AIバンザーイ!!

脇へそれましたが、POSERへはGigapixel AIで既存のテクスチャを詳細に拡大、
足りなければSharpen AIで細部まで詳細に書き直すことができます。
元画像
aragaki02-DeNoiseAI-denoise.jpg
200%拡大画像
aragaki02-DeNoiseAI-denoise-SAI-sharpen-gigapixel-scale-2_00x.jpg
っと3DCGでもかなり使えるソフトです。
今では特に髪の毛のテクスチャを作るときに、この順序で大きなテクスチャを作っています。
テクスチャの皮膚のディティール復活へも使ってます。
少し前のテクスチャは小さいものが多いので、
こうやって拡大すれば大きくレンダリングした時の肌やOBJのディティールは失われません。
バンプマップも細部を詳細に拡大すれば大きくレンダリングした時のディティールはさらにリアルになります。

今後どんなAIソフトがでて驚かせてくれるのか楽しみですね。
それでは今回はこの辺で
MNE