ADVERTISING

3Dモデリングなしで音声からリップシンク動画を生成 AIツール「SyncWaveX」がリース

Webテクノロジーに関する話題を発信するニュースサイト
Techable

近年はテクノロジーの発展に伴い、企業が生成AIを活用してCMや広告を制作することも珍しくなくなった。昨年には、伊藤園が「お~いお茶 カテキン緑茶」のテレビCMにAIで生成したAIタレントを採用し、大きな話題を呼んだ。

ADVERTISING

しかし、生成AIによる動画制作では「キャラクターの口元の動きと音声がずれる(もしくは一致しない)」といった事象が発生することもあるという。そこで今、注目を集めているのがキャラクターや話し手の口の動きと声を連動させる“リップシンク機能”だ。

最近では、キャラクターが会話・歌・ラップする動画を生成できるHedra社のリップシンクAIモデル「Character-1」や、最大40秒のリップシンク動画を生成できるRunway AI社の「Gen-3 Alpha」などが登場している。

リップシンク技術が盛り上がりを見せるなか、 今年8月にGD Culture Group Limited(以下、GDC)とその子会社であるAI Catalysis Corp.(以下、AI Catalysis)は音声から動画を生成するAIツール「SyncWaveX」をリリースした。唇や顔の動きを音声と自動的に同期させ、リアルな動画を実現するという。

3Dモデリングなしでリップシンク動画を生成

SyncWaveXの「Lip Sync」機能を実際使ってみると、加工用の元動画と音声ファイルをそれぞれアップロードするようになっている。元動画1本から、音声入力に唇の動きと顔の表情を自動的に同期させた動画が数分で生成される。このリップシンク精度は99%と高く、ユーザーは視聴者に対して自然で臨場感あふれる体験を提供できる。

音声に基づいて動画を生成するため、従来の3Dモデリングや顔のランドマークメソッド(顔の3Dを作成し、さまざまな表情や動きをアニメーション化する手法)は不要だ。

SyncWaveXは、ソーシャルメディア コンテンツからプロフェッショナルなプレゼンテーションやマーケティングキャンペーンまで幅広い用途に活用可能。またキャンペーン広告の作成、翻訳サービス、さらには話す能力を失った人々を支援する強力なツールとしての使用も想定しているとのこと。

個人の顔の動きを再現&よく似た音声を合成

SyncWaveXの目玉は、さまざまな音声に対して人物の唇の動きをシームレスに一致させるリップシンク技術だが、それ以外にも高度な技術を備えている。

例えば、加工用の元動画・画像内の顔を正確に検出できる「顔認識テクノロジー」だ。眉毛・頬・鼻・唇など個人の顔の動き全体を細かくキャプチャし、リアルに再現する。

さらに、SyncWaveXは音声合成・認識テクノロジーも統合しており、個人の音声特性に基づいてモデルをトレーニングし、元の話者に非常によく似た音声を合成することも可能だ。

こうした技術により、ユーザーはアップロードした音声や動画をカスタマイズされた“AIデジタルヒューマン”に変換できるようになる。

誰もが自身の“デジタルレプリカ”を持てる未来へ

GDCは米国の完全子会社であるAI Catalysisと、上海のShanghai Xianzhui Technology Co, Ltd.を通じて事業を行う持株会社。NASDAQ市場へ上場を果たしたグループであり、近年ビジネスを拡大している。

今回、GDCとともにSyncWaveXを発表したAI Catalysisは、2023年に設立されたテック企業。主に広告、電子商取引、音楽、動画制作にAIテクノロジーを適用することに注力している。現在は個人・企業向けの品質・効率・コスト効率を向上させるAIソリューションを提供中だ。

GDCの会長兼CEOであるXiaojian Wang氏は「今回のSyncWaveXの発表は、単なる新しいツールの紹介ではない。誰もが無限の可能性を秘めた自分自身のデジタルレプリカを持つことができる未来への道を切り開くものだ」とコメントしている。

参考・引用元:

AI Catalysis SyncWaveX

GlobeNewswire

(文・Haruka  Isobe)

ADVERTISING

JOB OPPOTUNITIES

最新の求人情報(求人一覧

求人

ストアマネージャー

Valextra

ストアマネージャー

詳細を見る

ジャーナル

強い好奇心と高い行動力で周囲を巻き込む。フリーランス法の立役者・平田麻莉さんの仕事の流儀

強い好奇心と高い行動力で周囲を巻き込む。フリーランス法の立役者・平田麻莉さんの仕事の流儀

記事を読む

求人

セールスアソシエイト

Valextra

セールスアソシエイト

年収

300万 〜 550万

詳細を見る

ジャーナル

オン・ジャパン、採用強化に伴い採用特設ページをリリース!

オン・ジャパン、採用強化に伴い採用特設ページをリリース!

記事を読む

ジャーナル

働く人の個性、カルチャーマッチを徹底的に重視!「On」のユニークな人事戦略とは

働く人の個性、カルチャーマッチを徹底的に重視!「On」のユニークな人事戦略とは

記事を読む

ジャーナル

最大1億円助成で注目を集める広島県の企業誘致。根底にある応援文化とオープンマインドが、ビジネス...

最大1億円助成で注目を集める広島県の企業誘致。根底にある応援文化とオープンマインドが、ビジネス...

記事を読む

コラボパートナーの募集情報
コラボ募集一覧

コラボ

”水辺の宿場町”をデザインコンセプトとするアートホテル「東京ベイ潮見...

東京ベイ潮見プリンスホテル ”水辺の宿場町”をデザインコンセプトとするアートホテル「東京ベイ潮見...

詳細を見る

コラボ

ドイツ腕時計ブランドの"ZEPPELIN"とのコラボレーションウォッチパートナ...

ZEPPELIN ドイツ腕時計ブランドの"ZEPPELIN"とのコラボレーションウォッチパートナ...

詳細を見る

コラボ

自治体の枠にとらわれない幅広いコラボ実績をもつ「サガプライズ!」とのコラボレーシ...

サガプライズ! 自治体の枠にとらわれない幅広いコラボ実績をもつ「サガプライズ!」とのコラボレーシ...

詳細を見る

コラボ

多方面で活躍中のデザイナー安藤大春とのコラボレーション

Ohal 多方面で活躍中のデザイナー安藤大春とのコラボレーション

詳細を見る

Powered by

現在の人気記事

NEWS LETTERニュースレター

人気のお買いモノ記事

公式SNSアカウント