ADVERTISING

ワシントン大がピアノの演奏を映像から再現するAI「Audeo」を発表

ワシントン大がピアノの演奏を映像から再現するAI「Audeo」を発表

Webテクノロジーに関する話題を発信するニュースサイト
Techable

ミュージシャンの演奏する映像から音が再現できれば、劣化したライブビデオを再び聴けるものにできるだろう。

ADVERTISING

ワシントン大学の研究チームは、AIが視覚的な手がかりだけを使用して、ピアニストによる演奏を再現できるかどうかを試みている。

研究チームは機械学習を使用して、消音のピアノ演奏から音を生成する「Audeo」と呼ばれるシステムを作成した。

は映像内のイベントを解釈し演奏に変換

研究では、手元をトップダウンで映した映像から演奏を再現している。システムは映像内のイベントを解釈し、それを演奏に変換する。まず、それぞれのビデオフレームでどのキーが押されたかを検出し、次のステップでは、データがクリーンアップされ、キーがどれくらいの強さでどのくらいの時間押されたか、といった情報が追加される。

システムのトレーニングにはピアニストのポール・バートンが、バッハやモーツァルトなど有名作曲家の楽曲を演奏するYouTube映像を使用。約17万2000ものビデオフレームが含まれていた。

次に、バートンが別の楽曲を演奏するYouTube映像、約1万9000フレームでテストを実施した。

将来的には仮想ピアノの開発も

SoundHoundのような楽曲識別アプリでテストしたところ、Audeoが生成したフレーズを全体の約86%再生した時点で識別できたという。ちなみにソースのYouTubeでは、楽曲を識別するのにフレーズの約96%の再生時間が必要だった。

Audeoが楽曲の複写を生成し、これをシンセサイザーに渡して音を生成することになるが、研究では音が異なる2種類のシンセサイザーを使用している。Audeoと2種類のシンセサイザーにより生成された演奏は、UW Newsの記事内から視聴可能だ。

将来的に同技術は、カメラで手元を映して楽器なしで演奏できる仮想ピアノの開発なんかに活かされる可能性があるという。

参照元:‘Audeo’ teaches artificial intelligence to play the piano/ UW News

ADVERTISING

JOB OPPOTUNITIES

最新の求人情報(求人一覧

求人

営業リーダー候補

Stay Hungry

営業リーダー候補

年収

360万 〜 600万

詳細を見る

ジャーナル

【連載Vol.6】採用力を高めるSNS活用術!ショート動画で実現する効果的なブランディング戦略

【連載Vol.6】採用力を高めるSNS活用術!ショート動画で実現する効果的なブランディング戦略

記事を読む

求人

ショールーム販売スタッフ

USM

ショールーム販売スタッフ

詳細を見る

ジャーナル

ケリング、日本初開催の「ケリング・ジェネレーション・アワード・ジャパン」授賞式を3月13日に開催

ケリング、日本初開催の「ケリング・ジェネレーション・アワード・ジャパン」授賞式を3月13日に開催

記事を読む

ジャーナル

ホーリー先生の外資系キャリア塾:成功の掟<年収アップ編>

ホーリー先生の外資系キャリア塾:成功の掟<年収アップ編>

記事を読む

ジャーナル

LVMH、大阪・関西万博のフランスパビリオンに協賛。卓越した職人技と創造性を世界に発信

LVMH、大阪・関西万博のフランスパビリオンに協賛。卓越した職人技と創造性を世界に発信

記事を読む

コラボパートナーの募集情報
コラボ募集一覧

コラボ

【いろはグランホテル松本駅前】コラボパートナーになってホテル...

IROHA GRAND HOTEL 【いろはグランホテル松本駅前】コラボパートナーになってホテル...

詳細を見る

コラボ

”水辺の宿場町”をデザインコンセプトとするアートホテル「東京ベイ潮見...

東京ベイ潮見プリンスホテル ”水辺の宿場町”をデザインコンセプトとするアートホテル「東京ベイ潮見...

詳細を見る

コラボ

ドイツ腕時計ブランドの"ZEPPELIN"とのコラボレーションウォッチパートナ...

ZEPPELIN ドイツ腕時計ブランドの"ZEPPELIN"とのコラボレーションウォッチパートナ...

詳細を見る

コラボ

自治体の枠にとらわれない幅広いコラボ実績をもつ「サガプライズ!」とのコラボレーシ...

サガプライズ! 自治体の枠にとらわれない幅広いコラボ実績をもつ「サガプライズ!」とのコラボレーシ...

詳細を見る

Powered by

現在の人気記事

NEWS LETTERニュースレター

人気のお買いモノ記事

公式SNSアカウント