音楽のクリップから、ジャンルやビートに合ったダンスを生成する研究。これまでは実在するダンスから音楽に合うものを検索する研究がされていましたが、この研究では本質的にダンスを生成することに成功しています。
ダンスの映像からポーズや四肢の動きといった細かな情報を抽出し、それをビートを認識した音楽と合わせて学習させることで実現しています。
バレエ、ズンバ、ヒップホップの3つのジャンルのダンスを生成できるよう学習させて、音楽のジャンルが変わるとそれに合わせて踊るようになっています(動画2:00)。また、同じ音楽に対して多様なダンスを生成できるようです(動画2:20)。さらに、生成した骨組みのダンスを人間のような見た目に変換されたものは、本物の人が踊っているように見えますね(動画3:28)。
今後の研究では、さらに他のジャンルのデータを集めて学習させていきたい、とのことです。