Depth-Aware Video Frame Interpolationは動画の深度情報を調べることによりオクルージョンを明示的に検出するビデオフレーム補間法を提案する研究.
実際にフレーム補完を行った映像を見てみると,オリジナルの動画よりもフレームレートが向上してなめらかになっていることがわかると思います.
Depth-Aware Video Frame Interpolationのモデルは上図の様になっており,2つの入力フレームがある場合,最初にoptical flows(光度)と深度マップを推定し,テアンされたしんどdepth-aware flow投影レイヤーを使用してintermediate flowsを生成します.次に適応ワープレイヤーを採用して,フローと空間手に変換する補完カーネルに基づいて入力フレーム,深度マップ,およびコンテキストフィーチャをワープします.最後にフレーム合成ネットワークを適用して出力フレームを生成します.
また,Depth-Aware Video Frame Interpolationをアプリ化した「Dain-App」がα版0.1で公開されています.CUDAをサポートしたマシンがあれば実際にフレーム補間を試すことができます.
この研究を応用すれば,あらかじめ手軽に映像を創っておき,その映像のフレームレートを向上させることで少ない手間で良質な映像を作る…といったような,クリエータの活動を手助けすることができるのではないでしょうか.