再试试两张狗子照片,让它转个头:
不过,上传两张鸟在天空不同位置飞的照片,效果就不ok了:
前文提及,该产品是一种帧插值(Frame Interpolation)工具。
所谓帧插值,即在视频两个帧之间,插入一部分新的合成帧,相关技术被广泛应用于图片生成视频、视频流中的帧修复。
谷歌今年有篇《大幅动作的帧插值》(About FILM: Frame Interpolation for Large Motion)已被ECCV 2022接收。
技术人员通过双向运动估计、与尺度无关的特征提取等方式,做出了较好的帧插值效果。
就目前来说,该技术难以突破的点在于:
即便是短短几秒,图片中人物或物体也进行了一套复杂动作,使得帧插值后,视频失真。
不过,如果不追求写实,做出一些魔幻效果,该技术已经绰绰有余(手动狗头):