输入一个视频和一张照片,照片就会按照视频做同样的动作。去年有个很火的魔性摆头“蚂蚁呀嘿”视频,就是用的类似的技术,感兴趣的可以搜搜。这个模型提出了一种新的端到端无监督运动驱动框架,可以驱动说话的脸、人体和像素动画等,效果很不错。
开源:https://github.com/yoyo-nb/thin-plate-spline-motion-model Colab体验:https://colab.research.google.com/drive/1DREfdpnaBhqISg0fuQlAAIwyGVn1loH_