基于文本的视频生成

摘要

本文公开了用于生成基于文本序列的人的视频序列的技术。基于接收到的文本序列，处理装置生成人的视频序列以模拟人的视觉和听觉情感表达，包括使用人的声音的音频模型生成视频序列的音频部分。基于对人的先验知识，处理装置可以模拟在视频序列的视觉部分中的情感表达。例如，先验知识可以包括在现实生活中的人的照片或视频。

主权项

一种方法，包括：在处理装置输入文本序列；以及由所述处理装置基于所述文本序列生成人的视频序列以模拟所述人的视觉和听觉情感表达，包括使用所述人的声音的音频模型生成所述视频序列的音频部分。