计算机模型旨在将电影脚本转换为动画

卡内基梅隆大学的研究人员开发了一种计算机模型，可以将描述物理运动的文本直接转换为简单的计算机生成动画，这是有朝一日直接从脚本生成电影的第一步。

科学家在使计算机理解自然语言以及生成一系列物理姿势以创建逼真的动画方面取得了巨大的飞跃。然而，这些能力可能存在于不同的世界中，因为缺少自然语言和物理姿势之间的联系。

语言技术研究所(LTI)的副教授Louis-Philippe Morency和LTI博士的Chaitanya Ahuja 学生，正在努力使用他们称之为联合语言 - 姿势或JL2P的神经结构将这些世界聚集在一起。JL2P模型可以将句子和物理运动联合嵌入，因此它可以学习语言与动作，手势和动作的关系。

“我认为我们处于这项研究的早期阶段，但从建模，人工智能和理论的角度来看，这是一个非常激动人心的时刻，”Morency说。“现在，我们正在谈论动画虚拟角色。最终，语言和手势之间的这种联系可以应用于机器人;我们或许可以简单地告诉个人助理机器人我们想要它做什么。

“我们最终也可以采用其他方式 - 使用语言和动画之间的这种联系，这样计算机就可以描述视频中发生的事情，”他补充道。

Ahuja将于9月19日在加拿大魁北克市举行的3-D Vision国际会议上展示JL2P。

为了创建JL2P，Ahuja使用了一种课程学习方法，侧重于模型首先学习简短的序列 - “一个人向前走” - 然后更长，更难的序列 - “一个人向前走，然后转身再往前走，“或”一个人跑步时跳过障碍物。“

动词和副词描述动作的动作和速度/加速度，而名词和形容词描述位置和方向。Ahuja说，最终目标是通过同时或按顺序发生多种动作来制作复杂序列的动画。

目前，动画是贴图。

更多的事情是，许多事情同时发生，即使是在简单的序列中，Morency解释说。

“ 身体部位之间的同步是非常重要的，”Morency说。“每当你移动你的腿时，你也会移动你的手臂，你的躯干和你的头部。身体动画需要协调这些不同的组件，同时实现复杂的动作。在这个复杂的动画环境中引入语言叙述既是具有挑战性和令人兴奋。这是一条更好地理解言语和手势的道路。“