好莱坞的编剧和演员都在罢工时，旧金山的一家初创公司，发布了一项AI技术，可以替代编剧和演员。
寓言（Fable）正在开发一个名为“模拟”的大型项目，发布了被称为SHOW-1的AI制片人 （AI Showrunner）技术，可以生成以你为主角的电视剧新集。
加州是一个神奇的地方。南加州的洛杉矶产生灵感，而北加州的旧金山，发明模仿灵感的机器。
对于生成式人工智能来说，这是又一次重要的进展。
这家初创公司，已经有些来头。赢得过两次艾美奖和一次皮博迪奖，他们发布了一篇研究论文，概述了其智能制片人代理的潜力。这些智能代理可以撰写、制作、导演、选角、编辑、配音和动画化电视剧的集数。
AI 制片人最近创作了《南方公园》的剧集，不仅有对话，它还进行动画制作、配音和剪辑。对于电视剧集，AI 制片人可以直接生成剧集，或者用户可以提供一两句话的提示，基于此创建电视剧集。
AI生成的《南方公园》剧集：马斯克的隐秘战争
寓言首席执行官爱德华·萨奇（Edward Saatchi）自己扮演角色出现在《南方公园》的一集中，剧情中萨奇与卡特曼之间展开了一段类似《致命诱惑》的外遇关系。另一集名为《西部纪事》的剧集完全基于萨奇撰写的简单文本提示生成。在《西部纪事》中，“Bizney”研究团队试图使用AI来娱乐美国的儿童，但却导致了灾难性的后果，对一家公司娱乐制作工作室造成了全国性的丑闻，并引发了美国编剧协会（WGA）的报复行动。
关于《南方公园》剧集的版权问题，萨奇表示：“我们不会商业化发布Showrunner，也没有与《南方公园》方面进行洽谈（尽管我们与几家制片厂以及创作者合作制作原创IP）。但我们之所以选择使用《南方公园》，是为了让人们可以对比一个高质量的人类剧集和一个AI剧集。今年晚些时候，我们将宣布几个附带AI电视剧的原创IP模拟项目，其中包括太空探索科幻模拟、硅谷讽刺模拟和侦探模拟。”
萨奇表示：“这篇论文只是个开始，想象下一个世界，在这个世界中，粉丝们可以将自己置身于自己最喜爱的剧集中，创作新的剧集，并竞争创作史上最好的剧集，或者一个创作者可以利用AI Showrunner制作自己的原创剧集。”
《南方公园》是一部美国的成人动画喜剧电视剧，以黑色幽默和讽刺的方式刻画了一个名为南方公园的小镇的故事。该剧以社会和文化的讽刺为基础，涵盖了各种时事、政治和流行文化的主题。它以其大胆的幽默和敏锐的时事评论而闻名，经常挑战社会观念和政治正确性。《南方公园》由马特·斯通（Matt Stone）和特雷·帕克（Trey Parker）创作，并于1997年首播至今，在全球范围内获得了广泛的观众和影响力。
《南方公园》的剧集和AI Showrunner仅仅是寓言公司更大雄心的一部分。此前，萨奇宣布该公司将创建一个充满AI角色的世界，这些角色将由真实人类进行培训，以在虚拟世界中过上自己的生活。
寓言公司“模拟”的终极目标，是构建具有人类级智能的AI，并最终创建人工通用智能（AGI），一种达到并超越人类智能的AI，最终成为一种新的生命形式。
寓言公司最初是Facebook（现为Meta）旗下Oculus的一个部门。它制作了虚拟现实电影，并凭借作品《Henry》获得了首个艾美奖。它还创造了一款名为《Wolves in the Walls》的虚拟现实体验，其中的虚拟人物Lucy赢得了艾美奖。上周，寓言公司还凭借其AI虚拟人物Lucy荣获皮博迪奖。
萨奇表示，今年晚些时候，该公司将发布“模拟”的工具，即3D世界。人们将能够进入“模拟”，创建模拟，并根据3D世界中发生的事情自动生成剧集。
论文介绍了寓言公司是如何实现AI制片的。
寓言公司使用大型语言模型、扩散模型和多智能体模拟来生成IP剧集内容的方法，实现了背景化、故事进展和行为控制。GPT-4被大量的电视剧数据训练过，用户经过引导，将能够重新编写全季的剧集。
为了训练出自定义的扩散模型，寓言建立了一个综合数据集，其中包含电视节目《南方公园》中的大约 1200 个角色和 600 个背景图像，用作模型学习节目风格的原材料。
寓言使用 Dream Booth训练了两个专门的扩散模型
第一个模型专门用于生成单个角色，背景设置为可键控的颜色。这有助于提取生成的角色以进行后续处理和动画制作，能够将新生成的角色无缝地融入各种场景和环境。此外，角色扩散模型还允许用户通过稳定的扩散图像处理过程，根据自己的外貌创建一个《南方公园》角色，并以等同参与的智能体加入模拟。有了克隆自己声音的能力，很容易想象出基于用户特征外貌、写作风格和声音的完全自主角色。
第二个模型的训练目标是生成干净的背景，特别关注室外和室内环境。这个模型为我们生成的角色提供了一个“舞台”，让它们可以进行互动，从而创造出各种潜在的场景和情节。
那么，故事情节如何演变呢？故事生成过程是模拟、用户和GPT-4之间的共同责任。每个角色都有其优势和局限性，它们的贡献可能会有不同的权重。通常情况下，模拟提供基于IP的基础上下文、角色历史、情感、事件和地点，为初始创意过程提供种子内容。然后用户引入其意图，对智能体施加行为控制，并提供启动生成过程的初始提示。用户还充当最终的鉴别者，在过程结束时评估生成的故事内容。另一方面，GPT-4充当主要的生成引擎，根据用户和模拟的提示创造和推演场景和对话。这是一种共生过程，每个参与者的优势都有助于形成连贯、引人入胜的故事。重要的是，采用了多步骤的方法，即提示链，以提供检查和平衡，减轻了不必要的随机性，同时更加一致地与IP故事世界保持一致。
下面是论文中展示的AI制片人机制：
英伟达的AI科学家Jim Fan，一直看好多智能体模拟领域，下面是他的解读：
新兴智能的下一个前沿将是多智能体模拟：一群AI角色通过复杂的社交互动进行日常生活。每个角色都有自己独特的背景故事、个性和动机。
这就是来自未来的《南方公园》：通过模拟完全由AI生成的电视剧系列。
我的朋友爱德华·萨奇的团队@fablesimulation在将各种AI工具整合到新鲜的体验中做出了令人赞叹的工作：
▸ 主要实现灵感来自斯坦福的Smallville项目，其中有25个智能体居住在一个模拟的城镇中，拥有学校、医院和住宅。
Smallville采用多智能体非梯度架构，将每个角色的经历作为自然语言存储，随着时间的推移将这些记忆合成为更高层次的反思，并动态地检索它们以规划行为。
▸ 两个基于约1200个角色和600张《南方公园》背景图像的数据集训练的定制扩散模型。第一个模型在干净的背景上生成新的角色，而第二个模型则生成新的背景纹理。然后，场景由超分辨率模型（R-ESRGAN-4x+-Anime6B）进行提升。
▸ 使用诸如ElevenLabs之类的语音克隆AI进行即时配音。
▸ 要生成一集完整的《南方公园》剧集，人类导演只需通过高层次的想法提示故事系统，通常以标题、概要和主要事件的形式，在模拟时间内持续1周（大约3小时的游戏时间）。
风口正在形成。随着LLM和图像/视频生成模型变得更加强大，多智能体模拟将产生远超我们今天所期望的创造性内容。
这只是个开始。
