发布日期：2024-10-13 04:23 点击次数：70
导 语AIGC（东说念主工智能生成内容）的创作风潮正在公共范围内推广KK系列，为雄壮创作者达成科幻假想提供了新的能源。为了深切磋商AIGC在科幻创作范围的影响，中国科幻扣问中心“AIGC赋能科幻影视产业扣问”课题组进行了一系列“AI共创科幻短片”实验。在这个流程中，咱们充分尝试各样AI器具，有了更多新奇的体验、发现与尝试。
在之前的《AIGC赋能科幻影视技巧不雅察：动作捕捉篇》中，咱们向诸君读者先容了AIGC在动作捕捉范围的应用，其中包括计较机视觉和文生动作等技巧的引入，这些技巧使得更经济高效地达成动作捕捉成为可能。咱们也积极尝试借助这些技巧进行创作执行。与惯例的行走、奔走、跳舞等动作捕捉不同，行动科幻敬爱者，咱们将视线蔓延至天地的星辰大海，念念绪飘游到玉阙之间。这次，咱们在实验中挑战模拟零重力环境，达成失重扮演。
一、****失重扮演在电影中的复现有蓄意在地球的重力环境下，达成失重镜头一直以来都是一个巨大的挑战。咱们参考了导演张小北的先容以及联系贵府，初步整理出已往影视作品中达成失重场景的有蓄意：
**1.****吊威亚（wire-flying）**吊威亚技巧在电影制作中被日常遴选，早在1950年的《登陆月球》（Destination Moon）中就有所体现（图1）。在对天际的融会相对有限的期间，这部电影力争尽可能地追求科学性。为了创造低重力环境的嗅觉，导演遴选了一种递次，将演员系在经过滑轮系统的钢琴线上，并由顶置起重机闭幕他们的指点。
图1 《登陆月球》失重片断
关联词在阿谁年代，由于钢线容易被照亮，制作团队不得不一次次进行调理和重拍。值得一提的是，驰名科幻作者罗伯特·A·海因莱因（Robert A. Heinlein）对电影的最终脚本作出了巨大孝敬，并担任了技巧参谋人，但他也对电影制作之难感到了一些无奈，以为“确凿想法的确太贵了”（Realism is confoundedly expensive. 图2）。
图2 海因莱因（图片出自视频“How Space Movies Evolved Over 120 Years” 视频作者Insider）
自后，在经典科幻电影《2001：天际漫游》（*2001: A Space Odyssey，*1968）中，导演斯坦利·库布里克也哄骗了吊威亚技巧。他玄机地将录像机放在大地进取进行拍摄，这么演员的体格当然地挡住了威亚，玄机地措置了拍摄穿帮的问题。如今，跟着影视殊效技巧的不停提高，“威亚实景拍摄+后期数字确立”还是成为许多失重场景电影的主要制作递次。《星际穿越》（*Interstellar，*2014）、《异星觉悟》（*Life，*2017）以及《流浪地球》（2019）系列等影片都遴选了这种递次，效果相等可以。
2.****计较机技巧集成计较机技巧集成主要体当前数字预演（previs，即通过数字预拍摄，提前蓄意演员和录像机的指点）、LED灯箱（可飞速变换以模拟天际中的明后变化）、数字指点闭幕录像系统（通过要道精确闭幕录像机镜头指点，这一技巧在《星球大战》（Star Wars*，1977）中得到了日常应用）以及数字脚色（电脑生成的演员数字替身）等方面。其中最令东说念主瞩蓄意应该是电影《地心引力》（Gravity，*2013）中的17分钟长镜头。在这一镜头中，演员被固定在机械臂上，置于LED灯箱内，在事先蓄意的演员和录像天真作的闭幕下，机械臂、LED灯箱画面、演员天际服上的灯光，以及电控录像机都好像精确地指点。
通过这种形式，在正确的明后和视角下，可以捕捉到如演员不入虎穴，焉得虎子的扮演。后期制作时，再将演员面部画面与数字脚色合成，最终呈现出这一震荡东说念主心的镜头。连年来，许多天际题材的电影都或多或少地遴选了其中的一些技巧，例如《登月第一东说念主》（First Man*，*2018）、《午夜天际》（*The Midnight Sky，*2020）和《流浪地球2》（2023）。
3.****在失重环境中实拍在1995年制作的电影《阿波罗13号》（Apollo 13，图3）中，制作团队遴选了一种突出改装的波音KC-135飞机，也被戏称为“吐逆彗星”（Vomit Comet）。这架飞机沿着弧线轨迹飞翔，创造出了机舱内转眼的失重景色。这让演员好像躬行体验确凿的失重环境，从而达成了确凿的动作和反馈。关联词，每次失重只可连续25秒，因此必须提前用心遐想每个镜头。为了完成这一壮丽的建设，剧组统统进行了612次飞翔，预计经验了快要4小时的失重景色。
图3 《阿波罗13号》失重片断
另一个令东说念主瞩蓄意例子是俄罗斯电影《深空救助者》（Challenge，2023）。这部电影成为了东说念主类历史上首部在天际拍摄的电影。在2021年年中，导演克里姆· 什彭科和女主演尤利娅·裴若希德搭乘定约MS-19天地飞船参加海外空间站，进步履期12天的拍摄。他们还邀请了俄罗斯宇航员客串出演，最终拍摄了30分钟的内容。这些实地拍摄的经验为不雅众呈现了愈加确凿和震荡东说念主心的天际场景，也展示了电影制作中不懈的革命和勇气。
此外，要科学地再现天际环境，还有一个递次是遴选东说念主工重力。例如，在电影《2001：天际漫游》中，制作团队遐想了一个环形空间站（图4），通过旋转来产生离心力，从而制造出东说念主工重力。他们建造了一个高约11.5米的离神思，以每小时约4.8千米的速率旋转，以模拟东说念主工引力，效果令东说念主叹为不雅止。此外，一些科幻作品中也提议了“重力靴”等主见。
图4 《2001天际漫游》置景
无论遴选哪种形式，都有一个共同的脾性，即高制作门槛和高制作资本。关联词，当前咱们可以尝试探索一种与之不同的AIGC赋能有蓄意，即“低门槛+低资本”的递次。
在《流浪地球2电影制作手记》中，视效总监赵浩强在先容视效部门对预拍摄的走漏注解总结时示意：“兴趣的是，当咱们拍天际荡漾的戏时，在臆造棚当中反倒可以无谓吊钢丝的惯例形式，刚好有一些别的戏时有用到担架说念具的，在拍摄荡漾的时刻，就请演员躺在担架、板车或者木箱上，后头有使命主说念主员去推。因为在虚拍环境中，惟逐一稔动捕征战的演员才会被拍到，现场使命主说念主员关于影相机来说反倒是隐形的。”
维塔数码（Weta Digital）动画总监艾丹·马丁（Aidan Martin）也共享了他们在电视剧《天际队列》（Space Force，2020-2022）制作中的走漏注解：“咱们的首席动画师克雷格·杨（Craig Young）作念了许多失重动作捕捉扮演尝试，有天房间里有一把莫得靠背的小滚椅。克雷格坐在上头，我推着他，他发达得好像在*失重环境雷同……咱们最终将那把椅子带到了动作捕捉舞台，让克雷格穿上了这套装备。我会在舞台上将他拉来拉去，这么他就好像仿佛在‘荡漾’*雷同。随天真作剪辑团队会在脚色的指点旅途上添加更多的荡漾感。但那把椅子就是咱们相等高技术的反重力征战。”
联系于现实拍摄，臆造拍摄具有相等的便利性。在咱们这次的技巧有蓄意中，咱们尝试以“数字演员+AI真东说念主换脸+生成失重动作”的形式来复现失重环境下的动作。需要补充走漏，本文关怀的重点是失重动作的达成，联系数字演员的内容在本文中不予深切磋商。
二、****失重动作的AIGC教练在零重力环境下的动作数据，主流的动作捕捉数据库基本上是空缺的，惟一少量数的数据来自水中荡漾或者在风洞环境下制作的飞翔动作。关于CG动作措置有蓄意，咱们有两个主要的所在：基于确凿视频素材的动作捕捉和AI援救动作模拟。
1.****有蓄意一：基于确凿视频素材的动作捕捉当前，咱们只可获取到有限的公开视频素材，主要起首于中国空间站或海外空间站的科普视频、航天员教练视频、零重力飞船的镜头，以及一些高空跳伞的镜头。咱们更侧重使用确凿素材行动基础，因为电影中的动作可能存在科知识题，是以不在咱们的使用素材范围之内。例如来说，即使是被公以为效果最佳的天际电影之一《地心引力》，字据专科科学家的不雅点，电影中瑞安·斯通博士（桑德拉·布洛克饰）收拢宇航员麦特·科沃斯基（乔治·克鲁尼饰）倏得的情节，按照严格的科学判定，克鲁尼不会飘走，电影本应该在那一刻闭幕。
为了进行动作识别，咱们利用了神舟十三号的玉阙课堂中的角动量实验视频，并遴选ROKOKO Vision（动作捕捉厂商ROKOKO推出的一款基于视频识别东说念主体动作的应用）的单录像头AI动作识别技巧进行操作。以下是咱们的初步闭幕（图5），可以看到，叶光富的旋转实验镜头稍作修改后可以平直使用。
图5 视频动捕生生效果（未经过处理）（动图）
但素材制约了咱们的进一步探索，主要问题在于：
（1）东说念主体指点镜头有限：当前，单录像头动作捕捉有蓄意可以相瞄准确地捕捉到较大幅度的体格动作，但现存素材中，航天员大多处于合座体格相对静止的情况下，即使是在进行实验时，主要亦然上半身或仅手部指点。由于当前的视频精度还无法准确汇集较小幅度的指点，同祈望多动作在展示之后只可连续几秒钟，这也制约了咱们的素材数目。相对而言，零重力飞机中的动作愈加兴趣，但这也引出了下一个问题。
（2）镜头受到多种干扰身分：单录像头动作捕捉容易受到干扰，起初是在三维空间中识别信息的费劲。在大地拍摄中，咱们可以以大地行动参照物来尝试重建指点，但在失重环境中，手持镜头意味着被拍摄东说念主员和拍摄者两边的指点，极大地增多了空间重建的难度。例如，高空跳伞的失重镜头因为枯竭参照物，镜头无法使用。其次，存在环境掩盖问题。随机体格的一部分可能被掩盖，固然东说念主眼可以初步判断动作的样态，但AI不一定能提供准确的谜底。要是在相对复杂的环境中拍摄，如海外空间站可能存在相对远大的情况，或者零重力飞机上有多位东说念主员（图6），这都会给动作识别带来许多费劲。
图6 博尔特在零重力飞机上竞走
值得一提的是，在磋商这个问题时，咱们发现专科航天科研东说念主员为了在微重力环境中进行东说念主体指点的定量扣问也在探索访佛的问题。在2013年的论文《微重力指点捕捉技巧的评估》（“Evaluation of Motion Capture Techniques in Microgravity”）中，提到了使用光学、红外或Kinect等有蓄意进行动作评估。中国的扣问团队在2023年的论文《具有自校准功能的宇航员姿势重建多视觉系统》（“A Multi-View Vision System for Astronaut Postural Reconstruction with Self-Calibration”）中提议了卷积神经收罗的免校准东说念主体姿态评估有蓄意。关联词，这些有蓄意都需要多个录像头，因此在咱们的素材范围内并不适用。
2.****有蓄意二：AI援救动作模拟在玉阙课堂中，咱们有幸不雅察了许多物理实验，包括最新一期中点火天际圆圆的火苗，这再次考证了牛顿定律的正确性。因此，咱们尝试进行了与前文相悖的操作，以定律为中枢，通过AI援救来推导出失重环境中的动作。
这次，咱们使用了AI援救的动画软件Cascadeur。该软件预设了物理环境的成立，同期基于东说念主体物理学来确立动作。咱们尝试复制了航天员叶光富的旋动掸作，起初设定了手臂的动作变化——双臂展开、减轻…...同期也为全身设定了旋转（图7、图8）。可以看到，在最终经过AI调理后，闭幕与叶诚挚的动作皆备一致，减轻时速率快，展开时速率慢。这种速率变化皆备由软件生成，莫得东说念主工干扰。
图7 AI援救失重动画制作 复刻角动量守恒
图8 AI援救失重动画制作 前滚翻（动图）
咱们上前一步，进一步遐想收拢扶手，上前空翻等一系列动作（图9）。
图9 AI援救失重动画制作 收拢扶手上前空翻
在这个流程中，咱们也面最后一些费劲：
（1）枯竭外力干扰：在皆备失重且莫得外力过问的情况下，东说念主体很难自主旋转，即等于翻身，也会保持静态（图10）。航天员叶光富在中国空间站的“筋斗云”中，执行上是通过脚起初讲和到航天器，从而产生初步的外力，然后体格运行旋转。因此，这套有蓄意离不开东说念主工设定动作。
图10 失重参考视频 自主旋转费劲
（2）东说念主工设定动作：除了增多使命量，东说念主工设定动作最大的问题是枯竭确凿感，需要动画师具备高度的不雅察和制作才智，并莫得缩短门槛。因此，咱们但愿好像更进一步，连续尝试寻找更灵验的递次。
3.****有蓄意三：视频捕捉+AI模拟起初的有蓄意是但愿使用半身的动作进行动作捕捉，然后通过AI来模拟全身动作。一运行，咱们取舍使用动作捕捉库中的数据生成动作，固然物理上是正确的，但动作却显得奇怪（图11）。
图11 视频捕捉+AI援救失重动画制作效果欠安
经过分析，问题出在动作数据上。在大地上，东说念主体主要的发力点是脚步与大地的讲和点，这导致了全身动作与脚步动作之间存在关联。而《流浪地球2》和《天际队列》中的转椅有蓄意也不行得志半身动作的需求。直到咱们在《地心引力》的幕后花絮中赢得了灵感，演员桑德拉·布洛克坐在转椅上扭动体格，绑定了其中一条腿，这相等于以体格的臀部为轴（接近体格重点），可以达成符协力矩的半身动作（图12）。
图12 《地心引力》幕后制作官方记录片片断
因此，咱们遴选了调换的念念路，起初进行了绑腿，再通过视频汇集全身动作，最终保留上半身动作，AI修正全身。腿部是调换的意旨，咱们遴选了访佛体操指点员在鞍速即的作念法，效果如图13。
图13 AI援救失重动画制作
从上述闭幕可以看出，咱们的有蓄意取得了一定的效果（动作还需要优化）。在以往的天际电影中，为了闭幕资本，随契机取舍删除失重环境的执行拍摄，终点是在一些特写或近景镜头中。关联词，咱们的有蓄意可以得志即使在细节镜头中，体格姿势都稳健物理环境，因此好像为整部影片呈现出愈加确凿的质感。
咱们对以上技巧作念出了一些瞻望：
se情在线（1）与他东说念主或环境的交互：与其他东说念主物或环境进行交互是一个有挑战性的范围。当前，一些软件如endorphin（脚色动画模拟软件）和Unreal Engine（游戏引擎，现也被用于影视及动画制作）在重力环境下提供了访佛的功能，但在失重环境中仍需要进一步的技巧集成。这可能包括开发更智能的碰撞检测和交互算法，以达成更传神的互动体验。
（2）更高效的动作生成有蓄意：在动作捕捉方面，文生动作捕捉和更高效的录像机识别技巧是改日可能的发展所在。这些技巧瞻望将有助于进一步进步在失重环境中达成动作的质地和效力，使天际电影和其他联系范围的制作愈加山外有山。
三、****AIGC——创造不可能归来之前的尝试，这个问题的执行其实是：**在还是掌执联系法例的前提下，若何玄机地借助这些王法和逻辑，在有限的样本基础上创造更多的内容。**在这个神气中，AIGC的任务就是模拟现实寰球，而不是试图杰出物理定律或第一性旨趣。当咱们杰出名义的失重“张惶”，转而让AIGC以牛顿定律的“执行”来念念考寰球时，执行上更有助于得志咱们的需求。
而王法和设定不就是科幻创作中的“寰球不雅设定”吗？科幻创作者通过规定虚构寰球的王法，可以推献技各式社会、科技和文化的可能性，从而创造出山外有山的寰球不雅。在这个流程里，AIGC不是旁不雅者，它可以帮咱们深挖王法的内涵，弄清不同王法之间的互动奥秘，然后，给科幻创作者提供建议，协助构建更精彩、更一致的虚构寰球，让科幻创作者可以挥洒更豪恣的假想，基于这些王法创作出更多刺激的情节和内容。如下图，就是在AIGC的援救下，以现存空间站为基础进行了一定的改日格调主见遐想。
图14：AI作画软件stable diffusion生成科幻图片
让咱们再次聚焦回科幻电影和电视中的“失重”情节上。固然跟着一代代影视技巧的进步，零重力环境的视觉效果不停增强，但笔者确信，要想确凿回应天际中的失重感，唯有亲自前去天际拍摄才行。毕竟，莫得什么能比确凿更具震荡力。
失重的影响无处不在，从脸颊的肿胀到头发的“蓬松”——这些都是咱们在玉阙中目击的（图15）。关联词，在大多半失重情节的电影中，包括可能是迄今为止拍摄失重场合最精彩的《地心引力》中，咱们仍然看到了桑德拉·布洛克保持着齐备的发型（图16）。
图15 神舟十四号玉阙课堂中航天员刘洋头发荡漾
图16 《地心引力》经典镜头，女主角的头发莫得荡漾
最后，咱们要向航天工程使命者致以最上流的敬意！电影虽可创造梦乡，但航天工程却是现实中的袼褙豪举，这些勇敢的探险家和科学家让咱们的渴望成为可能。赤忱感谢他们无限的奋力，一直为探索未知的天地和为东说念主类改日的高出而奋力拼搏着！
本文为中国科幻扣问中心“AIGC赋能科幻影视产业‘智造’扣问”神气后果，旨在深切扣问AIGC关于科幻影视创制方面的作用，迎接连续关怀后续内容！
起首：科普中国（https://www.kepuchina.cn/article/articleinfo?business_type=100&classify=0&ar_id=455882）KK系列
