革新智能交互界面：昆仑万维携手智源等机构共同推出“Cradle”计算机控制新框架

近日消息，一场科技界的盛事悄然上演，昆仑万维携手北京智源人工智能研究院、新加坡南洋理工大学以及北京大学等顶尖学术机构，共同揭开了名为“Cradle”的通用计算机控制框架的神秘面纱。这一创新成果标志着智能代理技术迈向了一个全新的高度，预示着未来人机交互模式的深刻变革。

这一AI框架使智能体（AI Agent）能够无需特别训练，直接像人一样控制键盘和鼠标，与任意开闭源软件进行交互，不依赖任何内部API。Cradle是首个能够同时玩转多种商业游戏和操作各类软件应用的AI框架，其论文、项目和代码均已开源。

Cradle展示了在多款游戏中的卓越能力，包括在《荒野大镖客2》中完成长达40分钟的主线任务，在《星露谷物语》中清理农场和购物，在《城市天际线》中建造千人小镇，在《当铺人生2》中与客户讨价还价，以及在Chrome、Outlook、飞书等日常软件中的应用能力。它还能进行修图、剪辑视频等操作，成为一个全能的AI Agent。

Cradle由信息收集、自我反思、任务推断、技能管理、行动规划和记忆模块六个部分组成，通过合理封装和抽象原始输入输出，实现与电脑的交互。它使用屏幕显示的视频图像作为输入，提取文本和视觉信息进行决策，并输出控制键盘和鼠标的信号。Cradle的决策推理模块能够自发与软件交互并完成任务，通过反思过去、总结现在和规划未来的方式进行操作。

此外，Cradle在游戏和软件应用上的表现证明了其通用性，能够在多种风格和操作方式不同的游戏中完成复杂任务，在常用软件中执行各项任务，如下载论文、发送邮件、修图、剪辑视频等。Cradle还在具有挑战性的benchmark OSWorld上击败了使用真值标签的基线方法。

Cradle的发布为构建通用计算机控制智能体（GCC Agents）提供了新的可能性，推动了统一输入输出接口的发展，为未来智能体在不同环境中的交互和自我提升奠定了基础，为实现通用人工智能(AGI)迈出了重要一步。

昆仑万维推出SkyReels AI短剧平台：一键生成剧情对白，革新创作者体验

8月19日消息，昆仑万维宣布，全球首款将视频大模型与3D大模型融为一体的AI短剧平台SkyReels于今日盛大推出。这一创新平台的面世，预示着AI技术在娱乐内容创作领域的又一次重大突破，为用户带来前所未有的沉浸式观看与互动体验。

据官方介绍，SkyReels 平台集剧本生成、角色定制、分镜、剧情、对白 / BGM 及影片合成于一体，创作者能够“一键成剧”，用户输入一个简单创意，该工具即可完成从剧本到成品短剧制作的全流程。

官方分享了一段 AI 短剧 DEMO 如下：

一天，敏感内向的男孩小杰独自走在街头，却意外偶遇了一只不属于地球的灵动小生物 —— 它那一身亮橙色皮毛在阳光下闪闪发亮。小生物跟小杰在相处中成了朋友，他们在草坪上打盹、在水池中嬉戏。可小杰不知道的是，这只毛茸茸的小生物，竟是实验室里逃走的 424 试验品 ——

该平台集成了昆仑万维自研剧本大模型 SkyScript、自研分镜大模型 StoryboardGen、自研 3D 生成大模型 Sky3DGen、以及业界首个将 AI 3D 引擎与视频大模型深度融合的创新平台 WorldEngine。

具体来看，SkyReels 可通过 AI 一键生成完整剧本、分镜、人物对白与 BGM，支持角色形象、音色与分镜的自定义调整，并能够自动将内容转换为 1080P 60 帧的高清视频，单次可生成视频长度达 180 秒。

昆仑万维号称构建了亿级的高质量短剧结构化数据集 SkyScript-100M，该数据集针对海量精彩短剧的剧情节奏、爽点、情绪变化进行了高质量标注。