Pegasus 1.6原生支持第一人称视频处理

发布时间:2026-10-07 02:20:55 UTC+8 约 1227 字 9 个小节
Pegasus 1.6原生支持第一人称视频处理

教机器人叠衣服,常规做法是找一个人盯着人类叠衣服的视频看好几个小时,然后把每个动作手写标注出来。TwelveLabs想把第二道工序彻底砍掉。

2026年10月6日,TwelveLabs正式发布Pegasus 1.6,一款具备原生第一人称视角理解能力的视频智能模型。官方把这类视频叫egocentric video,说白了就是可穿戴设备、遥操作系统的拍摄素材——想象一下绑在工人头上的运动相机,或者人类远程操控机械臂时的画面。

Pegasus 1.6能做什么

这个模型主要面向机器人物理AI团队,帮他们把海量的原始视频快速转成可用的训练数据。

具体拆解下来,核心功能有这几块:

动作分割与标注

模型会把一段视频拆成独立的动作单元,然后给每个单元打上标签,告诉你这一段里发生了什么。相比人工逐帧处理,这个过程由模型自动完成。

Pegasus 1.6原生支持第一人称视频处理

空间交互的密集描述

不只是给一句话概括,而是生成详细的手部与物体相对运动的描述。比如「左手抓住衬衫左袖口向右翻转」这类具体说明,而不只是「叠衣服」三个字。

质量控制

在视频真正进入训练流程之前,模型还能帮助标记出画面里的问题素材,避免有缺陷的数据污染整个管道。

图像分析支持

除了视频,Pegasus 1.6还支持每请求1到20张图像的分析,同时改进了实体识别能力和元数据提取的丰富度。

技术规格与效率对比

Pegasus 1.6的上下文窗口达到261,120个token,足以完整处理最长2小时的一段视频。

这里有个数字能说明问题的严重性:人工标注第一人称视角视频,每小时原始素材平均需要70到155小时的手动处理时间。换算一下,一段两小时的双机位素材,光标注就可能耗掉一个人几周的时间。

TwelveLabs给Pegasus 1.6的定位是帮汽车厂商和机器人企业把过去那种精挑细选的小数据集模式,切换成基于真实人类操作视频的可扩展pipeline。

Pegasus 1.6原生支持第一人称视频处理

如何访问和使用

接入方式走TwelveLabs的API通道。不过有个细节需要留意:批量分析功能目前仍由Pegasus 1.5处理,大规模任务暂时没有完全切换到新模型上。

对于计划上量使用的团队,建议提前确认当前批量处理的需求量和时间窗口,合理规划迁移节奏。

和上一代版本的关系

Pegasus 1.5在2026年4月20日发布,当时引入了基于时间的元数据提取能力,支持2小时视频无需预先建立索引就能直接抽取带时间戳的结构化信息。

1.6版本在1.5的基础上把能力指向了一个更细分、更硬核的场景:摄像头本身就是操作者眼睛的素材。这类视频的标注复杂度比普通第三人称视角要高出不少,原生支持意味着模型从底层设计就考虑了这个任务的特点。

结语:数据标注自动化正在渗透机器人领域

第一人称视频在机器人训练数据里的占比越来越高,但手动标注的高成本一直是规模化的绊脚石。Pegasus 1.6的出现把这件事从人力密集型转向模型驱动,虽然批量处理的完全迁移还需要时间,但对于需要快速迭代训练数据的团队来说,这条路已经有人在走了。

关键词 Pegasus 1.6第一人称视频机器人训练数据

本文基于公开媒体报道整理,仅作信息参考,不构成任何投资依据,内容以原文为准。

更多资讯

全部资讯 →