好家伙!开云体育(中国)官方网站
机器东谈主已入厂打工分拣快递,手法娴熟和东谈主类一模雷同。
前几天,Figure 推出了端到端通用截止模子——Helix,能让机器东谈主像东谈主雷同感知、认知和行动。
当今,是时候捕快最新服从了。
视频中,一批Figure 02走上坐褥一线,次序井然地分拣快递,还能正确调遣条形码位置以供机器扫描……
最紧迫的是,按照官方说法,这次场景微调只用了 30 天。而动作对比,第一个客户案例用了 12 个月之久。
端到端学习规范让 Figure 的机器东谈主大致快速学习新任务!
面对如斯进化速率,网友们直呼:咱们完啦!
背后要津:革命了 Helix 系统 1
除了视频,针对本次实验的高速、小包装物流场景,Figure 还公开了Helix 推崇的最新敷陈。
在和 OpenAI 拒却之后,就在上周五,Figure 公布了首个服从Helix。
动作一个端到端通用截止模子,只需当然言语指示,机器东谈主就能提起任何东西,哪怕是从没见过的东西(比如这个厚爱的小仙东谈主掌)。
更多情理的是,两个机器东谈主也不错共同配合,而且用的是合并组神经收罗。
凭证其时的先容,Helix 主要由两个系统构成,两个系统经过端到端老师,何况不错进行通讯。
系统 1:80M 参数的交叉提防力 Transformer,用于处理底层截止。
系统 2:基于在互联网鸿沟数据上预老师的 7B 开源 VLM,用于场景认知和言语认知。
而这一次,Figure 在物流场景要点对系统 1(底层截止)进行了一系列革命:
1、隐式立体视觉(Implicit stereo vision):增强了 3D 空间感知,使机器东谈主动作更精确;
2、多圭臬视觉默示(Multi-scale visual representation):聚拢细节和举座场景认知,提高操作精度;
3、学习视觉内容感知(Learned visual proprioceptio):每个 Figure 机器东谈主当今王人不错自我校准,简化跨机器东谈主技巧挪动;
4、走漏模式(Sport mode):使用简约的 test-time 加快期间,同期保持高到手率和更快的实施速率。
最紧迫的是,Figure 针对该特定场景,进一步研讨了数据质料和数目之间的量度关联,并初步发现:
仅用 8 小时全心挑选的数据就能老师出一个活泼且安妥性强的战术。
底下具体伸开。
在物流场景下,要津法子包括包装处理和分类,主如若需要将包裹在传送带上升沉并确保标签正确扫描。
听起来是不是很简约,但如果要让机器东谈主取代东谈主类来完成这项责任,濒临的挑战在于:
包裹的尺寸、花样、分量等互异,机器东谈主不仅要能提起来,而且需要细目最好合手取和升沉时辰,致使放错了之后还能立马校正。
为了收尾上述指标,Figure 最初革命了 Helix 系统 1 的视觉智商。
新一代系统 1 通过遴荐立体视觉主干收罗和多圭臬特征索求收罗来增强其空间认知智商。
简约说,系统不再颓败处理来自每个录像头的图像特征,而是最初在多圭臬立体收罗中合并两个录像头的特征,然后再进行记号化(Tokenize)处理。
这么作念的平正是,保持了输入到交叉提防力 transformer 的视觉 tokens 总额不变,幸免了贪图支出。
同期,多圭臬特征索求收罗大致同期捕捉到细节和更庸俗的高下文信息,这有助于提高操作的准确性和可靠性。
此外,为了惩处在多个机器东谈主上部署调解战术时碰到的挑战,以及怎么通过在线自我校准来收尾跨机器东谈主战术挪动。
举例由于机器东谈主硬件永别导致的不雅察和动作空间的踱步偏移,传统的手动校准规范不适用于大鸿沟机器东谈主群体。
Figure 老师了一个视觉自体嗅觉模子(visual proprioception model),这个模子不错让每个机器东谈主通过本身的视觉输入来自我校准,估算出机械臂终局(即合手取物体的部分)的精确位置和姿态。
何况这种自我校准是在线进行的,也便是说机器东谈主不错在责任的同期进行校准,这么就能最猛进程地减少因校准而需要住手责任的时辰。
趁机一提,老师历程中,Figure 放弃了那些较慢的、遗漏的或失败的案例,不外有利保留了包含校正行径的案例(非遥控操作员导致,当然产生)。
终末,为了达到并超越东谈主类的操作速率,Figure 遴荐了一种被称为"走漏模式"的 test-time 加快期间。
具体来说,他们让系统 1 以每秒 200 次的频率输出一系列动作,这些动作被称为动作"块"(action " chunks ")。
然后遴荐了一种插值规范来加快这些动作块的实施。插值是一种数学规范,不错在原罕有据点之间生成新的数据点。在这里,他们将本来的动作块(比如代表 T 毫秒的动作)通过插值裁减为 0.8T 毫秒的动作块,然则仍然以每秒 200 次的频率实施这些裁减后的动作块。
这种规范不需要转换机器东谈主的老师历程,仅仅在 test-time 对动作实施进行加快。通过这种规范,Figure 机器东谈主大致在实验测试中收尾高达 20%的速率提高。
Figure 首创东谈主:过去四年录用 10 万台
总之,期间升级让 Figure 走进工场的速率更快了。
官方提到的第 1 个客户,应该是指前年 8 月发布的 Figure 02 进良马工场从事汽车安装的事儿。
其时良马工场花了12 个月才给机器东谈主安排好符合的责任,而这一次,机器东谈主厚爱上岗物流仅用了 30 天时辰。
也难怪 Figure 首创东谈主有底气告示,过去四年要录用 10 万台东谈主形机器东谈主。
另一方面,跟着国表里各家机器东谈主纷纷"进厂打工",大家渐渐达成了一个共鸣:
2025 是机器东谈主量产要津之年
从各家 demo 来看,东谈主形机器东谈主的期间已基本锻真金不怕火,因此接下来的争夺主要围绕量产伸开,而且要往实验坐褥场景走了。
比如在一家上海机器东谈主工场内,无数"过去工东谈主"正在坐褥 ing。
嗯,王人卷起来吧!
参考一语气:
[ 1 ] https://x.com/Figure_robot/status/1894781226676064459
[ 2 ] https://www.reddit.com/r/singularity/comments/1iymrxs/shanghai_robot_factory_where_humanoid_robots_are/开云体育(中国)官方网站