Figure人形机器人及行业最新进展-20240325

Figure人形机器人及行业最新进展 Q：公司的主营业务是什么？ A：公司的主营业务是开发人形机器人的开放平台，而非机器人的制造。这一战略方向是在OpenAI和微软的建议和主导下形成的。微软以其在操作系统开发方面的卓越能力，而OpenAI则凭借其在利用大型语言数据库进行深度学习方面的专长，共同支持公司构建类似操作系统的人形机器人平台。 Figure人形机器人及行业最新进展 Q：公司的主营业务是什么？ A：公司的主营业务是开发人形机器人的开放平台，而非机器人的制造。这一战略方向是在OpenAI和微软的建议和主导下形成的。微软以其在操作系统开发方面的卓越能力，而OpenAI则凭借其在利用大型语言数据库进行深度学习方面的专长，共同支持公司构建类似操作系统的人形机器人平台。 Q：微软和OpenAI在这一合作中提供了哪些优势？ A：微软提供了其在操作系统开发方面的专业技术，而OpenAI则贡献了其在深度学习领域的专长，尤其是在大型语言模型的应用上。这些技术使得机器人能够快速学习并应用新功能，例如叠衣服等实际动作。 Q：机器人如何通过大语言模型学习动作？ A：机器人通过大语言模型学习动作的过程涉及到神经网络和软件结构的设计。这些技术使得机器人能够快速识别图像和视频中的重要信息，并完成动作和物体抓取。这是深度学习的核心应用之一，即通过观察和模仿来学习识别物体和执行动作。 Q：机器人的视觉学习包括哪些内容？ A：机器人的视觉学习不仅限于语言，还包括图像和视频。通过监督式学习模型，如Google的模型，机器人能够通过示范动作来模仿学习。这种学习方式使得机器人能够理解和执行复杂的任 务。 Q：FigureAI的系统主要面向哪些应用场景？ A：FigureAI的系统主要面向日常生活应用，这些应用通常无法通过简单枚举来解决。例如，拿起不同形状和大小的杯子需要机器人通过网络数据学习不同的抓取方法。 Q：公司如何计划销售其AI学习平台？ A：公司计划在2027年前后发布第一代机器人fig01，并将以销售AI学习平台为主，辅以硬件平台。这个平台是通用的，理论上能够兼容包括小米、特斯拉在内的各种通用人形机器人。 Q：机器人接入OpenAI网络后的学习速度如何？A：一旦机器人接入到OpenAI网络，它们的学习速度将呈指数级增长。随着亚马逊和其他公司对OpenAI的投资以及算力的加强，机器人对世界 的认知将迅速提升，以致接近甚至达到人类智慧水平。 Q：公司目前的规模和人才需求状况如何？ A：公司目前规模尚小，未来需要引进更多的软件人才以支持快速发展。公司的发展速度相对较 慢，软件开发进度明显快于硬件迭代。他们正同时推进硬件优化和软件优化两条路径，其中硬件开发基本完成，软件开发才刚刚起步。 Q：机器人的硬件配置有哪些特点？ A：机器人的通用架构设计已实现，拥有包括34个自由度和28个电机。其中14个含有力量反馈系统的电机使用了谐波减速机构，而其他 14个电机则采用了传统连杆或行星齿轮减速机构。双手共有24个自由度，由12个空心杯电机驱动，手腕上还装有传感器。 Q：公司在3D相机技术方面有哪些计划？ A：机器人体内装有两个英特尔RealSense3D相机，公司未来或许会与国内外主流3D相机供应商合作开发新型相机。这一点体现了公司致力于跟进技术进步，追求与主流技术和市场接轨的企业愿景。 Q：为什么人形机器人需要定制专用的3D相机？ A：人形机器人需要定制专用的3D相机，因为这些相机必须满足体积小、精度高的要求，并且具备特定的视野范围和景深。这些特性对于机器人的空间感知和精确操作至关重要。例如，小米的机器人在胸前配备了至少三个相机，而特斯拉的未来机器人至少应该配有3到4个相机，分布在头部前部、腰部以及颈部背后。Agenda这样的全身敏捷机器人则配有五个相机，这在同类产品中属于较多的配置。 Q：谷歌在其人形机器人设计中采用了哪些特殊硬件？ A：谷歌在其人形机器人设计中采用了较为严苛的硬件要求。每个手臂上都有一个3D相机和惯性导航单元，头部则配备有单独的相机和光学导航系统。这样的设计使得机器人在执行复杂任务时具有更高的精确度和灵活性。 Q：机器人内部的IMU（惯性导航单位）有什么作用？ A：机器人内部的IMU是通用人形机器人路径塑造的重要部分。它帮助机器人感知自身的运动状态和方向，从而在移动和执行任务时保持平衡和精确性。 Q：为什么说灵巧手在所有应用场景中并非必需品？ A：灵巧手虽然在生活场景中可能是适用的，但在工业环境中，机器人的手通常基于具体的工业需求进行定制。手部结构可能包括三指或两指的 手、吸盘，或带有力控的指尖等多样化设计。因此，五指灵巧手并非唯一的选择，未来即使在生活场景中的人形机器人也可能根据不同需求更换手部工具结构，以降低成本、提高任务完成速度。 Q：机器人的行走能力有何进展？ A：从2022年10月公司成立时发布的视频来看，机器人仅能进行简单的直线行走，速度为0.6米每秒。到了2023年1月份，机器人的行走速度提升到了1.2米每秒，并增加了转弯能力。这表明机器人已具备了基本的行走能力，其中转弯的流畅度和僵硬程度是判断机器人执行效率的重要指标。 特斯拉的人形机器人在转弯动作上表现最为优秀，它能在行走中顺畅地转换为曲线行走。 Q：机器人避障能力的下一阶段发展里程碑是什么？ A：机器人的下一阶段发展里程碑是实现避障。至关重要的两个硬件里程碑是直线行走结合转弯的能力和手部抓取的精准性。目前，机器人已实现第一个里程碑，精度大约为5毫米；第二个里程碑则是要达到更高的手眼协调精确度，并加入避障功能，目前已非常接近实现。截至2024年2月的数据显示，机器人手部抓取的精度应在1厘米左右。 Q：机器人的硬件配置中，电机和传感器的选择有哪些考虑？ A：在目前主流设计中，可以使用简易的4伏电机和镂空传感器，并辅以皮肤传感器。并非所有机械手都需要空心杯电机，因为空心杯电机主要是体积小，但并非必需。许多手只有三指或两指，并不需要空心杯电机，驱动结构完全可以内置于手掌中。 Q：视频中展示的机器人手部运动有哪些特点？A：早期视频主要展示了机器人的脚部运动，而手部机构直到最近的视频才亮相。初期的手部机构较为基础，仅配备了手部电机和气动感应器。最新视频中，机器人展示了手眼协调功能，但其抓取动作的精度大约在5毫米左右，这对于日常生活场景可能足够，但对于精密操作的工业场景则 显得不足，表明手眼协调精度需要进一步提高。 Q：机器人在眼足协调和避障方面的表现如何？A：视频中机器人展示了在放置箱子时需要身体正确定位的能力，这体现了其眼足协调能力。然而，在2024年2月的演示中，机器人在无地标环境下的精确定位和避障能力仍有明显欠缺，这表明去地标化避障功能仍需进一步开发。 Q：机器人在语音交互方面有哪些新的发展？ A：在2023年1月的软件更新中，机器人引入了对语音指令的直接识别控制功能，这是语音交互方面的一大进步。尽管如此，机器人在物体抓取的精度和稳定性方面仍有待提高，尤其是在捕捉细小物体时需要事先标定目标。 Q：机器人在3D模型匹配和识别方面有哪些显著的进步？ A：最新视频中，机器人能够识别咖啡胶囊并执行放置动作，胶囊上的白色标记物帮助机器人进行定位，显示出机器人在3D模型匹配方面的能力已有显著提升。尽管如此，机器人在操作过程中的震颤问题和在咖啡机定位上的粗略性仍需改进。 Q：机器人在人机交互和特征识别方面有哪些表现？ A：视频显示，机器人能够与人进行交互，识别桌面物体并执行特定动作，如传递苹果。在清理垃圾时，机器人也展示了简单的特征识别和动作学习的能力。然而，面对复杂选择和判断任务，机器人的能力仍有限。 Q：机器人在硬件和控制系统方面有哪些变革？A：机器人的硬件升级包括新型机器手的轻便和灵活性，特别是手指上增加的电子皮肤，这对于精确抓取和反馈至关重要。控制系统方面，已形成闭环，改善了手部抓取的稳定性与反馈，尽管在手臂零重力状态下仍存在挑战。 Q：未来人形机器人技术有哪些改进方向？ A：未来改进方向包括提高手眼协调精度，特别是在精密操作场景中；增强无地标环境下的定位和避障能力；解决手臂零重力状态下的稳定性问 题；以及进一步提升语音交互的自然性和准确性。此外，六维力传感技术的发展也将是提升机器人手腕力度调节能力的关键。 Q：六维力传感在人形机器人中的作用是什么？A：六维力传感指的是手腕力度的调节能力，这是人形机器人技术未来发展的关键方向之一。通过采用针对六维力的解决方案，机器人能够更精准 地进行力度控制，而不是仅从算法上对电机这一整体部件进行优化。这种技术对于提高机器人在执行精细操作任务时的精确性和灵活性至关重要。 Q：机器人的支撑结构是如何确保其姿态和稳定性的？ A：机器人之所以能保持特定姿态，是因为在其主臂下方装有类似滑轨的弹性连杆机构，以及粗大的支撑弹簧，这些设计确保了机器人上臂部分的支撑和稳定性。 Q：您如何评价Figure人形机器人的设计？ A：Figure人形机器人的设计思路和结构具有很高的借鉴意义，无论是手部还是足部的设计都非常先进。即便是以今天的标准来看，它们的设计也是非常出色的。 Q：Figure人形机器人的步行结构有何特点？ A：Figure的步行结构支持它以最快4米每秒的速度运动，100米差不多能在20到25秒内跑完，最快时甚至能达到22秒。这样的速度不仅快，而且稳定性极高。 Q：GDG如何控制多个人形机器人协同作业？ A：GDG甚至能在一个平台上同时控制多达22个人形机器人，这些机器人能协同作业，提升了搬 运效率。这种能力展示了人形机器人在集体任务执行中的潜力。 Q：谷歌的监督学习模式是如何工作的？ A：谷歌的监督学习模式需要手部安装有3D相机和IMU惯性导航，这样可以生成精确的操作路径并定位物体。通过重复操作，系统能自行学习和优化路径。这个过程与工业中机械臂的教导模式类似。 Q：机器人在叠东西时的表现如何？ A：机器人在叠东西时，初次操作并不精确，需要重复尝试。这表明在训练初期，尽管IMU能提供精确路径，但首次操作还是必须依赖于视觉定 位。这种简洁的训练模式在短期内，可能需要上百次的实操才能显现效果。 Q：谷歌的Prometheus系统有哪些特点？ A：Prometheus系统最大的特点是无需专门的硬件，同样能实现动作的训练。这套系统训练次数少，动作生成迅速，大型物体抓取也准确。它主要利用IMU来生成操作路径，而鱼眼相机用于确定抓取点。这种监督学习方式在虚拟空间中能自产生与限定位置的动作，非常适用于工业应用， 如焊接和螺丝拧紧。 Q：谷歌的方法如何适用于数字孪生？ A：谷歌的方法十分适用于数字孪生，这是现代工业机器人新的操作方式，能够在虚拟空间中创建路径和轨迹，优化操作效率。 Q：您如何看待人形机器人的未来趋势和潜力？ A：无论是OpenAI还是Google的Prometheus模型，都充分展现了人形机器人的潜力和趋势。现 在的趋势是下一代机器人能在复杂环境中导航，具有高度灵活的操作能力，并能通过大数据模型或深度监督学习自我学习。巨量数据模型将为人形机器人提供未来合作能力的动力。 Q：软件算法的进步是否会导致对硬件精度性能要求的降低？ A：虽然软件算法的提升可能会减少对某些硬件传感器精度的要求，但这并不意味着整体硬件要求会降低。实际上，对于其他设备的要求可能会变得更加严苛。例如，如果内部传感器精度不是特别高，可能需要电子皮肤来弥补。在3D视觉传感器精度要求不高时，可能需要添加明显的目标物特征或使用辅助光源来助于物体定位。算法的改进确实降低了一些核心部件的技术要求，但这并不意味着机器人功能会减少；相反，可能会通过其他方式来实现。 Q：硬件精度与软件算法是如何相互作用的？ A：传感器和摄像机与软件有所结合，但电机和传动结构，如减速器和连杆等纯硬件部分，它们所需的精度随着软件算法的提高而变化。硬件的精度远远高于软件可操纵