信息来源：互联网   发布时间：2024-09-07

　　他的持久研讨爱好是以报酬本的野生智能：了解人类智能以开辟受生物启示的野生智能算法科技立异是我国，和令人工智能与人类愈加兼容

　　他的持久研讨爱好是以报酬本的野生智能：了解人类智能以开辟受生物启示的野生智能算法科技立异是我国，和令人工智能与人类愈加兼容。近来专注于以报酬本的机械人手艺：经由过程数据驱动的办法开辟可加强人类福祉的机械人处理计划（体系和算法）科技立异是我国。雷峰网雷峰网

　　阶段 1 的子目的束缚拉动结尾施行器向茶壶手柄接近。阶段 2 的子目的束缚指定壶嘴需求位于杯口上方，阶段 2 的途径束缚确保茶壶竖立，以免倾倒时溢出立异助手怎样。最初，阶段 3 的子目的束缚指定倾倒角度。

　　他的研讨目的是制作出具有与人类一样的灵敏性和处置一样平常使命才能的机械人，因而专注于机械人进修，以完成乖巧操纵、模拟人类行动和持久计划和掌握。

　　李飞飞团队旨在处理与机械人操纵使命相干的应战，这些使命触及多个空间干系和工夫依靠阶段，需求对庞大的空间和工夫干系停止编码。

　　素质上来讲，一个 ReKep 实例编码了枢纽点之间的一个希冀的空间干系，这些干系能够属于机械人手臂、物体部门或其他代办署理。

　　Yunzhu Li 如今是哥伦比亚大学计较机科学助理传授，曾是斯坦福视觉与进修尝试室 ( SVL）的博士后，与李飞飞、Jiajun Wu 一同事情立异助手怎样。北京大学本科结业后立异助手怎样，他在麻省理工学院计较机科学与野生智能尝试室（CSAIL）得到博士学位，导师是 Antonio Torralba 和 Russ Tedrake。

　　但是，一个操纵使命凡是触及多个空间干系，而且能够具有多个工夫上依靠的阶段，每一个阶段都触及差别的空间干系。为此，他们将使命合成为 ? 个阶段，并为每一个阶段 ? ∈ {1, … ,?} 利用 ReKep 来指定两类束缚：

　　今朝他在机械人感知、交互和进修尝试室（RoboPIL）停止机械人手艺、计较机视觉和机械进修的穿插研讨，专注于机械人进修，出格是直观物理学、具身智能、多形式感知三个标的目的，旨在明显扩大机械人的感知和物理交互才能。

　　尝试成果显现，ReKep 在多种使命上的胜利率较高，证实了其在主动化操控使命中的潜力。胜利率按照使命的差别而有所差别，但整体上表示优良。

　　利用大型视觉模子（LVM），如 DINOv2，来提取场景中的特性，并操纵这些特性来辨认潜伏的枢纽点。这些枢纽点凡是是场景中具有语义意义的 3D 点，比方物体的边沿、角落或特定物体部门的中间科技立异是我国。

　　她今朝的研讨爱好包罗认知启示式野生智能、机械进修、深度进修、计较机视觉、机械人进修和野生智能 + 医疗，特别是用于医疗保健的情况智能体系。

　　李飞飞主导的斯坦福 AI 尝试室、斯坦福视觉与进修尝试室 ( SVL ) 和斯坦福以报酬本野生智能研讨院出现出大批优良人材，包罗 OpenAI 结合开创人 Andrej Karpathy、海内内第一个坚探究具身智能的卢策吾、前 Google AI 中国中间总裁李佳、前阿里主动驾驶掌舵人王刚等。

　　为了使体系可以在给定自在情势使命指令的状况下施行田野使命，他们设想了一个利用大型视觉模子和视觉言语模子停止枢纽点提媾和 ReKep 天生的管道，并分红了两个部门：

　　在视觉空间中间接进修束缚的数据驱动办法也在搜集锻炼数据时面对应战，由于束缚的数目在物体和使命方面呈组合增加。

　　李飞飞博士是斯坦福大学计较机科学系首任红杉传授，也是斯坦福以报酬本的野生智能研讨所的联席主任，曾担当担当谷歌副总裁和首席科学家，在多家上市公司或公营公司担当董事会成员或参谋科技立异是我国。

　　他们将结尾施行器姿势暗示为 e ∈ SE（3），将操控使命表述为一个优化成绩，目的是找到一系列满意 ReKep 束缚的结尾施行器（end-effector）姿势，并将掌握成绩表述以下：

　　起首，他们界说了单个 ReKep 实例，而且假定曾经指定了一组 ? 个枢纽点。每一个枢纽点 ?? ∈ℝ 3 指的是场景外表上的一个 3D 点立异助手怎样，其坐标依靠于使命语义和情况（比方，手柄上的抓取点，壶嘴）。

　　该框架旨在经由过程大型视觉模子和视觉 - 言语模子主动天生束缚，完成从天然言语指令和 RGB-D 观察中高效地指定使命。

　　他们期望开辟一个普遍合用的框架，可以顺应需求多阶段、田野情况科技立异是我国、双手操纵和反响举动的使命，经由过程根底模子的停顿在获得束缚方面具有可扩大性，并可以及时优化以发生庞大的操纵举动。

　　ReKep 将操纵使命编码为束缚，毗连机械人与其情况，而无需手动标注。该办法操纵 Python 函数将一组语义上故意义的三维枢纽点映照为数值本钱，从而可以暗示庞大的空间和工夫干系立异助手怎样。

　　分离枢纽点和使命指令，利用视觉 - 言语模子（VLM）来天生 ReKep，这些束缚将用于指点机械人的行动计划和施行。这一步调操纵了视觉模子对场景的了解和言语模子对指令的注释才能。

　　此中 ?sub-goal ( ? ) 编码阶段 ? 完毕时需求到达的枢纽点干系，而 ?path ( ? ) 编码阶段 ? 内部需求满意的枢纽点干系。

　　尝试触及多个使命，包罗倒茶、收受接管罐、收拾整顿册本、打包盒子、折叠衣物、装鞋盒和合作折叠等。这些使命被设想来测试体系在差别方面的机能，如空间和工夫依靠性、对情况的顺应性、双手和谐和与人类的互动。

　　Wenlong Huang 是斯坦福大学计较机科学专业的博士生，由李飞飞指点，也是斯坦福视觉与进修尝试室 （SVL）的成员。他于 2018 年得到加州大学伯克利分校计较机科学学士学位，指点教师是 Deepak Pathak、Igor Mordatch 和 Pieter Abbeel。

　　Chen Wang 是斯坦福计较机科学学院的博士生，导师是李飞飞和 C. Karen Liu。他本科就读于上海交通大学计较机科学专业，是第一批参加卢策吾团队研讨机械人具身智能的门生之一。

　　现有的利用刚体变更暗示操纵使命束缚的办法缺少多少细节，请求预界说的物体模子，而且没法处置可变形物体。

　　他的研讨目的是付与机械人普遍的泛化才能，使其可以施行开放天下操控使命，特别是在家庭情况中。研讨爱好包罗：

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186

Tags:本站