基于演示进行学习是机器人习得新技能的有效方法,而更多的演示数据往往意味着更优的策略学习。视频常被视为是一种丰富的数据源,但由于缺乏动作标签,从视频中提取特定的控制信息极具挑战性。为解决这一瓶颈,高阳研究组提出了策略学习的任意点轨迹模型(Any-point ,ATM)斯坦福大学博后条件,通过预训练轨迹模型来预测视频帧内任意点的未来轨迹,从而利用视频为机器人提供演示。训练完成后在职研究生硕士,这些轨迹将提供详细的控制指导,实现以最少的动作标签数据学习鲁棒的视觉运动策略。该算法为小样本和跨具身(cross-)机器人学习领域提供了新视角。该论文被国际机器人顶级会议接收,并获得全数审稿人满分评价。
科研成果概要
在机器学习领域,从视频中提取特定的控制信息非常具有挑战性。现有利用视频学习策略的工作都是基于图像级别的视频生成博士后,这不仅计算成本高,而且生成结果较差。
针对这一问题,高阳研究组提出任意点轨迹建模(ATM),通过预训练轨迹模型来预测视频帧内任意点的未来轨迹,实现通过视频为机器人提供演示。与图像生成相比,点能自然地捕捉到物体空间移动的归纳偏差,并将物体运动与色彩和纹理分离开来斯坦福大学博后条件,清华大学交叉信息研究院,实现从人类到机械臂的跨具身一致性匹配。通过这些学习到的轨迹作为指导,机器人可以利用大规模无动作标签的人类视频演示中蕴含的先验知识,实现小样本动作标签演示数据训练鲁棒的机器人操作策略。
如视频中的真实机械臂操作实验所示,ATM利用大量人类视频训练点轨迹预测模型(第一行),经过极少量样本微调后可以成功泛化到机械臂运动控制任务上(第二行),成功解决可变形物体、多步任务和工具使用等困难的机械臂操作场景。视频中所预测轨迹的起始点为蓝色,终止点为粉色。
研究组在仿真器和真实世界机器人实验中均对该算法进行了评估,在超过 130 项以自然语言为条件的机器人操作任务中,性能显著超过现有最优视频预训练基线80%。此外,该工作还展示了从人类视频向机械臂操作的真机跨具身迁移学习效果。
该论文题为Any-point for 。文章共同第一作者为清华大学交叉信息研究院2020级博士生汶川、加州大学伯克利分校博后林星宇和斯坦福大学硕士生John So,其他作者还包括香港中文大学Qi Dou助理教授和Kai Chen博士。指导老师为加州大学伯克利分校 教授(通讯作者)和清华大学交叉信息研究院高阳助理教授。
: and (RSS)是机器人领域的国际顶级会议之一,自2005年起每年举办一次。该会议由机器人学会(IEEE and )和机器人科学与系统学会( of )联合主办,旨在促进机器人领域的科学研究和技术应用的发展。该会议公认入选难度极高。
论文链接:
项目主页:
斯坦福大学博后条件,博后·复旦大学
复旦大学赵东元/孔彪团队招聘博士后
一、应聘者应具备的条件
(1)课题组希望招聘具有不同学科背景的博士后,欢迎具有以下背景(其一即可,但不限于):在多孔功能材料、微纳马达、检测分析、化学生物学、能源存储与转换、光电化学等相关领域取得博士学位,并受过良好的科研训练的博士前来应聘;
(2)具有较好的独立从事科研工作的能力,执行力强,有强烈的科研热忱,有服务意识和团队合作精神,有敬业精神和职业道德;
(3)具有较好英文学术论文阅读写作能力,曾在国际重要学术期刊上以第一作者发表研究论文;
(4)身体健康,年龄原则上不超过35岁。
二、岗位待遇
(1)基础年薪20万/年;复旦大学提供两室一厅博士后公寓(约市场价一半);
(2)根据学校政策子女可在复旦附属幼儿园、附小就学;协助申请上海市户口(含未成年子女)、并享受复旦大学规定的相关福利待遇;
(3)入站前/后,课题组积极推荐入选者申报复旦大学超级博士后(26-28万元/年)、上海市超级博士后(35+万元/年)、国家”博新计划”(40+万元/年)等;
(4)工作成绩突出者将有机会推荐到世界一流实验室开展研究工作。
三、合作导师简介
赵东元,教授硕士,博士生导师斯坦福大学博后条件,博后·复旦大学,中国科学院院士。主要从事介孔分子筛的合成、结构和应用研究,在 、、 、 、J. Am. Chem. Soc.、Angew. Chem.、Adv. Mater.等发表SCI论文600余篇,撰写专著2部。论文被引用7余万次(h指数133),被汤森路透社列为全球2011-2016化学、材料两个领域高被引科学家。获国家自然科学二等奖、IMMA成就奖、TWAS-科学奖、何梁何利科学进步奖、印度化学会Rao Award。任国际介观结构材料协会IMMA主席,国际沸石协会理事,现任国际刊物ACS 编辑,曾任英国皇家化学会 of 主编(-in-Chief),十几种国际重要刊物的编委、顾问编委。赵东元教授指导的博士有三位获全国优秀百篇博士论文,两位获全国优秀百篇博士论文提名奖。
孔彪,国家高层次人才特聘专家,国家重点研发计划首席科学家,上海市高层次特聘专家,复旦大学研究员、博士生导师,国际系列刊物副主编。曾任美国斯坦福大学材料科学与工程系研究员,博士毕业于澳大利亚 大学与复旦大学获工学与理学双博士学位。孔彪研究员回国后组建超组装软界面智能材料与器件课题组,主要开展超组装软界面智能材料与器件组装及集成工作,面向超组装软界面仿生材料设计及组装、软界面智能传感与探测芯片集成、新型微型化可植入感知器件构建、高端医疗器械开发、新型微型化可植入新能源器件构建的研究和应用开发,致力于为传感检测、软界面电子光电子器件、仿生软界面储能器件等领域提供高效可持续的软界面智能材料及器件。已在 Chem.、Sci. Adv.、J. Am. Chem. Soc.、Angew Chem.、Adv. Mater.等期刊上发表高质量的学术论文近90篇,主持及参与国家重点研发计划、军委科技委基础加强计划重点项目等项目10余项。获科技部重点专项优秀青年奖博士,联合国工发组织科学技术进步奖,国家重点研发计划首席科学家、上海市自然科学一等奖、科学中国人年度人物杰出青年科学家奖、孔子教育基金会优秀科学家奖、中国分析测试协会科 学技术奖(CAIA 奖)一等奖等荣誉及奖励。
四、学校和研究平台简介
(1)复旦大学
复旦大学校名取自《尚书大传》之“日月光华,旦复旦兮”,始创于1905年,原名复旦公学在职研究生,1917年定名为复旦大学,是中国人自主创办的第一所高等院校。在QS世界大学排名中列全球第40位,复旦大学位列国内高校第3位。在学术影响力方面,复旦进入ESI世界前1%的学科领域数19个,位列中国大陆高校第2名(并列),其中,化学、材料科学、临床医学、药理学与毒理学进入全球1‰。在QS世界学科排名中,复旦有29个学科位列世界前100,总量在国内排名第三;五大学科门类均位居全球前100位,在中国大陆地区仅二所高校跻身此列。U.S.News世界学科排名中,有4个学科跻身世界前50,THE泰晤士高等教育世界学科排名中,1个学科大类跻身世界前50。在全国第四轮一级学科评估中斯坦福大学博后条件,5个学科获评A+,参评的学科中60%以上获评A类学科。此外有14个学科入选上海市高峰学科建设。
(2)化学系
复旦大学化学学科为国家重点一级学科,建有上海市分子催化和功能材料重点实验室、创新科学仪器教育部工程研究中心、上海市教委化学生物学重点实验室、 2011 能源材料化学协同创新中心(复旦分中心),化学教学实验中心为国家级教学示范中心建设单位。拥有各类教学和科研实验室约 1.8 万平方米,仪器设备总价值逾亿元。近年来,以能源材料化学和生命健康化学为研究重点,积极开展面向国民经济和社会发展的高新技术和应用开发研究。为科研工作提供强有力的支撑与保障。
(3)先进材料实验室
复旦大学先进材料实验室(科技创新平台)位于复旦大学江湾新校区,规划总建筑面积为40000平方米,一期工程23000平方米于2007年开始投入使用。平台由中国科学院院士赵东元教授任主任。平台构筑了性能先进、结构完善、功能强大的共享技术平台。目前装备了比较齐全的大型仪器,如核磁共振仪、高分辨透射和扫描电子显微镜、原子力显微镜、X射线单晶衍射仪、飞行时间质谱仪、瞬态/稳态荧光光谱仪、红外和拉曼光谱仪、喷墨打印薄膜制备系统、超高角度分辨光电子能谱仪系统等,为科研工作和人才培养创造了有利的条件和环境。
五、应聘材料
本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请添加站长微信举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.guojishuobo.com/245694.html