ICRA 2018 | 强化学习模拟水下稳定性，潜水体15分钟学会规则
原标题：ICRA 2018 | 强化学习模拟水下稳定性，潜水体15分钟学会规则
雷锋网按：这里是，雷锋字幕组编译的 ICRA 2018 系列，带你了解机器人与自动化领域的最新研究成果。
原标题 ：Reinforcement Learning of Depth Stabilization with a Micro Diving Agent
翻译 | 张哥华 整理 | 凡江
强化学习是机器人在与环境交互中解决控制问题的方法。本论文中，我们将要学习基于模型值函数的强化学习方法，这种方法适用于部分机器人和光嵌入式系统。
一开始，我们设计了一个潜水体，它利用强化学习来模拟水下的稳定性。我们还利用试验来展示了一个小的潜水体对任务的学习能力，我们将这个潜水体设置成——它的状态被取决于它的深度和速度。
潜水体包含一个固定容量的的储水仓和一个可变容量的储水仓，后者用于驱动本体。
我们对其深度的稳定性的目标是，控制其可变储水容量以维持一个期望的深度。通过强化学习方法来解决这个控制问题，而不需要有系统先验知识或者是有驱动器动力知识。这种方法的挑战在于未知的流体效应，以及缓慢的非线性变化的驱动器动力。体积调整的时间常数与系统的动力匹配，可变容量储水仓相对于固定容量储水仓也是很小的，所以系统的最大控制力和最大约束力也是很小的。
在状态空间中包含了潜水体的深度和速度，这个图表就展示了其状态空间，在目标深度附近的区域决定了算法学习的区域，在这个分布里包含了 101 个状态。在此区域之外的每一个点都被当做是终止状态。
动作空间包含了两部分：一部分是减少可变储水仓的水量来提供浮力，另一部分增加可变储水仓的水量，来让潜水体算法收到一个损失，这个损失会惩罚潜水体，让其向期望的深度移动。除此之外，如果潜水体到达终止状态的位置，为了通过试验验证强化学习算法，一个小潜水体被设计和制造了出来。它的运行时间大约是 90 分钟，非易失性内存是 512 KB。
我们证明了在一个试验中，潜水体是能够从零学习到关于自身稳定性的规则。在左下角的图表中显示了潜水体在学习区域成功学习的运动轨迹。
视频链接：https://www.youtube.com/watch?v=F7g3K0PXWX4&t=5s
雷锋网雷锋网
相关阅读
- 03-01
- 03-01
- 02-28
- 02-28
- 02-28
- 02-28
推荐阅读
-
-
北京：新机场高速路计划明年上半年建成南五环至机
原标题：新机场高速路计划明年上半年建成北京大兴国际机场高速公路建设完成超七成摄影 本报记者 黄亮北京青年报记者昨日从北京市交通委了 更多
2018-11-22 10:10:04
-
-
税总出台26条措施力助民企发展
为深入贯彻落实习近平总书记在民营企业座谈会上的重要讲话精神，切实发挥税收支持和服务民营经济发展的职能作用，近日，国家税务总局印发《 更多
2018-11-20 10:10:00
-
-
两连阳为啥还没回本?买入绩优、白马、中大盘股才
一、大盘点评展望周二沪深两市小幅低开后，沪深300权重带动指数震荡上行。最终沪指上涨0 53%报收3410点，K线上收出一根中阳线;深成指上涨1 更多
2017-11-22 16:17:00
-
-
2017百度世界大会李彦宏透露无人车2018年量产 无
一年一度的百度世界大会11月16日在北京举行，每年的百度世界大会，百度创始人李彦宏都会带来他对过去，现在和未来关于互联网和整个IT领域的 更多
2017-11-16 11:17:37
-
-
百度世界大会今日召开聚焦智能硬件 百度世界大会
据怀新资讯报道，2017百度世界大会将于16日在北京举行。从邀请函上出现的神秘的盒子推测，本次百度将会有AI硬件以及诸多AI新技术发布。从今 更多
2017-11-16 10:17:03
-
-
MSCI中国A股指数大调整 msci中国a股指数成分股名
11月13日晚，明晟公司（MSCI）在半年一度的指数评估中，公布了对MSCI中国A股指数、MSCI中国全部股票指数的最新重大调整。公告显示，MSCI中 更多
2017-11-15 14:43:49
-
-
风云三号D星凌晨成功发射 风云三号d星概念受益股
今天凌晨，长征四号丙运载火箭发射风云三号D星。中国航天科技集团供图新京报快讯（记者倪伟）今天（11月15日）2时35分，我国风云三号D星在 更多
2017-11-15 09:26:44
-
-
1953年三元纸币价格表 第二套人民币的发行具有怎
【藏品名称】第二套人民币53年叁圆井冈山【藏品类别】人民币单张【发行时间】1955年3月1日【停用时间】1964年5月15日【发行量】限量【面值 更多
2017-11-14 16:24:17
财经热图
-
今日必看
-
-
- 河南三门峡陕州地坑院特色民居文化助力乡村旅游。新华社记者...
-
- 随着山东省两会的召开，目前31省份2019年政府工作报告全部出炉，...
-
- 中国证券投资基金业协会日前发布数据显示，截至2018年底，证券期...
-
- 资料图：楼市。孙睿 摄门槛微调 11地楼市探路一城一策青岛、菏...
-
- 近日，阿里巴巴全球数学大赛决赛开战，全球11个国家300多位数学高...
-
- 原标题：新机场高速路计划明年上半年建成北京大兴国际机场高速公...
-
- 8月14日，由北京大学深圳研究生院、深圳众享互联科技有限公司以及...
- 精彩话题
