个人简历

Over the years, I’ve had the opportunity to work on a number of incredible projects that have allowed me to grow and establish myself within the fields of robotics and artificial intelligence.
My research focuses on learning-based real-time robust navigation and control for robots deployed in disordered, hostile, and dynamical environments. Such environments are ubiquitous in natural and engineered fields, including deep sea, shallow water, disaster zones, crowded streets, etc. This research may offer robot solutions to many current and future problems: aging populations, growing cities, deteriorating environments, etc.
教育
2005-2009，浙江大学，机械电子工程硕士
2009-2011，杜克大学，机械工程硕士
2009-2014，杜克大学，机械工程博士

研究领域

我的研究可以分别分为高效规划和控制。在这两个组中，研究已从单个MDP / POMDP转移到了多个MDP / POMDP。我以前的研究（规划和控制）是针对复杂问题（单个MDP / POMDP）设计易于处理的公式/算法。在我最近的研究（规划和控制）中，机器学习技术大量参与了使用提炼的经验来有效解决新问题的过程。多个MDP / POMDP的经验和新问题。
1.主动移动传感器规划
这项研究提出了一种用于集成路径规划和控制的信息潜在方法。该方法适用于单车机器人传感器，该单车机器人传感器被部署为在人口稠密的环境中对多个目标进行分类。从目标条件互信息中生成一种称为信息势的新导航功能，并将其用于设计闭环稳定开关控制律。
信息潜能显示为服从潜在导航功能的属性，并能够进行随时间推移最大化信息价值的测量。信息潜力还用于构建逃避局部最小值的局部路线图。数值模拟结果表明，该方法优于其他策略，例如快速探索随机树和经典势场方法。
2.主动监控入侵者
这项研究提出了通过搭配方法和蒙特卡洛积分获得的狄利克雷过程-高斯过程（DP-GP）混合模型的易处理的信息值函数。以易处理的封闭形式量化信息价值是解决自治信息收集系统的控制和估计问题的关键。
分析所建议的值函数的属性，然后通过规划传感器测量值进行演示，以最大程度地减少随时间逐渐学习的DP-GP目标模型中的不确定性。仿真结果表明，基于预期KL散度的传感器规划优于基于互信息，粒子滤波和随机方法的算法。
3.具有本地化不确定性的规划
这项研究为水下机器人提出了一种快速运动规划方法，该机器人在空间上变化的运动下以及在杂乱环境中感测到由于不均匀的电流干扰和地标性种群而引起的不确定性。通过制定高斯随机控制系统，我们提出了一种用于轨迹，定位和控制耦合优化的闭环框架，从而产生了非线性规划问题（NLP）。特别地，与现有文献中通过卡尔曼滤波器（KF）来提高信念相反，我们利用协方差的轨迹传播的上限，从而避免了求解里卡蒂方程，从而降低了计算复杂度。
然后通过基于RRT-connect的初始解的顺序二次编程有效地解决NLP。这些首字母位于由H特征区分所保证的多个同伦类中，随着RRT连接中的样本数达到无穷大，从而以1的概率导致全局最优。在杂乱的水下环境中对完整和非完整AUV以及带有3 DOF机械手的干预AUV（I-AUV）进行的数值模拟表明，可以有效地获得具有低定位不确定性的最优和无碰撞轨迹。
4.在缩小的空间内进行规划
基于采样的规划（SBP）中的许多采样策略经常考虑目标和障碍物的数量，但是在距离目标较远的大型3D环境中，效率可能会降低。这项研究提出了一种针对刚体的搜索空间减少的最佳SBP方法（RSBP）。减少的空间是由稀疏搜索树找到的，稀疏搜索树由建立在神经网络上的度量函数（MF）启用。离线学习MF估计固定的小工作区中有各种障碍的任何两个节点之间的最小旅行成本。它允许在没有路径规划的情况下连接两个稀疏节点，其中连接表示旅行成本（而不是路径）。
证明了在RSBP中保持渐近最优性（假设零误差MF），并且最优性退化是有界的（假设有界误差MF）。规划期间的计算复杂度与整个搜索空间的Lebesgue度量呈线性关系（假设整个环境的采样密度相同）。数值模拟表明，在经过测试的大型且混乱的环境中，RSBP至少与双向快速前进树*一样快，并且能够以规划的相似路径优化地快速探索随机树*。结果还表明，RSBP改善了对大环境的可扩展性，并提高了处理狭窄通道的效率。
5.混合自适应动态规划
这项研究提出了一种混合自适应动态规划（hybrid-ADP）方法，用于仅根据状态观察来在线确定切换系统的最佳连续和离散控制律。提出的新的混合ADP递归关系适用于可能为非线性的开关混合系统的无模型控制。分析了混合ADP方法的计算复杂性和收敛性，并对该方法进行了数值验证，表明可以从状态观测值迭代地在线学习最优控制器和值函数。
我负责算法设计，实现，测试和分析。
6.基座移动机械手的预测控制
这项研究提出了一种预测的末端执行器控制方法，该方法用于在不希望有的基础运动的移动平台上操作的机械手。时间序列用于使用历史状态信息预测基本运动。然后，将在惯性系中指定的轨迹转换为相对于机械手的预测轨迹。通过跟踪此变换的轨迹，机械手有效地抵消了基本运动。通过二次编程（QP）制定了模型预测控制（MPC）问题，以在预测范围内跟踪所述轨迹。运动学可行性仅限制了控制序列中的第一个控制动作。以这种方式，可以通过线性不等式约束快速求解QP。
结果表明，机械手执行的实际关节轨迹始终在运动学上是可行的。而且，尽管将来的预测控制动作不可行，仍可以减少跟踪误差。通过仿真和实验验证了该方法的有效性。与PI反馈控制器相比，该方法可以将姿势误差降低60％以上。
通过与伍尔弗里先生的合作进行了这项研究。我负责算法设计和分析。
7.基于学习的干扰抑制
这项研究提出了一种针对观察者的强化学习（RL）方法，该方法适用于时变未知干扰（通常可能超过控制能力）的机器人。尤其是，提出了一种干扰观察者网络（DOB-net），用于在挑战性的浅水环境中稳定水下车辆。 DOB网络集成了干扰行为观察者和控制器网络。源于经典DOB机制的观察器是通过递归神经网络（RNN）构建和增强的，该编码器对RNN隐藏状态下未知干扰的估计和预测进行编码。这样的编码允许控制器在机器人控制能力的约束下，基于未来的干扰进展，生成最优的控制信号来主动抑制干扰。
优势参与者评论家在策略优化中共同学习了观察者和控制者。位置调节任务的数值模拟表明，提出的DOB网络明显优于标准控制器和经典RL算法。
这项工作是与王先生合作完成的。我负责算法的设计，实现和分析。
8.关键摩尔机器网络
增强学习（RL）在实践中受到其灰盒子性质的限制，这是造成用户信任度不足，对人为干预的解释不满意，对未来改进的分析不足等原因的原因。本研究旨在部分描述动态环境之间的相互作用和DOB网。从RL获得的DOB网络解决了一组部分可观察的马尔可夫决策过程（POMDP）。每个POMDP的转换函数在很大程度上取决于环境，而环境是本研究中过度的外部干扰。
这项研究提出了一种基于注意力的抽象（A2）方法来提取称为密钥摩尔机器网络（KMMN）的有限状态自动机，以捕获DOB网络在处理多个此类POMDP中所表现出的切换机制。该方法首先通过学习连续离散接口来量化受控平台。然后，它通过找到DOB网络中吸引了足够注意力的关键隐藏状态和转换来提取KMMN。
在最终的KMMN中，这项研究发现了三种循环切换模式（在关键的隐藏状态之间），表明接近饱和的控件与未知干扰同步。有趣的是，之前发现的切换机制早已出现在经常饱和系统的混合控制设计中。通过类比混合控制中的离散事件子系统进一步解释。""

近期论文

· J. Woolfrey, W. Lu and D.K. Liu, \