个人简历

2006年7月在中国科学技术大学获得博士学位，2006年8月至2008年8月在香港科技大学从事博士后研究。2008年9月加入哈尔滨工业大学深圳校区。承担了国家自然科学青年基金项目1项，国家自然科学联合基金项目1项，博士点基金项目1项，深圳基础布局项目1项和深圳市基础研究项目3项，以第一作者在Automatica，European Journal of Operational Research，IEEE Transactions on SMC-B Cybernetics，DEDS等期刊上发表多篇论文，获得何毓琦院士授予的何潘清漪优秀论文奖。
欢迎有兴趣的同学（博士后、博士和硕士）加入！
- 对人工智能、强化学习及其在机器人中的应用等领域有浓厚兴趣
- 具有扎实的数学基础，具有很好的算法和编程基础
- 良好的英文编写能力
- 性格乐观开朗、积极向上
教育经历
2001-2006 中国科学技术大学 自动化系 硕/博士
1997-2001 青岛大学 数学系 学士
研究与工作经历
2010-至今 哈尔滨工业大学 深圳研究生院 副教授
2008-2010 哈尔滨工业大学 深圳研究生院 助理教授
2006-2008 香港科技大学 电子与计算机工程系 博士后
2013 University of New South Wales, Visiting Fellow
科研项目
2011-2013 国家自然科学基金：半Markov决策过程基于灵敏度的优化及应用（61004036) 主持
2011-2012 教育部博士点新教师基金：基于性能灵敏度的平均报酬强化学习方法研究(20102302120071) 主持
2011-2013 深圳市基础计划：基于多机器人的智能仓储系统关键技术(JC201005260179A) 主持
2011-2013 国家自然科学基金：基于机器人网络的多机器人同步定位与制图研究 (61005063) 主要参与
2012-2014 深圳市基础计划重点：智能电网输电线路无人直升机检测的关键问题研究(JC201104210048A) 副主持
科研成果及奖励
2014 何潘清漪优秀论文奖
2006 中国科学院院长奖
发明专利
1. 一种动态电源管理方法，2014100736388.
任教和任导师经历
哈尔滨工业大学深圳研究生院 2007级硕士：郑倩
2008级硕士：任建功，郭宇，王勇，施志华，关昕，刘其波，吴桂远，黄佳德
2009级硕士：段三星，戴正先，徐颖，陈智超
2010级硕士：段国强，窦川川，李建军，李功捷，岳晓娟，贾可辉
2011级硕士：陶钊榕，张岳军，张羽，张如如，李锐锋，张瑞
2012级硕士：刘凤盟，黄涛，叶睿，孙瑞梅，韩利利
任教课程 最优控制（2012年春，2013年春）
主要介绍凸优化理论的相关概念，算法及应用，变分法，最大原理和动态规划相关理论和计算方法。
参考教材：
[1] S. Boyd and L. Vandenberghe, Convex Optimization, NY: Cambridge University Press, 2004.
[2] A. E. Bryson and Y.-C. Ho, Applied Optimal Control, NY: Taylor & Francis, 1975.
[3] D.P. Bertsekas, Dynamic Programming and Optimal Control, Athena Scientific, 2007.
凸优化理论算法及应用（2010年春，2011年春）
主要介绍凸集，凸函数和凸优化等相关概念，对偶理论，几何理解和计算法方法及其在控制，图像处理和通讯等领域的应用。
参考教材：
S. Boyd and L. Vandenberghe, Convex Optimization, NY: Cambridge University Press, 2004.
线性代数（2009年秋，2010年秋，2011年秋）
主要介绍线性空间，商空间，对偶空间，线性映射，行列式与矩阵，欧式空间和谱理论等。
参考教材：
P. D. Lax, Linear Algebra and Its Applications, Second Edition, NJ: John Wiley & Sons, 2007.

研究领域

强化学习；逆向强化学习；随机决策与优化；离散事件动态系统；无人机控制；智能自主无人系统""

近期论文

[1] Yanjie Li, Xinyu Wu, Yunjiang Lou, Haoyao Chen, etc. Coupling based estimation approaches to average reward performance potential, Automatica, Vol. 93, 172-182, 2018. (SCI)
[2] Zhifan Gao, Yanjie Li, Yuanyuan Sun, Jiayuan Yang, etc. Motion tracking of the carotid artery wall from ultrasound image sequence: a nonlinear state space approach, IEEE Transactions on Medical Imaging, Vol. 37, No. 1, 273-283, 2018. (SCI)
[3] Yajun Gao, Haoyao Chen, Yanjie Li, Congyi Lyv, Autonomous Wi-Fi Relay Placement with Mobile Robots, IEEE Transactions on Mechatronics, Vol. 22, No. 6, 2532-2542, 2017. (SCI)
[4] Yanjie Li, Xinyu Wu, A unified approach to time aggregated Markov decision processes, Automatica, 67:77-84,2016. （SCI)
[5] Yanjie Li， Fang Cao，A basic formula for performance gradient estimation of Semi-Markov decision processes, European Journal of Operational Research, vol. 224, 333-339, 2013. （SCI）
[6] Yanjie Li, Baoqin Yin and Hongsheng Xi, Finding optimal memoryless policy of POMDPs under the expected average reward criterion, European Journal of Operational Research, vol. 211, 556-567, 2011. （SCI）
[7] Yanjie Li, Fang Cao and Xiren Cao, On-line policy gradient estimation with multi-step sampling, Discrete Event Dynamic Systems, vol. 20, 3-17, 2010. （SCI）
[8] Yanjie Li, Baoqun Yin and Hongsheng Xi, Partially observable Markov decision processes and performance sensitivity analysis, IEEE Transactions on System, Man and Cybernetics, Part B, vol. 38, no. 6, 1645-1651, 2008. （SCI）
[9] Baoqun Yin, Yanjie Li, Yaping Zhou and Hongsheng Xi, Performance optimization of semi Markov decision processes with discounted cost criteria, European Journal of Control, vol. 3, pp. 1-10, 2008. （SCI）
[10] Baoqun Yin, Guiping Dai, Yanjie Li, and Hongsheng Xi, Sensitivity analysis and estimates of the performance for M/G/1 queuing systems , Performance Evaluation, vol. 64, no. 4, pp. 347-356, 2007. （SCI）
[11] Guiping Dai, Baoqun Yin, Yanjie Li and Hongsheng Xi, Performance optimization algorithms based on potential for semi Markov control processes, International Journal of Control， vol. 78, no. 11, pp. 801-812, 2005. （SCI）
[12]翟剑锋，李衍杰，陈浩耀，动态电源管理的在线优化技术， 控制理论与应用，2018,35（1）：65-70.
[13] 唐波，李衍杰，殷保群，连续时间部分可观Markov决策过程的策略梯度估计，控制理论与应用，2009,26（7）：805-808.
[14] 殷保群，李衍杰，周亚平，奚宏生，可数半Markov决策过程折扣代价性能优化，控制与决策，2006，21 (8)：933-936.
[15] 殷保群，李衍杰，唐昊，半Markov决策过程折扣模型与平均模型之间的关系，控制理论与应用，2006，23 (1)：65-68.
[16] 代桂平，殷保群，李衍杰，奚宏生，半Markov控制过程基于性能势仿真的并行优化算法，中国科学技术大学学报，2006, 36(2): 183-186.
[17] 殷保群，李衍杰，奚宏生，周亚平，一类可数Markov控制过程的最优平稳策略，控制理论与应用，2005，22 (1)：43-46.
[18] 殷保群，李衍杰，周亚平，奚宏生， 半Markov控制过程在折扣代价性能准则下的最优性方程，控制与决策，2004，19（6）：691-694.
[19] 李衍杰，殷保群，奚宏生，周亚平，代桂平， 半Markov过程基于性能势的灵敏度分析和性能优化，控制理论与应用，2004，21（6）：1032-1035.
[20] 李衍杰，殷保群，奚宏生，代桂平，一类连续时间Markov链在折扣准则下的灵敏度分析和性能优化，中国科学技术大学学报，2004，34（6）：704-709.
[21] 秦廷，陈宗海，李衍杰，递推最小二乘算法的补充性证明，系统仿真学报，2004，16(10)：2519-2164.
会议论文及发表演说
[1]Zhang Ruru, Li Yanjie, Lou Yunjiang, Convex optimization of battery energy storage station in a micro-grid, IEEE International Conference on Information and Automation, 2013.
[2]Zeng Wenwu, Zhu Xiaorui，Li Yanjie，Li Lei, Performance analysis of a small-scale unmanned helicopter under large wind disturbance, Proceedings of the 32nd Chinese Control Conference, Xian, 2013.
[3]Yanjie Li, An average reward performance potential estimation with geometric variance reduction, The 31th Chinese Control Conference, Hefei, 2012.
[4] Yanjie Li, Sensitivity-based optimization of semi-Markov decision processes, INFORMS International, Beijing, 2012.
[5] Yanjie Li, Reinforcement learning algorithms for semi-Markov decision processes, The 9th IEEE International Conference on Networking Sensing and Control, Beijing, 2012.
[6] Jianjun Li, Jiangong Ren and Yanjie Li, An average-reward reinforcement learning algorithm based on Schweitzer’s transformation, The 31st Chinese Control Conference，2012.
[7] Yanjie Li, Fang Cao, Inifnite horizon gradient estimation for semi-Markov decision processes, 8th Asian Control Conference, Kaohsiung, Taiwan, 2011.
[8] Wenwu Zeng, Xiaorui Zhu, Yanjie Li and Zexiang Li, Less computational unscented Kalman filter for practical state estimation of small scale unmanned helicopters，IEEE International Conference on Robotics and Automation，2011.
[9] Yanjie Li and Fang Cao, An RVI reinforcement learning algorithm for semi-Markov decsion processes with average reward, World Congress on Intelligent Control and Automation, July, 2010.
[10] Qibo Liu, Yi Liu and Yanjie Li ，Combining sub-bands SNR on cochlear model for voice activity detection，International Conference on Asian Language Processing，2010.
[11] Hong Wang, Yanwen Xing, Yanjie Li and Zexiang Li，Dynamic modeling of five-bar manipulator with structurally flexible linkages , World Congress on Intelligent Control and Automation ,2010.
[12] Yanjie Li, Fang Cao and Xiren Cao, An improvement of policy gradient estimation algorithm. In: Lennartson B, Fabian M, Akesson K, Guia A, Kumar R (eds), The Proceedings of Workshop on Discrete Event Systems, Goteborg, Sweden, pp. 168-172, 2008.
[13] Yanjie Li, Baoqun Yin and Hongsheng Xi, The policy gradient estimation of continuous-time hidden Markov decision processes, IEEE International Conference of Information Acquisition, Hong Kong, 2005.
[14] 陶钊榕，陈智超，李衍杰，基于灵敏度的逆向强化学习，第32届中国控制会议，西安，2013.
[15] 段国强,张岳军,李衍杰,朱晓蕊, 四旋翼无人直升机控制算法比较研究，计算机仿真，录用，2013.
[16] 李建军，任建功，李衍杰, 一种基于Schweitzer变换的平均报酬强化学习算法, 第31届中国控制会议，合肥，2012.
[17]李衍杰，殷保群，奚宏生，受约束Markov决策过程基于性能势的优化算法，第24届中国控制会议，广州，2005.
[18]李衍杰，殷保群，奚宏生，连续时间Markov决策过程基于性能势优化，第22届中国控制会议，宜昌，2003.
2010-至今 IEEE 会员
2012-至今 中国运筹学会会员