Derin pekiştirmeli öğrenme ile robot kol tork kontrolü

Abstract

Robot teknolojisini geliştirmek için literatürde ve endüstriyel uygulamalarda model tabanlı yaklaşım kullanılmaktadır. Model tabanlı yaklaşıma alternatif olarak makine öğrenmesinin gelişmesi ve akıllı algoritmalar oluşturulmasıyla her alanda makine öğrenmesi kullanılmaya başlanmıştır. Robotik sistemlerin geliştirilmesi sürecinde sistemin matematiksel modelinin oluşturulması ve kontrol algoritmalarının geliştirilmesi gerekmektedir. Geliştirilen matematiksel modellerin fiziksel sistemleri ifade etmesi gerekmektedir fakat model üzerindeki belirsizlik, analitik çözümün olmaması gibi durumlarda model tabanlı kontrol algoritmaları beklenen performansı üretmemektedir. Pekiştirmeli öğrenme yaklaşımı kullanılarak robot kolun kontrol problemi çözülebilmektedir. Bu tez çalışmasında 3 eksenli seri manipulator (RRR) tipi bir robot kolun tork kontrol problemi incelenecektir. İncelenen robotun kontrol problemi klasik kontrol teorisi ve model tabanlı yaklaşım ile çözülüp, makine öğrenmesinin bir alt kolu olan pekiştirmeli öğrenme algoritmasıyla çözülecektir. Pekiştirmeli öğrenme algoritmalarından Q-öğrenme ve Sarsa öğrenme metodları incelenip ayrık durum ve aksiyon için kontrol problemleri çözülecektir. Robot kontrol problemi sürekli zamanlı olduğu için pekiştirmeli öğrenmenin geleneksel algoritmaları çözüm üretememektedir. Pekiştirmeli öğrenme algoritmalarının sürekli durum ve aksiyon için geliştirilmiş algoritmaları bu tez kapsamında incelenecektir. Derin Q-öğrenme algoritması ile sürekli durum için kontrol problemi çözülecektir. Sürekli durum ve aksiyon için geliştirilen derin deterministik politika gradyanı (DDPG) algoritması ile sürekli zamanlı robot tork kontrol problemi çözülecektir. Sonuç olarak MATLAB ve PYTHON ortamında geliştirilen algoritma ile robotun kontrol problemi çözülüp, robotik sistemlerde oluşan model tabanlı yaklaşımların problemleri pekiştirmeli öğrenme metodu kullanılarak çözülmektedir.

The model based approach is used to develop robot technology in literature and industrial applications. Machine learning has started to be used in forming smart algorithms and the development of machine learning, as an alternative to the model based approach. During the development of robotic systems, the forming of mathematical models and the development of control algorithms are needed. Developed mathematical models need to reflect physical systems but uncertainty on the model, and situations where analytic situations are not found, causes unexpected performances in model based control algorithms. Problems with robotic arm control can be solved by using the reinforcement learning approach. In this thesis we'll be analyzing the problem of torque control, in an three axis serial manipulator (RRR) type robot arm. The control problem of the robot arm under analysis, is solved using classical control theory and the model based approach, thus this problem can be solved by using the reinforcement learning technique, which is based on machine learning. The problem of discrete state and action control is solved by using, Q learning and Sarsa learning methods, which are a part of reinforcement learning algorithms. As the robot control problem is continuous time the traditional algorithm of reinforcement learning is unable to form solutions. In this thesis we will be analysing reinforcement learning algorithms, which are developed for continuous time state and action. The control problem for, continuous time state, will be solved by using the deep Q learning algorithm. The continuous time robot torque control problem, will be solved, by using the deep deterministic policy gradient (DDPG) algorithm, which is developed for continuous state and action. As a result the robots' control problem can be solved by using algorithms which are developed in the MATLAB and PYTHON environment. Model based approach problems which are found in robotic systems can be solved by using the reinforcement learning method.