İki robot kollu sistemde görüntü işleme ve genetik algoritma kullanarak çarpışma önleme ve görev paylaşımının optimizasyonu

Abstract

Bu çalışmada, seçme amacıyla kullanılan bir konveyör bandının üzerindeki cisimlerin konumları, bir kamera ile çekilen fotoğraflar işlenerek elde edilmiştir. Konumları belirlenen objeleri toplamak için karşılıklı konumlandırılan iki adet robot kolun hareketi genetik algoritma ile planlanmıştır. Çalışma iki ana modülden oluşmaktadır. İlk modül, gerçek görüntülerin işlendiği ve cisimlerin konumlarının belirlendiği görüntü işleme modülüdür. Bu amaçla geliştirilen "Metrik" ismini verdiğimiz görüntü işleme algoritması ve YOLOv4 algoritması kullanılmıştır. İkinci modül robotlara iletilecek, 4 farklı amacı gerçekleştiren, en uygun hareket planının genetik algoritma ile hesaplandığı bölümdür. Bu amaçlar; robot kolların çarpışmasının engellenmesi, eşit sayıda cisim almaları, kat edilecek toplam yolun kısaltılması ve yolların birbirine eşit olmasıdır. Bu hedeflere genetik algoritmanın ulaşabilmesi için bir başarı puanı hesaplama formülü geliştirilmiştir. Bu hedefler için en yüksek toplam başarı puanı veren hareket planı robot kollara iletilerek çarpışmaları engellenmiş, görev süreleri azaltılmış ve çalışma ömürleri arttırılmıştır. Sonuç olarak, hedef cisimlerin tanınması ve konumlarının belirlenmesi için "Metrik" ve YOLOv4 algoritmaları karşılaştırılmıştır. YOLOv4 algoritması "Metrik" den yaklaşık 100 kat daha hızlı, milisaniyeler düzeyinde cisimleri tanımış ve konumlarını belirlemiştir. Genetik algoritma kullanılmadan yapılan görev dağılımlarında, robot kolların çarpıştığı, görev dağılımın dengesiz olduğu görülmüştür. Genetik algoritma ile yapılan optimizasyon sonrasında yük dağılımı, kat edilen yol dengeli hale gelerek kollar çarpışmamıştır. Elde edilen sonuçlarda, optimizasyon öncesine göre kat edilecek mesafe %25 azalırken, başarı yaklaşık %30 artmıştır. Önerilen yöntemde hedef cisimlerin konumları başarılı bir şekilde belirlenmiştir ve robot kollar bu cisimleri çarpışmadan dengeli iş yükü ile toplamışlardır.

In this study, the positions of objects on a conveyor belt used for selection are obtained by processing pictures taken by a single camera. The movements of two mutually positioned robot arms are optimally planned with a genetic algorithm to collect the objects whose positions are determined by image processing. The study consists of two main modules. The first module is the image processing module, where the images are processed for determination of the position of the objects. For this purpose, the image processing algorithm named as "metric" and the YOLOv4 algorithms are used. The second module is the section where the task planning details to be transmitted to the robots is calculated by genetic algorithm. In this module, an optimum action plan has been made for 4 different purposes. These purposes are defined as preventing collision of robot arms, taking the equal number of objects, shortening the total path to be travelled, and equalization of paths. In order for the Genetic Algorithm to achieve these goals, a success score calculation method has been developed. The action plan that gives the highest total success score for these targets is transmitted to the robot arms aiming at preventing collisions, reducing their duty times and increasing their working life. As a part of the study, the "Metric" and YOLOv4 algorithms are compared for identifying target objects and determining their location. It is observed that the YOLOv4 algorithm recognizes and determines the positions of objects in milliseconds, approximately 100 times faster than the Metric. It is also seen that the task distributions performed without using the genetic algorithm approach, it is seen that the robot arms collide and the task distribution is mainly unbalanced. After the task optimization is achieved by using the genetic algorithm, the work distribution and the path planning for the task becomes balanced and there appears to be no collisions of the arms. The achieved results also indicate that the distance to be covered is decreased by 25% and the success rate is increased by approximately 30%, compared to the pre-optimization. In the proposed method, the positions of the target objects are successfully determined and the robot arms collected the objects with a balanced workload without collision.