Das Vision System erkennt Spielelemente und ihre Position mithilfe von Kameras am Spielfeldrand und Roboter.


Zusammenfassung

Mithilfe von Kameras an den stationären Barken um das Spielfeld sowie auf dem Roboter wollen wir in Zukunft Spielelemente und eigene und gegnerische Roboterposition erkennen.

Eine Standard Library zur Bildverarbeitung, die wir dazu nutzen, ist OpenCV [1]. Zum Tracking der Roboterposition eigenen sich z.B. diverse Fiducial Marker Systeme [3,4,5]. Diese können wir durch LED Marker etc. weiterentwickeln.

Spielelemente können wir mithilfe diverser Matching und Detection Verfahren in OpenCV erkennen, oder sogar trainierte Object Detection Classifier [6] verwenden. Eine weitere Möglichkeit der Positionserkennung von Spielelementen können in Zukunft Kameras unseres Sponsors Cognex sein, die auf dem Roboter montiert werden [7].

Arbeitspakete für die Saison 2021

  1. Aufbau eines Kamerasystems und Hardware Plattform (z.B. Raspberry Pi & Pi-Camera, USB/GigE Kameras, Intel NUC oder NVIDIA Jetson)
  2. Kontinuierliche Erkennung der Roboterposition mithilfe von Markern
  3. Erkennen von Spielelementen entsprechend neuem Regelwerk für 2020
  4. Visualisierung der erkannten Spielelemente in RVIZ [8] oder GAZEBO [2]

Referenzen und Links

  • [1] https://opencv.org/opencv-4-1/
  • [2] http://gazebosim.org/tutorials?tut=ros_overview
  • [3] http://www.dsi.unive.it/~bergamasco/runetag/
  • [4] https://docs.opencv.org/3.4.0/d5/dae/tutorial_aruco_detection.html
  • [5] https://april.eecs.umich.edu/software/apriltag
  • [6] https://github.com/tensorflow/models/tree/master/research/object_detection/models
  • [7] https://www.cognex.com
  • [8] http://wiki.ros.org/rviz