Skip to content

Mit KI weiterarbeiten

Mit KI weiterarbeiten

Component Kit 2D Roboterführungssystem (SICK PLOC2D) ​

Die PLOC2D von SICK ist ein Vision-System für die 2D-Teilelokalisierung. Die Kamera bietet eine leicht zu bedienende Weboberfläche und kann ohne externe Rechenkapazität schnell und zuverlässig Teile lokalisieren.

Dieser Artikel ist sowohl für alle horstOS Versionen, wie auch für horstFX gültig.

1. Einleitung ​

Das Sensorsystem kann entweder fest neben dem Roboter montiert werden, oder mit einer passenden Halterung direkt am Flansch des Roboters montiert werden. In dem folgenden Artikel wird das Sensorsystem eingerichtet und kalibriert. Anschließend wird eine Teilelokalisierung mit Zahnrädern vorgenommen.

Für weitere Informationen über die SICK Kamera PLOC2D siehe SICK Benutzerinformation

2. Einrichtung SICK PLOC2D ​

2.1. Kamerainstallation ​

Neue Kameras haben standardmäßig die IP 192.168.0.1, diese kann später in den Einstellungen jedoch angepasst werden. DHCP muss deaktiviert werden!

Sobald der Laptop und die Kamera im selben Netzwerk sind, kann auf die Kamera über ein Webinterface zugegriffen werden.

2.2. Ablauf Kalibrierung der Kamera ​

Zuerst sollte der Benutzer auf “Service” geändert werden. Nur dieser kann neue Gegenstände einlernen und die Kamera kalibrieren.

Der Benutzer kann oben rechts geändert werden.

Für Service ist das Passwort “servicelevel”.

Im Menüpunkt Installation können anschließend erste Bilder zum Testen aufgenommen werden.

Hier lässt sich ebenfalls ein Richtlaser für die Positionierung hinzuschalten. Ebenso können Belichtungszeit, Helligkeit und Kontrast eingestellt werden.

Installation

Sobald die Kamera ausgerichtet ist, muss diese Kalibriert werden.

Hierfür muss in den Menüpunkt Kalibrierung gewechselt werden.

Abbildung: 2.2. Ablauf Kalibrierung der Kamera

Für die Kalibrierung wird ein CalibrationTarget benötigt. Diese gibt es in verschiedenen Größen.

Die vorhandene Größe muss oben rechts ausgewählt werden. Zusätzlich muss hier auch die Brennweite der Kamera angegeben werden.

Für eine gute Schätzung der Kamera sollten mindestens 10 Bilder aufgenommen werden.

Mit einem Klick auf “Bild” wird ein erstes Bild für die Kalibrierung aufgenommen.

Anschließend sollte ein ähnliches Bild wie dieses erscheinen.

Abbildung: 2.2. Ablauf Kalibrierung der Kamera

Nach jedem Bild sollte das CalibrationTarget etwas verschoben und rotiert werden.

Mit einem Klick auf “Bild” wird ein zweites Bild für die Kalibrierung aufgenommen.

Danach sollte ein ähnliches Bild wie das Folgende erscheinen.

Abbildung: 2.2. Ablauf Kalibrierung der Kamera

Mit jedem aufgenommen Bild werden die kleinen Rechtecke etwas grünlicher und ausgefüllter.

Der Vorgang muss nun wiederholt werden, bis keine Rechtecke mehr vorhanden sind.

Das Bild sollte dann ähnlich wie das folgende Aussehen.

Auch wenn der Erfassungsbereich bei 100% liegt, der Kreis komplett grün ist und keine Rechtecke mehr zu sehen sind, sollten für eine gute Kalibrierung trotzdem mindestens 10 Bilder aufgenommen werden.

Calibration

Mit einem Klick auf Kalibrieren kann der Vorgang abgeschlossen werden.

Je nach Anzahl der aufgenommenen Bilder berechnet die Kamera etwa 1 Minute die Kalibrierung aus.

2.3. Angleichung ​

Anschließend sollte auf den Punkt “Angleichung” gewechselt werden.

Hier wird das Referenzkoordinatensystem bestimmt. Für den größtmöglichen Bildbereich sollte die Kalibrierplatte möglichst nicht verdreht unter der Kamera liegen.

Mit einem Klick auf "Angleichen" wird die Angleichung vorgenommen.

Sollte das Bild zu stark verzerrt sein, kann dieser Schritt beliebig oft wiederholt werden.

Anschließend muss der Roboter mit seinem TCP den Referenzpunkt anfahren.

Dieser ist über das Rot-Grüne Koordinatensystem gekennzeichnet.

Diese Position muss gespeichert werden, da diese später für die Positionsschätzung der Objekte benötigt wird.

Abbildung: 2.3. Angleichung

Das folgende Bild ist ein Negativbespiel. Sollte das Ergebnis dementsprechend aussehen, muss die Kalibierplatte rotiert werden.

Abbildung: 2.3. Angleichung

3. Ablauf Objekte einlernen ​

Im Menüpunkt “Job” können neue Gegenstände eingelernt werden.

Zuerst sollte oben rechts ein Job ausgewählt werden. Ein Job entspricht einem Objekt.

Dazu muss das zu erkennende Objekt in den Sichtbereich der Kamera gelegt und anschließend über den Button “Bild aufnehmen” ein Bild aufgenommen werden.

Hierbei ist drauf zu achten, dass die Werte für Beleuchtungszeit, Kontrast und Helligkeit aus den Einstellungen am Anfang hierher übertragen werden, da dies nicht automatisch erfolgt.

Jobfirstpic

Wenn man mit den Einstellungen zufrieden ist, kann der Bereich ausgewählt werden, welcher später erkannt werden soll. Dafür muss der Button “Pinsel” gedrückt werden und anschließend der Bereich markiert werden.

Das Webinterface reagiert manchmal etwas träge, daher warten bis der Pinsel wirklich ausgewählt wurde (gleiches gilt für den Radierer, Zoom und die “Objekt Referenzposition”).

Beim Markieren ist es wichtig darauf zu achten, dass keine Spiegelungen markiert werden. Diese sind nicht auf jedem Gegenstand und an jeder Stelle gleich. Ebenfalls sollten Kanten gewählt werden, welche klar zu erkennen und gut zu unterscheiden sind. Für ein genaueres Markieren kann an das Objekt herangezoomt werden.

Der transparente orange Bereich zeigt den Bereich an, der markiert wurde. Die orangenen Linien zeigen die Kanten an, welche später für die Erkennung genutzt werden. (Bereich des Musterteils)

Jobpartshape

Anschließend kann der Greifer Freiraum eingelernt werden, dies funktioniert ähnlich zu zum Einlernen des Bereiches des Musterteils. Hier kann mit dem Radierer die innere Kontur entfernt werden (siehe Bild unten).

Jobgripperclearance

Damit Teile, welche am Randbereich liegen nicht gegriffen werden, kann dieser Bereich als gesperrt definiert werden.

Jobexclusion

Im nächsten Schritt muss die “Objekt Referenzposition” gesetzt werden. Diese Position wird später an den Roboter gesendet. Die Referenzposition sollte somit möglich mittig innerhalb des Objektes platziert werden. Die Orientierung ergibt sich aus der Kontur des Bauteils (im Beispiel gibt es keine Orientierung, deshalb sind die Linien parallel zum globalen Koordinatensystem)

jobpartrefernce

Zum Schluss kann noch ein Schwellwert gesetzt werden. Dies gibt die benötigte Übereinstimmung für eine gültige Erkennung an.

Der Wert muss experimentell ermittelt werden, da dieser stark vom Hintergrund, Belichtung, dem Objekt und weiteren Faktoren abhängt.

4. Testen ​

Im Menüpunkt “Run” kann das System getestet werden.

RunModus

Oben rechts kann das Objekt ausgewählt werden, welches später erkannt werden soll.

Nach einem Klick auf “Lokalisieren” wird ein Bild aufgenommen und alle Objekte, die vorher ausgewählt wurden, werden nun gesucht.

Über die zwei Button “Vorheriges” und “Nächstes” können die verschiedenen Objekte angeschaut werden, falls mehr als 1 erkannt wurde.

Die Tabelle im Abschnitt “Log” zeigt die Ergebnisse.

Von links nach rechts stehen dort:

Der erkannte Gegenstand, die Erkennungszeit, die geschätzte Übereinstimmung, die X- sowie Y-Verschiebung und um wieviel Grad das Objekt rotiert ist.

5. Ansteuerung der Kamera ​

Die Kamera kommuniziert direkt über TCP/IP. Hierfür werden einzelne Packages gesendet.

Der Inhalt muss im XML- oder CSV-Format vorliegen.

Wenn die Kamera gut kalibriert wurde, werden nur zwei Befehle für die Objekterkennung benötigt.

5.1. Run.Locate, [Job number] ​

Zur Aufnahme eines neuen Bildes und zur Lokalisierung der Teile aus dem angegebenen Job.

In den folgenden Beispielen sollen jeweils die Objekte (Job) 1 und 3 erkannt werden.

5.1.1. XML-Beispiel ​

<message><name>Run.Locate</name><job>1 3</job></message>

5.1.2. CSV-Beispiel ​

Run.Locate,1 3

5.2. Run.Locate, [Job number],[Match] ​

Gibt ein Ergebnis vom vorherigen Run.Locate-Befehl zurück. Das zurück-zugebende Ergebnis wird durch den Parameter „Match“ (Treffer) bestimmt.

In diesem Beispiel soll von dem Objekt “3” der zweite erkannte Gegenstand zurück geliefert werden.

5.2.1. XML-Beispiel ​

<message><name>Run.Locate</name><job>3</job><match>2</match></message>

5.2.2. CSV-Beispiel ​

Run.Locate,3,2

Weitere Befehle können aus der Quickstartanleitung der PLOC2D Kamera entnommen werden.

5.3. Beispielprogramm ​

Das beigefügt Programm zeigt in einem einfachen Beispiel wie mit der Kamera kommuniziert werden kann.

Im folgenden werden die grundlegendsten Funktionen erklärt, mit denen das Sensorsystem aus horstOS heraus kommuniziert werden kann.

5.3.1. Verbindung zum Sensorsystem herstellen ​

Eine Verbindung von horstOS zu einer PLOC2D wird über einen Socket hergestellt. Je nachdem wie das Netzwerk eingerichtet ist, muss die IP-Adresse und der Port ggf. angepasst werden.

function initCamera() {
    return new java.net.Socket("192.168.0.10", 14158);
}

5.3.2. Daten an das Sensorsystem senden ​

Über einen PrintWriter können dem Sensorsystem Daten gesendet werden um Beispielsweise ein neues Bild zu erzeugen und dies auszuwerten.

function writeToSocket(nachricht) {
     var printWriter =
          new java.io.PrintWriter(
               new java.io.OutputStreamWriter(
                    socket.getOutputStream()));
     printWriter.print(nachricht);
     printWriter.flush();
}

writeToSocket("Run.Locate,1");

5.3.3. Daten vom Sensorsystem lesen ​

Über einen BufferedReader können Daten welche vom Sensorsystem gesendet werden ausgelesen werden. Die Daten des Sensorsystems kommen als String und können somit anschließend beliebig weiterverarbeitet werden. In diesem Codeausschnitt werden die Daten in einer Infomeldung auf dem PANEL ausgegeben.

function readFromSocket() {
     var bufferedReader =
          new java.io.BufferedReader(
               new java.io.InputStreamReader(
                    socket.getInputStream()));
     var charArrayType = Java.type("char[]");
     var buffer = new charArrayType(1000);
     var anzahlZeichen = bufferedReader.read(buffer, 0, 1000);
     var nachricht = new java.lang.String(buffer);
     return nachricht;
}

var cam_result = readFromSocket(); 

show_info(cam_result);

5.4 Einstellungen Kamera ​

Hier ist ein Beispiel für die Einstellung der IP-Adresse und der Roboterkommunikationseinstellungen auf der SICK PLOC2D. Es wurde das CSV-Protokoll verwendet.

EinstellungenSick

6. Download-Dateien ​

Textuelles Basis-Programm:

SICK Vision horstOS Programm

Grafisches Basis-Programm für Softwarestand 2023.11:

SICK Vision horstOS-grafisch Softwarestand 23.11

7. Zu beachten ​

  • Sofern Sie die bereitgestellten Dateien als Grundlage für Ihr eigenes Programm nutzen möchten, solltest du die Bezeichnung der Ein-/Ausgänge aus der Konfigurations-Datei: "PartSeparation_2311_public_2.io" übernehmen. Die Datei liegt im Ordner ioconfig ab. Für Produkte von fruitcore robotics sind diese Bezeichnungen ab Werk eingestellt. Abbildung: 7 Zu beachten
  • "Locate" liefert nur die Differenz zu der Position, die im Abschnitt Angleichung angefahren wurde.
  • Die Koordinatensysteme der Kamera und des Roboters können verdreht sein -> muss beim Addieren der Differenz beachtet werden.
  • Die Kamera liefert keine Höhe. Die Höhe muss vorher einmal von Hand angefahren, oder langsam angenähert werden.