Skip to content

Mit KI weiterarbeiten

Mit KI weiterarbeiten

SensoPart Visor Robotic ​

Dieser Artikel beschreibt die Kommunikation zwischen dem Kamerasystem Visor Robotic von SensoPart und dem HORST Robotersystem.

1. Versionshinweise ​

Der Artikel sowie die Beispielprogramme und Funktionen beziehen sich auf folgende Versionen:

  • Robotersteuerungssoftware Version 2023.11.01
  • SensoPart Visor V2.10

2. Einleitung ​

r VISOR Robotic 2D Smart-Kamerasystem

Der VISOR Robotic ist ein 2D Smart-Kamerasystem zur Lokalisierung von Objekten. Zur Lokalisierung und Prüfung der Objekte stehen unterschiedliche Detektoren wie beispielsweise ein Kontur-, ein Mustervergleich, oder ein BLOB-Detektor zur Verfügung. Weiterhin können Helligkeits-, Kontrast-, oder Graustufenwerte überprüft sowie Bauteile vermessen werden.

Dieser Artikel beschreibt die Kommunikation zwischen dem Robotersystem HORST und dem VISOR.

3. Einrichtung des Systems ​

Der mechanische Aufbau und die elektrische Verdrahtung des Systems ist gut in den Dokumenten von SensoPart beschrieben. Zur Stromversorgung des Visors müssen lediglich die blaue Ader der Signalleitung mit gnd sowie die braune Ader mit 24 V verbunden werden. Möchte man die digitale Schnittstelle des Visors nicht nutzen, müssen keine weitere Adern angeschlossen werden.

Um den Visor einzurichten und zu parametrieren, muss die passende Visor-PC-Software heruntergeladen und installiert werden. Diese findet man auf der Homepage von SensoPart.

Um auf den Visor zugreifen zu können, muss dieser zunächst mit dem Netzwerkkabel mit einem PC verbunden werden. Anschließend müssen sich beide Teilnehmer im gleichen IP-Adressen-Bereich befinden. Die Werkseinstellung des Visors hat die IP-Adresse: 192.168.100.100. Die statische IP-Adresse des Computers muss somit die gleichen 3 vorderen Kombinationen besitzen und die letzte muss sich unterscheiden. Demnach wäre eine gültige Adresse des PCs z. B.: 192.168.100.25. Weitere Informationen dazu findet man in dem Benutzerhandbuch des Visors.

Nun kann das für den Visor heruntergeladene und installierte Programm gestartet werden. In dem Feld IP Adresse kann die IP-Adresse des Sensors eingestellt und dieser damit hinzugefügt werden. In unserem Beispiel wurde dem Visor die IP-Adresse 192.168.2.210 nachträglich zugeteilt.

SensorFind IP Adresse hinzufügen

Nachdem der Sensor gefunden wurde, kann dieser nun konfiguriert werden. In diesem Artikel wird nur auf die notwendigen Einstellungen zur Kommunikation eingegangen. Wie der Sensor konfiguriert und Objekte eingelernt werden, ist gut in dem Benutzerhandbuch des Visors beschrieben.

4. Kommunikation mittels TCP/IP ​

Im folgenden wird auf die Kommunikation mittels TCP/IP eingegangen, da die digitale Kommunikation mit Hilfe des Visor Benutzerhandbuchs selbsterklärend ist. Werden für die Anwendung nur simple Informationen, wie beispielsweise bei einer Gut/Schlecht - Prüfung benötigt, kann die digitale Kommunikation verwendet werden.

Die Informationen zur TCP/IP Kommunikation seitens SensoPart befindet sich in dem Visor communication manual.

4.1. Einstellen der IP-Adresse ​

Damit der Roboter mit dem Visor kommunizieren kann, muss sich auch dieser im selben Adressbereich wie der Visor befinden. Wie die IP-Adresse des Roboters eingestellt werden kann ist in folgendem Artikel beschrieben IP-Adresse des Roboters ändern.

4.2. Herstellen der Verbindung ​

Mittels folgender Funktion kann in horstOS eine Verbindung zu dem Kamerasystem hergestellt werden:

// Camera data
var IPCamera = "192.168.2.210";    // IP Camera
var PortCameraWrite = 2006;        // Port Camera to write data to camera
var PortCameraRead = 2005;         // Port Camera to read data from camera

var SocketWrite = null;
var SocketRead = null;

// Establish connection to camera
connectToCamera();

// Establish connection to camera
function connectToCamera()
{
    // Socket write
    var ConnectSuccessWrite = null;
    [ConnectSuccessWrite, SocketWrite] = openSocket(IPCamera, PortCameraWrite, 5000);
    if (ConnectSuccessWrite != 1)
    {
        showError("The robot was not able to connect to the Camera-Write Port!");
        exitRobotScript();
    }

    // Socket read
    var ConnectSuccessRead = null;
    [ConnectSuccessRead, SocketRead] = openSocket(IPCamera, PortCameraRead, 5000);
    if (ConnectSuccessRead != 1)
    {
        showError("The robot was not able to connect to the Camera-Read Port!");
        exitRobotScript();
    }

    showHint("Connected to camera");
}

Wir nutzen hierbei den Port 2005 zum Lesen von Informationen die uns die Kamera bereitstellt sowie den Port 2006 mit welchem wir Befehle an die Kamera schicken können.

4.3. Senden eines Trigger-Befehls ​

Mit folgender Funktion kann, nach erfolgreichem Herstellen einer Verbindung zur Kamera, ein Trigger-Befehl an die Kamera geschickt werden:

// Trigger camera
triggerCamera();


// Trigger camera
function triggerCamera()
{
    var WriteSuccess = writeSocket(SocketWrite, "TRG");
    if (WriteSuccess != 1)
    {
        showError("An error occured while triggering the camera!");
        closeCameraConnection();
        exitRobotScript();
    }
    
    showHint("Triggering camera");

    // Check answer from camera
    var [ReadSuccess, Data] = readSocket(SocketWrite, 256, 2000);
    if (Data.localeCompare("TRGP") != 0)
    {
        showError("The camera was not able to execute the trigger command!");
        closeCameraConnection();
        exitRobotScript();
    }
}

Dabei ist zu beachten, dass sich die Kamera im Run-Modus befindet und bei dem Triggermodus Trigger ausgewählt ist. Ansonsten könnte folgende Fehlermeldung in horstOS erscheinen: "The camera was not able to execute the trigger command!"

Triggernmodus Kamera

4.4. Ändern des Kamerajobs ​

Mittels folgender Funktion kann der Kamerajob über horstFX geändert werden:

// Change camera job
CamJob = "002";
changeJob();

// Change camera job
function changeJob()
{
    var WriteSuccess = writeSocket(SocketWrite, "CJB"+CamJob);
    if (WriteSuccess != 1)
    {
        showError("An error occured while changing the camera job!");
        closeCameraConnection();
        exitRobotScript();
    }

    // Check answer from camera
    var [ReadSuccess, Data] = readSocket(SocketWrite, 256, 2000);
    if (Data.localeCompare("CJBPT"+CamJob) != 0)
    {
        showError("The camera was not able to execute the change camera job command!");
        closeCameraConnection();
        exitRobotScript();
    }
    
    showHint("Changing camera job to job: " + CamJob); 
}

Auch hier muss sich der Sensor wieder im Run-Modus befinden. Bei der Auswahl des Jobs ist darauf zu achten, dass dieser zwingend aus 3 Zeichen bestehen muss. Wird Job Nummer 2 aufgerufen, muss somit der Variablen CamJob die Zeichenkette "002" zugewiesen werden.

4.5. Einlesen der Objektinformationen ​

Mittels folgender Funktion können die Objektinformationen der Kamera eingelesen werden:

// Grasp data
var GraspHeight = 0.1305;       // Height of pick point
var MoveFactor = 0.05;          // Distance approach point to pick point
var UseStaticRZCoord = 0;       // If 1 - Static angle RZ is used. E.g. grasp round objects
var StaticRXCoord = 180;        // Grasp angle RX
var StaticRYCoord = 0;          // Grasp angle RY
var StaticRZCoord = 90;         // Static angle RZ. If RZ coord from camera should be ignored

// Get object positions
var CamData = getObjectPositions();

// Get object positions
function getObjectPositions()
{
    var [ReadSuccess, Data] = readSocketToDelimiter(SocketRead, "#", 5000);
    if (ReadSuccess != 1)
    {
        showError("An error occured while reading data from the camera!");
        closeCameraConnection();
        exitRobotScript();
    }

    // showInfo(Data);

    // Split camera data
    var Splitted = Data.split(",");
    var AmountObjects = Splitted[0];            // Amount of all objects
    var AmountPickableObjects = Splitted[1];    // Amount of pickable objects
    var CamX = Splitted[2];                     // Object coordinate X
    var CamY = Splitted[3];                     // Object coordinate Y
    var CamZ = Splitted[4];                     // Object coordinate Z
    var CamRX = Splitted[5];                    // Object coordinate RX
    var CamRY = Splitted[6];                    // Object coordinate RY
    var CamRZ = Splitted[7];                    // Object coordinate RZ

    // Typecast, convert to meter an degree
    AmountObjects = parseFloat(AmountObjects);
    AmountPickableObjects = parseFloat(AmountPickableObjects);
    CamX = parseFloat(CamX)/1000/1000;
    CamY = parseFloat(CamY)/1000/1000;
    CamRZ = parseFloat(CamRZ)/1000;

    // If 1 - Static angle RZ is used. E.g. grasp round objects
    if (UseStaticRZCoord == 1)
    {
        CamRZ = StaticRZCoord;
    }
    
    // Normal vector for grasp with angle
    var NormalVector = getSurfaceNormalByEuler(StaticRXCoord, StaticRYCoord, CamRZ);
    // Get approach and departure positions
    var ApproachCamX = CamX - (MoveFactor*NormalVector.getX());
    var ApproachCamY = CamY - (MoveFactor*NormalVector.getY());
    var ApproachCamZ = GraspHeight - (MoveFactor*NormalVector.getZ());

    return{AmountObjects: AmountObjects, 
            AmountPickableObjects: AmountPickableObjects,    
            CamX: CamX, CamY: CamY, CamRZ: CamRZ, 
            ApproachCamX: ApproachCamX, ApproachCamY: ApproachCamY, ApproachCamZ: ApproachCamZ};
}

Damit das Einlesen der Objektparameter richtig funktioniert müssen dem Visor in dem Bereich Ausgabe folgende Einstellungen zugeteilt werden:

  • Der Nachspann muss auf # eingestellt werden. HorstOS liest so lange eine Nachricht ein, bis dieses Zeichen in der gesendeten Nachricht des Visors auftritt. So kann sichergestellt werden, dass die gesamte Nachricht eingelesen wird.
  • Das Trennzeichen muss auf , eingestellt werden. Die einzelnen Werte innerhalb der Nachricht des Visors werden damit durch ein Komma getrennt.
  • Der Nachricht müssen durch die gewollten Detektoren folgende Werte in der folgenden Reihenfolge zugewiesen werden: 1. Anzahl Kandidaten, 2. Anzahl gültiger Objekte, 3. Pose 3D

Ausgabe Kamera

4.6. Anfahren des Objekts ​

Um die von der Kamera ermittelten Objektposition anzufahren können folgende Wegpunkte genutzt werden:

// Grasp data
var GraspHeight = 0.1305;       // Height of pick point
var MoveFactor = 0.05;          // Distance approach point to pick point
var UseStaticRZCoord = 0;       // If 1 - Static angle RZ is used. E.g. grasp round objects
var StaticRXCoord = 180;        // Grasp angle RX
var StaticRYCoord = 0;          // Grasp angle RY
var StaticRZCoord = 90;         // Static angle RZ. If RZ coord from camera should be ignored

// Get object positions
var CamData = getObjectPositions();

// Approach point pick position
move({
    "name": "ApproachPick",
    "moveType": "JOINT",
    "poseRelation": "ABSOLUTE",
    "anyConfiguration": false,
    "tool": "No Tool",
    "coordSystem": "Basis",
    "speed.ratio": 1.0,
    "blendradius.orient": 180.0,
    "blendradius.xyz": 0.02,
    "target": {"xyz+euler": [CamData.ApproachCamX, CamData.ApproachCamY, CamData.ApproachCamZ, StaticRXCoord, StaticRYCoord, CamData.CamRZ]}
});

// Pick point
move({
    "name": "Pick",
    "moveType": "LINEAR",
    "poseRelation": "ABSOLUTE",
    "anyConfiguration": false,
    "tool": "No Tool",
    "coordSystem": "Basis",
    "speed.ratio": 0.7,
    "target": {"xyz+euler": [CamData.CamX, CamData.CamY, GraspHeight, StaticRXCoord, StaticRYCoord, CamData.CamRZ]}
});

// Departure point pick position
move({
    "name": "DeparturePick",
    "moveType": "LINEAR",
    "poseRelation": "ABSOLUTE",
    "anyConfiguration": false,
    "tool": "No Tool",
    "coordSystem": "Basis",
    "speed.ratio": 1.0,
    "blendradius.orient": 180.0,
    "blendradius.xyz": 0.02,
    "target": {"xyz+euler": [CamData.ApproachCamX, CamData.ApproachCamY, CamData.ApproachCamZ, StaticRXCoord, StaticRYCoord, CamData.CamRZ]}
});

Dabei wird die Objektposition über einen Stützpunkt an- und abgefahren. Mittels der Variablen MoveFactor kann die Höhe des An- und Abfahrpunktes bestimmt werden. Wird ihr hierbei 0,05 zugewiesen, so beträgt die Distanz zwischen dem Stützpunkt und der Pickposition 5 cm.

Über die Variable GraspHeight wird die Höhe der Objektposition vorgegeben. Hierbei kann einfach das Objekt manuell mittels Roboter auf der zu greifenden Oberfläche angefahren und die Position in Z-Richtung der Variablen zugewiesen werden.

Mittels der Variablen UseStaticRZCoord kann eingestellt werden, dass ein Objekt mit immer der gleichen Orientierung StaticRZCoord gegriffen wird. Das kann beispielsweise bei runden Objekten von Vorteil sein.

Über die Variablen StaticRXCoord und StaticRYCoord kann für den Griff ein Anstellwinkel in der RX und/oder RY Orientierung eingestellt werden. Das kann bei Objekten hilfreich sein, die schräg auf der Oberfläche liegen (z. B. Schrauben mit einem großen Kopf).

5. Textuelles Beispielprogramm ​

Dieses zu herunterladende Beispielprogramm beinhaltet sämtliche in Kapitel 4. Kommunikation beschriebene Funktionen und Wegpunkte. Sobald ein zu greifendes Objekt verfügbar ist, wird dieses angefahren und zu einer Ablageposition bewegt. Im Anschluss daran wird ein neuer Bildtrigger ausgelöst. Wird kein Teil erkannt bei dem ein Griff möglich ist, wird jede Sekunde ein neuer Trigger ausgelöst.

SensoPart Vision Beispielprogramm

6. Grafisches Beispielprogramm ​

Das grafische Beispielprogramm welches im Folgenden heruntergeladen werden kann, beinhaltet die in Kapitel 4. Kommunikation beschriebene Funktionen und Wegpunkte. Es besitzt die gleichen Funktionalitäten wie das textuelle Beispielprogramm aus Kapitel 5. Dieses Programm kann als Grundlage genutzt werden und an die jeweilige Applikation angepasst werden.

SensoPart Vision Beispielprogramm Grafisch

Zu Beginn des Programms können die in Kapitel 4. Kommunikation beschriebenen notwendigen Variablen gesetzt werden.

grafische Beispielprogramm in Roboter Steuerungssoftware horstOS für Visor Kamera

Folgende Funktionen können zur Kommunikation mit dem Roboter dem Programm hinzugefügt werden:

Darstellung Funktionen in grafischer Programmieroberfläche in Roboter Steuerungssoftware horstOS