SensoPart Visor Robotic
Dieser Artikel beschreibt die Kommunikation zwischen dem Kamerasystem Visor Robotic von SensoPart und dem HORST Robotersystem.
1. Versionshinweise
Der Artikel sowie die Beispielprogramme und Funktionen beziehen sich auf folgende Versionen:
- Robotersteuerungssoftware Version 2023.11.01
- SensoPart Visor V2.10
2. Einleitung

Der VISOR Robotic ist ein 2D Smart-Kamerasystem zur Lokalisierung von Objekten. Zur Lokalisierung und Prüfung der Objekte stehen unterschiedliche Detektoren wie beispielsweise ein Kontur-, ein Mustervergleich, oder ein BLOB-Detektor zur Verfügung. Weiterhin können Helligkeits-, Kontrast-, oder Graustufenwerte überprüft sowie Bauteile vermessen werden.
Dieser Artikel beschreibt die Kommunikation zwischen dem Robotersystem HORST und dem VISOR.
3. Einrichtung des Systems
Der mechanische Aufbau und die elektrische Verdrahtung des Systems ist gut in den Dokumenten von SensoPart beschrieben. Zur Stromversorgung des Visors müssen lediglich die blaue Ader der Signalleitung mit gnd sowie die braune Ader mit 24 V verbunden werden. Möchte man die digitale Schnittstelle des Visors nicht nutzen, müssen keine weitere Adern angeschlossen werden.
Um den Visor einzurichten und zu parametrieren, muss die passende Visor-PC-Software heruntergeladen und installiert werden. Diese findet man auf der Homepage von SensoPart.
Um auf den Visor zugreifen zu können, muss dieser zunächst mit dem Netzwerkkabel mit einem PC verbunden werden. Anschließend müssen sich beide Teilnehmer im gleichen IP-Adressen-Bereich befinden. Die Werkseinstellung des Visors hat die IP-Adresse: 192.168.100.100. Die statische IP-Adresse des Computers muss somit die gleichen 3 vorderen Kombinationen besitzen und die letzte muss sich unterscheiden. Demnach wäre eine gültige Adresse des PCs z. B.: 192.168.100.25. Weitere Informationen dazu findet man in dem Benutzerhandbuch des Visors.
Nun kann das für den Visor heruntergeladene und installierte Programm gestartet werden. In dem Feld IP Adresse kann die IP-Adresse des Sensors eingestellt und dieser damit hinzugefügt werden. In unserem Beispiel wurde dem Visor die IP-Adresse 192.168.2.210 nachträglich zugeteilt.
Nachdem der Sensor gefunden wurde, kann dieser nun konfiguriert werden. In diesem Artikel wird nur auf die notwendigen Einstellungen zur Kommunikation eingegangen. Wie der Sensor konfiguriert und Objekte eingelernt werden, ist gut in dem Benutzerhandbuch des Visors beschrieben.
4. Kommunikation mittels TCP/IP
Im folgenden wird auf die Kommunikation mittels TCP/IP eingegangen, da die digitale Kommunikation mit Hilfe des Visor Benutzerhandbuchs selbsterklärend ist. Werden für die Anwendung nur simple Informationen, wie beispielsweise bei einer Gut/Schlecht - Prüfung benötigt, kann die digitale Kommunikation verwendet werden.
Die Informationen zur TCP/IP Kommunikation seitens SensoPart befindet sich in dem Visor communication manual.
4.1. Einstellen der IP-Adresse
Damit der Roboter mit dem Visor kommunizieren kann, muss sich auch dieser im selben Adressbereich wie der Visor befinden. Wie die IP-Adresse des Roboters eingestellt werden kann ist in folgendem Artikel beschrieben IP-Adresse des Roboters ändern.
4.2. Herstellen der Verbindung
Mittels folgender Funktion kann in horstOS eine Verbindung zu dem Kamerasystem hergestellt werden:
// Camera data
var IPCamera = "192.168.2.210"; // IP Camera
var PortCameraWrite = 2006; // Port Camera to write data to camera
var PortCameraRead = 2005; // Port Camera to read data from camera
var SocketWrite = null;
var SocketRead = null;
// Establish connection to camera
connectToCamera();
// Establish connection to camera
function connectToCamera()
{
// Socket write
var ConnectSuccessWrite = null;
[ConnectSuccessWrite, SocketWrite] = openSocket(IPCamera, PortCameraWrite, 5000);
if (ConnectSuccessWrite != 1)
{
showError("The robot was not able to connect to the Camera-Write Port!");
exitRobotScript();
}
// Socket read
var ConnectSuccessRead = null;
[ConnectSuccessRead, SocketRead] = openSocket(IPCamera, PortCameraRead, 5000);
if (ConnectSuccessRead != 1)
{
showError("The robot was not able to connect to the Camera-Read Port!");
exitRobotScript();
}
showHint("Connected to camera");
}Wir nutzen hierbei den Port 2005 zum Lesen von Informationen die uns die Kamera bereitstellt sowie den Port 2006 mit welchem wir Befehle an die Kamera schicken können.
4.3. Senden eines Trigger-Befehls
Mit folgender Funktion kann, nach erfolgreichem Herstellen einer Verbindung zur Kamera, ein Trigger-Befehl an die Kamera geschickt werden:
// Trigger camera
triggerCamera();
// Trigger camera
function triggerCamera()
{
var WriteSuccess = writeSocket(SocketWrite, "TRG");
if (WriteSuccess != 1)
{
showError("An error occured while triggering the camera!");
closeCameraConnection();
exitRobotScript();
}
showHint("Triggering camera");
// Check answer from camera
var [ReadSuccess, Data] = readSocket(SocketWrite, 256, 2000);
if (Data.localeCompare("TRGP") != 0)
{
showError("The camera was not able to execute the trigger command!");
closeCameraConnection();
exitRobotScript();
}
}Dabei ist zu beachten, dass sich die Kamera im Run-Modus befindet und bei dem Triggermodus Trigger ausgewählt ist. Ansonsten könnte folgende Fehlermeldung in horstOS erscheinen: "The camera was not able to execute the trigger command!"
4.4. Ändern des Kamerajobs
Mittels folgender Funktion kann der Kamerajob über horstFX geändert werden:
// Change camera job
CamJob = "002";
changeJob();
// Change camera job
function changeJob()
{
var WriteSuccess = writeSocket(SocketWrite, "CJB"+CamJob);
if (WriteSuccess != 1)
{
showError("An error occured while changing the camera job!");
closeCameraConnection();
exitRobotScript();
}
// Check answer from camera
var [ReadSuccess, Data] = readSocket(SocketWrite, 256, 2000);
if (Data.localeCompare("CJBPT"+CamJob) != 0)
{
showError("The camera was not able to execute the change camera job command!");
closeCameraConnection();
exitRobotScript();
}
showHint("Changing camera job to job: " + CamJob);
}Auch hier muss sich der Sensor wieder im Run-Modus befinden. Bei der Auswahl des Jobs ist darauf zu achten, dass dieser zwingend aus 3 Zeichen bestehen muss. Wird Job Nummer 2 aufgerufen, muss somit der Variablen CamJob die Zeichenkette "002" zugewiesen werden.
4.5. Einlesen der Objektinformationen
Mittels folgender Funktion können die Objektinformationen der Kamera eingelesen werden:
// Grasp data
var GraspHeight = 0.1305; // Height of pick point
var MoveFactor = 0.05; // Distance approach point to pick point
var UseStaticRZCoord = 0; // If 1 - Static angle RZ is used. E.g. grasp round objects
var StaticRXCoord = 180; // Grasp angle RX
var StaticRYCoord = 0; // Grasp angle RY
var StaticRZCoord = 90; // Static angle RZ. If RZ coord from camera should be ignored
// Get object positions
var CamData = getObjectPositions();
// Get object positions
function getObjectPositions()
{
var [ReadSuccess, Data] = readSocketToDelimiter(SocketRead, "#", 5000);
if (ReadSuccess != 1)
{
showError("An error occured while reading data from the camera!");
closeCameraConnection();
exitRobotScript();
}
// showInfo(Data);
// Split camera data
var Splitted = Data.split(",");
var AmountObjects = Splitted[0]; // Amount of all objects
var AmountPickableObjects = Splitted[1]; // Amount of pickable objects
var CamX = Splitted[2]; // Object coordinate X
var CamY = Splitted[3]; // Object coordinate Y
var CamZ = Splitted[4]; // Object coordinate Z
var CamRX = Splitted[5]; // Object coordinate RX
var CamRY = Splitted[6]; // Object coordinate RY
var CamRZ = Splitted[7]; // Object coordinate RZ
// Typecast, convert to meter an degree
AmountObjects = parseFloat(AmountObjects);
AmountPickableObjects = parseFloat(AmountPickableObjects);
CamX = parseFloat(CamX)/1000/1000;
CamY = parseFloat(CamY)/1000/1000;
CamRZ = parseFloat(CamRZ)/1000;
// If 1 - Static angle RZ is used. E.g. grasp round objects
if (UseStaticRZCoord == 1)
{
CamRZ = StaticRZCoord;
}
// Normal vector for grasp with angle
var NormalVector = getSurfaceNormalByEuler(StaticRXCoord, StaticRYCoord, CamRZ);
// Get approach and departure positions
var ApproachCamX = CamX - (MoveFactor*NormalVector.getX());
var ApproachCamY = CamY - (MoveFactor*NormalVector.getY());
var ApproachCamZ = GraspHeight - (MoveFactor*NormalVector.getZ());
return{AmountObjects: AmountObjects,
AmountPickableObjects: AmountPickableObjects,
CamX: CamX, CamY: CamY, CamRZ: CamRZ,
ApproachCamX: ApproachCamX, ApproachCamY: ApproachCamY, ApproachCamZ: ApproachCamZ};
}Damit das Einlesen der Objektparameter richtig funktioniert müssen dem Visor in dem Bereich Ausgabe folgende Einstellungen zugeteilt werden:
- Der Nachspann muss auf # eingestellt werden. HorstOS liest so lange eine Nachricht ein, bis dieses Zeichen in der gesendeten Nachricht des Visors auftritt. So kann sichergestellt werden, dass die gesamte Nachricht eingelesen wird.
- Das Trennzeichen muss auf , eingestellt werden. Die einzelnen Werte innerhalb der Nachricht des Visors werden damit durch ein Komma getrennt.
- Der Nachricht müssen durch die gewollten Detektoren folgende Werte in der folgenden Reihenfolge zugewiesen werden: 1. Anzahl Kandidaten, 2. Anzahl gültiger Objekte, 3. Pose 3D
4.6. Anfahren des Objekts
Um die von der Kamera ermittelten Objektposition anzufahren können folgende Wegpunkte genutzt werden:
// Grasp data
var GraspHeight = 0.1305; // Height of pick point
var MoveFactor = 0.05; // Distance approach point to pick point
var UseStaticRZCoord = 0; // If 1 - Static angle RZ is used. E.g. grasp round objects
var StaticRXCoord = 180; // Grasp angle RX
var StaticRYCoord = 0; // Grasp angle RY
var StaticRZCoord = 90; // Static angle RZ. If RZ coord from camera should be ignored
// Get object positions
var CamData = getObjectPositions();
// Approach point pick position
move({
"name": "ApproachPick",
"moveType": "JOINT",
"poseRelation": "ABSOLUTE",
"anyConfiguration": false,
"tool": "No Tool",
"coordSystem": "Basis",
"speed.ratio": 1.0,
"blendradius.orient": 180.0,
"blendradius.xyz": 0.02,
"target": {"xyz+euler": [CamData.ApproachCamX, CamData.ApproachCamY, CamData.ApproachCamZ, StaticRXCoord, StaticRYCoord, CamData.CamRZ]}
});
// Pick point
move({
"name": "Pick",
"moveType": "LINEAR",
"poseRelation": "ABSOLUTE",
"anyConfiguration": false,
"tool": "No Tool",
"coordSystem": "Basis",
"speed.ratio": 0.7,
"target": {"xyz+euler": [CamData.CamX, CamData.CamY, GraspHeight, StaticRXCoord, StaticRYCoord, CamData.CamRZ]}
});
// Departure point pick position
move({
"name": "DeparturePick",
"moveType": "LINEAR",
"poseRelation": "ABSOLUTE",
"anyConfiguration": false,
"tool": "No Tool",
"coordSystem": "Basis",
"speed.ratio": 1.0,
"blendradius.orient": 180.0,
"blendradius.xyz": 0.02,
"target": {"xyz+euler": [CamData.ApproachCamX, CamData.ApproachCamY, CamData.ApproachCamZ, StaticRXCoord, StaticRYCoord, CamData.CamRZ]}
});Dabei wird die Objektposition über einen Stützpunkt an- und abgefahren. Mittels der Variablen MoveFactor kann die Höhe des An- und Abfahrpunktes bestimmt werden. Wird ihr hierbei 0,05 zugewiesen, so beträgt die Distanz zwischen dem Stützpunkt und der Pickposition 5 cm.
Über die Variable GraspHeight wird die Höhe der Objektposition vorgegeben. Hierbei kann einfach das Objekt manuell mittels Roboter auf der zu greifenden Oberfläche angefahren und die Position in Z-Richtung der Variablen zugewiesen werden.
Mittels der Variablen UseStaticRZCoord kann eingestellt werden, dass ein Objekt mit immer der gleichen Orientierung StaticRZCoord gegriffen wird. Das kann beispielsweise bei runden Objekten von Vorteil sein.
Über die Variablen StaticRXCoord und StaticRYCoord kann für den Griff ein Anstellwinkel in der RX und/oder RY Orientierung eingestellt werden. Das kann bei Objekten hilfreich sein, die schräg auf der Oberfläche liegen (z. B. Schrauben mit einem großen Kopf).
5. Textuelles Beispielprogramm
Dieses zu herunterladende Beispielprogramm beinhaltet sämtliche in Kapitel 4. Kommunikation beschriebene Funktionen und Wegpunkte. Sobald ein zu greifendes Objekt verfügbar ist, wird dieses angefahren und zu einer Ablageposition bewegt. Im Anschluss daran wird ein neuer Bildtrigger ausgelöst. Wird kein Teil erkannt bei dem ein Griff möglich ist, wird jede Sekunde ein neuer Trigger ausgelöst.
SensoPart Vision Beispielprogramm
6. Grafisches Beispielprogramm
Das grafische Beispielprogramm welches im Folgenden heruntergeladen werden kann, beinhaltet die in Kapitel 4. Kommunikation beschriebene Funktionen und Wegpunkte. Es besitzt die gleichen Funktionalitäten wie das textuelle Beispielprogramm aus Kapitel 5. Dieses Programm kann als Grundlage genutzt werden und an die jeweilige Applikation angepasst werden.
SensoPart Vision Beispielprogramm Grafisch
Zu Beginn des Programms können die in Kapitel 4. Kommunikation beschriebenen notwendigen Variablen gesetzt werden.
Folgende Funktionen können zur Kommunikation mit dem Roboter dem Programm hinzugefügt werden:




