Vision-Language-Action-Modelle
Starte in die VLA-Forschung mit einem vorbereiteten Roboter-Embodiment und einer Entwicklungsumgebung. PLEXA verbindet Roboterplattform, Kameras und Rechner mit Beispielen, an denen du den Weg von Beobachtungen zu Aktionen untersuchen kannst.
VLA in drei Begriffen:
- Vision: Kamerabilder und Beobachtungen der Umgebung.
- Language: die Aufgabe als sprachliche Anweisung.
- Action: daraus abgeleitete Roboteraktionen, passend zum jeweiligen Embodiment.
Modellspezifische Anleitungen folgen. Die Projektlinks führen zu den jeweiligen Quellen.
GR00T · OpenVLA-OFT · openpi · SmolVLA · X-VLA
Den Lernablauf sehen



X-VLA als Beispiel: Das vorbereitete Dual-HORST-Embodiment bildet die Grundlage für diesen lauffähigen Simulationsfall. Die Bildfolge zeigt eine gelernte Aufgabe mit einer Außenkamera. Eigene Aufgaben und der Transfer auf einen physischen Roboter erfordern eigene Anpassung und Evaluation.
Aufnahmedetails und Modellstand
Ausgewähltes Forschungsbeispiel: drei Originalframes einer Dual-HORST-/X-VLA-Simulation, Fall w1-dev-002, Modell Saved6000, aus einer Außenkamera. Das Beispiel zeigt eine gelernte Aufgabe in der Simulation, keinen einsatzfertigen Skill für einen physischen Roboter.
Eine eigene Fähigkeit entwickeln
Die vorbereitete Kit-Software bietet Studierenden, Forschenden und Entwicklern einen Einstieg in lokale Modelle, Datenarbeit und Experimente. Modellfamilien wie GR00T, OpenVLA-OFT, openpi, SmolVLA und X-VLA verwenden unterschiedliche Beobachtungs- und Aktionsformate; wähle eine für deine Aufgabe aus.
Sammle Demonstrationen, prüfe die Daten, passe das Modell an oder führe Fine-Tuning durch und evaluiere auf getrennten Fällen. Eigene Objekte, Kameraperspektiven und Roboterkonfigurationen benötigen eigenes Training und Integrationsarbeit. Eine vorbereitete Umgebung bedeutet keine universell trainierte Policy.
Demnächst verfügbar
Modellspezifische Anleitungen und der detaillierte Weg von Demonstrationen zur Evaluation folgen. Beginne mit den vorbereiteten Werkzeugen und einer klar abgegrenzten Forschungsfrage.
Vorbereitete Kit-Software · Local Vision · Roboter-APIs und SDKs