Foto: MPI für Intelligente Systeme
Ein künstlicher, daumengroßer Sensor verleiht Robotern einen Tastsinn.

Automation

Tastsinn gibt Robotern Fingerspitzengefühl

Das Max-Planck-Forscher wollen den Tastsinn von Robotern mit einem daumenähnlichen Sensor mit integrierter Kamera steigern; er besteht aus einem Elastomer.

Das Max-Planck-Forscher wollen den Tastsinn von Robotern mit einem daumenähnlichen Sensor mit integrierter Kamera steigern; er besteht aus einem Elastomer.

Der robuste, weiche und haptische Sensor des Max-Planck-Instituts für Intelligente Systeme (MPI-IS), der Robotern einen Tastsinn verleiht, heißt Insight. Er ist einem Daumen nachempfunden und besteht aus einer weichen Hülle, die ein leichtes, steifes Skelett in sich einschließt. Dieses Skelett hält die Struktur aufrecht, ähnlich wie Knochen das weiche Gewebe eines Fingers stabilisieren. Die Hülle besteht aus einem Elastomer, das mit dunklen, aber reflektierenden Aluminiumflocken angemischt wurde. Dadurch bekommt die Hülle eine gräuliche Farbe und ist undurchsichtig, so dass kein Licht von außen eindringen kann. Im Inneren dieser fingergroßen Kapsel ist eine winzige 160-Grad-Fischaugenkamera eingebaut. Sie nimmt bunte Lichtmuster auf, die von einem Ring aus LEDs erzeugt werden.

Mit Hilfe von Maschinellem Sehen und einem tiefen neuronalen Netzwerk kann der Sensor genau abschätzen, an welcher Stelle Objekte mit ihm in Kontakt kommen und wie groß die einwirkenden Kräfte sind. Das Forschungsprojekt des MPI-IS ist somit ein wichtiger Schritt hin zu Robotern, die wie Menschen und Tiere ihre Umgebung ertasten können. Wie sein natürliches Vorbild ist der Sensor sehr empfindlich, robust und präzise.

Verbessert die haptische Wahrnehmung von Roboterfingern

Das Team am MPI-IS trainiert ein tiefes neuronales Netz, um aus den Kamerabildern Informationen abzuleiten, wo und wie stark der Sensor berührt wird. Aus gefilmten Verformungen der flexiblen Außenhülle des Sensors generiert das neuronale Netz ein dreidimensionales Abbild der Kräfte, die auf den künstlichen Daumen einwirken. Die Erfindung verbessert die haptische Wahrnehmung von Roboterfingern erheblich und kommt dem Tastsinn der Haut einen wesentlichen Schritt näher.

Wenn ein oder mehrere Objekte die Sensorhülle berühren, ändert sich das Farbmuster im Inneren des Sensors. Die Kamera nimmt mehrmals pro Sekunde Bilder auf und füttert mit diesen Daten ein tiefes neuronales Netz. Dem Algorithmus entgeht nichts: in jedem Pixel erkennt er selbst kleinste Veränderung des Lichts. Innerhalb eines Sekundenbruchteils kann das trainierte Modell herausfinden, wo genau ein Objekt den „Finger“ berührt, wie stark die Kräfte sind und in welche Richtung sie wirken. Das Modell leitet daraus das ab, was Wissenschaftler:innen eine force map nennen: ein dreidimensionales Abbild der Kräfte, die auf den künstlichen Daumen einwirken.

Bildgebung und Deep Learning helfen, den Tastsinn zu verbessern

„Unser Sensor zeigt eine hervorragende Leistung dank des innovativen mechanischen Designs der Hülle, des maßgeschneiderten Bildgebungssystems im Inneren, der automatischen Datenerfassung und dank modernster Deep Learning Methoden“, sagt Georg Martius, Forschungsgruppenleiter am MPI-IS. Dort leitet er die Autonomous Learning Group. Sein Doktorand Huanbo Sun ergänzt: „Unsere einzigartige Hybridstruktur aus einer weichen Schale, die ein steifes Skelett umschließt, sorgt für hohe Empfindlichkeit und Robustheit. Unsere Kamera kann selbst die kleinsten Verformungen der Oberfläche mit einem einzigen Bild erkennen.“ Tatsächlich stellten die Forscher beim Testen des Sensors fest, dass er empfindlich genug ist, um seine eigene Orientierung im Verhältnis zur Schwerkraft zu spüren

„Bisherige weiche haptische Sensoren hatten nur einen kleinen Bereich, in dem sie Dinge erfassen konnten“, sagt Katherine J. Kuchenbecker, Direktorin der Abteilung für Haptische Intelligenz am MPI-IS. „Sie waren empfindlich und schwierig herzustellen und konnten oft keine Kräfte spüren, die parallel zur Haut verlaufen. Das aber ist für einen Roboter, der ein Glas Wasser hält oder auf einem Tisch eine Münze verschiebt, unerlässlich.“

Drei Wochen Daten sammeln, ein Tag Training des Deep Learning Algorithmus

Doch wie kann ein Sensor lernen, was ihn berührt? Huanbo Sun entwarf einen Versuchsaufbau, um Trainingsdaten zu sammeln. Diese Daten benötigt das maschinelle Lernverfahren, um die Korrelation zwischen der Veränderung der Bildpixel und den angewandten Kräften zu verstehen. Ein Stab stupst den Sensor überall auf seiner Oberfläche, der Computer wiederum zeichnet die Krafteinwirkung zusammen mit dem Kamerabild im Inneren des Sensors auf. Auf diese Weise erzeugten die Forscher etwa 200.000 Messungen. Es dauerte fast drei Wochen, um die Daten zu sammeln und einen weiteren Tag, um den Deep Learning Algorithmus zu trainieren. Der Daumen überstand dieses lange Experiment mit vielen verschiedenen Krafteinwirkungen – ein Beleg für die Robustheit des mechanischen Designs von Insight.

Elastomerschicht ist an der empfindlichen Stelle nur 1,2 mm dick

Eine weitere Besonderheit des daumenförmigen Sensors ist, dass es einen Bereich mit einer dünneren Elastomerschicht gibt, die einem Fingernagel nachempfunden ist. Dieses Grübchen ist so konzipiert, dass es selbst kleinste Kräfte und verschiedene Objektformen erkennen kann. Für diese sehr empfindliche Zone wählten die Wissenschaftler:innen eine Elastomerdicke von 1,2 mm statt der 4 mm, die sie ansonsten für den Fingersensor verwendeten.

Sun: „Das Hard- und Softwaredesign lässt sich auf eine Vielzahl von Anwendungsfällen mit unterschiedlichen Formen und Präzisionsanforderungen übertragen. Die Programmierung des Deep-Learning-Algorithmus, die Datenerfassung, das Training und was das System daraus ableitet sind allgemeingültig und können helfen, viele andere Sensoren zu entwickeln.“

Die Forschungsarbeiten stellen die Forschenden des MPI-IS in einem Beitrag im Fachjournal Nature Machine Intelligence vor.

Guter Halt für Greifroboter auf unebenen Oberflächen

Ein Forschungsteam hat Greifroboter nach dem Vorbild von Insekten so optimiert, dass sie sich zügig und sicher auf unebenen Oberflächen fortbewegen können.
Artikel lesen

sk