VAIVA GmbH - Safe Mobility

Zurück

Sicherheit im Autonomen Fahren kurz und bündig erklärt (A-Z) – Heute mit „B“ wie „Behavior Prediction“

Nina Mederer,

Von: Ole Harms

Ich werde regelmäßig kurze Einblicke in sicherheitsrelevante Themen zu geben, die wichtig sind, wenn man Autonomes Fahren auf die Straße bringen möchte. Transparenz ist hier sehr wichtig. Daher möchte ein wenig dazu beitragen, indem ich komplexe Themen kurz und leicht verständlich aufbereite.

Ich werde versuchen, möglichst viele Buchstaben des Alphabetes abzudecken, allerdings nicht zwangsläufig in alphabetischer Reihenfolge. Nachdem ich mit „A“ wie „ASIL“ in diese Serie gestartet bin, möchte ich heute mit „B“ wie „Behavior Prediction“ (Verhaltensprognose) weitermachen.

Vereinfacht gesagt, bestehen die Hauptkomponenten eines Autonomes Fahrsystems aus:

  1. Wahrnehmung und Einschätzung – das Erkennen von sich bewegenden und statischen Objekten,
  2. Situationsinterpretation inkl. der „Behavior Prediction“ von sich bewegenden Objekten,
  3. Trajektorien-/ Pfadplanung – also das Ermitteln des sogenannten „driving plan“ – des Fahraktions­plans – und schließlich der
  4. Ausführung des Fahraktionsplans (dies beinhaltet das Auslösen von Aktuatoren und Sicherheitssys­temen)

Die Vorhersage des Verhaltens anderer Verkehrsteilnehmenden ist dabei natürlich ein Kernelement, um sichere Entscheidungen zu ermöglichen. Durch diese Prognose werden Entscheidungen getroffen, die den Fahraktionsplan festlegen, der dann wiederum bestimmte Aktionen wie beispielsweise das Bremsen, ein Ausweichmanöver, die Definition einer optimierten Trajektorie, etc. auslöst.

Unter den ExpertInnen ist man sich einig, dass eine genaue Verhaltensprognose eine der schwierigsten Herausforderungen beim Autonomen Fahren darstellt.

Verhaltensvorhersage ist sehr komplex, da sehr viele Variablen berücksichtigt werden müssen, um ein möglichst präzises Ergebnis zu erreichen, z.B.:

  • Sichtbare statische und sich bewegende (dynamische) Objekte
  • Nicht sichtbare statische und sich nicht bewegende Objekte
  • Straßengeometrie
  • Reduzierte Sensorfähigkeiten, z. B. bei starkem Regen, oder
  • Verkehrsregeln

Man muss sich dafür nur vorstellen, wie unterschiedlich das Verhalten von Fahrzeugen aussehen würde, wenn diese über dieselbe Kreuzung fahren, welche einmal mit und einmal ohne Vorfahrtsschild ausgestattet ist.

Darüber hinaus ist es auch schnell einleuchtend, dass sich die Verhaltensvorhersage nicht immer auf eine „ungehinderte Sicht“ verlassen kann, da autonome Fahrzeuge die Umgebung mit ihren Sensoren nur teilweise wahrnehmen können, z. B. aufgrund von Objektverdeckung, begrenzter Sensorreichweite, geringer Sensorleistung oder dem sogenannten Sensorrauschen (zufällige Variationen in der Sensorleistung). Die mobilfunkbasierte V2X-Kommunikation („Vehicle-to-everything“) wird in Zukunft sicherlich eine wichtige Rolle spielen, um die Manöverplanung von Fahrzeugen in der Nähe zu verstehen und um „virtuell um die Ecke zu schauen“, da sie die Fahrzeuge sowohl direkt miteinander als auch mit der Infrastruktur und weiteren Verkehrsteilnehmenden verbindet. Diese V2X-Kommunikation wird allerdings nicht überall verfügbar sein.

Eine weitere Einschränkung ist die begrenzte Rechenleistung im Fahrzeug – hauptsächlich aus Kostengründen. Hier sind intelligente Lösungen gefragt, um Rechenressourcen auf verschiedene Funktionen zu verteilen bzw. verschiedene Berechnungen mehreren Funktionen zur Verfügung zu stellen.

Alle oben genannten Herausforderungen implizieren, dass an dieser Stelle neben regelbasierten Systemen auch Deep Learning/ Machine Learning unumgänglich ist. Bevor ich kurz darauf eingehe, möchte ich in Bild 1 ein generisches (und vereinfachtes) Vorhersageszenario vorstellen, um den notwendigen Kontext bereitzustellen. 

Bild 1: (Vereinfachtes) Vorhersageszenario

Hier möchte das „Ego-Fahrzeug“ das Verhalten eines dedizierten „Zielfahrzeugs (Target Vehicle)“ vorherzusagen. „Umgebende Fahrzeuge (Surrounding Vehicles)“ sind so nah am „Zielfahrzeug“, dass ihr Verhalten das Verhalten des „Zielfahrzeugs“ direkt beeinflusst. „Nicht relevante Fahrzeuge (Not relevant Vehicles)“ werden bei der Vorhersage ausgeklammert, da davon ausgegangen wird, dass sie das Verhalten des „Zielfahrzeugs“ nicht beeinflussen. In diesem Zusammenhang sollte man erwähnen, dass es verschiedene Ansätze gibt, wie „nicht relevante Fahrzeuge“ (auch Objektauswahl genannt) klassifiziert werden können, z. B., indem man eine maximale Anzahl von Fahrzeugen, ihre Entfernung oder die Spurposition betrachtet. 

Da dieser Artikel lediglich einen zusammenfassenden Überblick über das Thema geben soll, würde es viel zu weit gehen, hier detailliert auf die verschiedenen Deep-Learning-Ansätze/ -Module/ -Kombinationen einzugehen. Ich werde aber dennoch versuchen, das Grundkonzept so kurz und einfach wie möglich zu erklären.

Ein guter Ausgangspunkt sind dabei die aktuellen und vorherigen Zustände (z.B. physikbasiert: Positionen, Beschleunigung, Geschwindigkeit, Verzögerung) sowohl des „Zielfahrzeugs“ als auch des „Umgebenden Fahrzeugs“. Da man aber davon ausgehen kann, dass nicht alle „Umgebende Fahrzeuge“ in all ihren Zuständen direkt wahrgenommen werden können und damit nur ein sehr kurzer Zeitrahmen vorhergesagt werden kann, sind diese Zustände immer nur ein Teil des Vorhersagemodells. Es müssen zusätzliche Daten mitberücksichtigt werden. Darunter beispielsweise aus einem umfassenden neuronalen Netzwerk (z.B. mit einer vereinfachten „Vogelperspektive“, also einer 3D-basierten Darstellung der Umgebung) und aus dem Input von weiteren Sensoren, die alle verfügbaren Daten der Umgebung liefern. Dadurch könnten z.B. Effekte aus Manövern oder Interaktionen zwischen Fahrzeugen berücksichtigt werden.

Um einen kurzen Einblick zu geben, was ein „tiefes neuronales Netz (deep neural network)“ ist: Das menschliche Gehirn diente im Grunde als Inspiration für die Schaffung eines neuronalen Netzes. Machine-Learning-Algorithmen, die von EntwicklerInnen mit dem Ziel entwickelt wurden, Muster zu erkennen, legen den Grundstein dafür. Ein neuronales Netz wird als „tief“ bezeichnet, wenn es nicht nur nach den definierten Algorithmen arbeitet, sondern auch in der Lage ist, Schlussfolgerungen und Entscheidungen auf der Grundlage seiner bisherigen Erfahrungen zu treffen. Es besteht aus Knoten, die den Neuronen des menschlichen Gehirns ähneln, welche in viele verschiedene Schichten („Layer“) gruppiert sind. Jede Schicht der Verknüpfungspunkte/ Knoten lernt auf Basis einer ganz bestimmten Zusammensetzung von Eigenschaften, die auf dem Output der vorherigen Schicht basiert. Ein umfassendes neuronales Netz lernt, wie es seine Klassifizierungsaufgaben lösen kann, z. B. aus Bilddaten, akustischen Daten oder Texten.

Die Ergebnisse dieser komplexen Berechnung sind dann im Wesentlichen – und wieder sehr vereinfacht gesagt – die Manöverabsicht des „Zielfahrzeugs“ und die sogenannte Trajektorienvorhersage, die das wahrscheinliche zukünftige Verhalten des Fahrzeugs beschreibt. Dazu wird eine Reihe zukünftiger Standorte des „Zielfahrzeugs“ über ein bestimmtes Zeitfenster vorhergesagt. Bild 2 versucht, das grundlegende Konzept zu visualisieren. In der Realität würde die Verhaltensvorhersage natürlich alle sicherheitsrelevanten Verkehrsteilnehmenden berücksichtigen, insbesondere die ungeschützten Perso­nen­gruppen.

Bild 2: (Vereinfachtes) Ergebnis der Verhaltensvorhersage

Basierend auf den Vorhersageergebnissen wird dann der Fahraktions-/ Trajektorienplan für das „Ego-Fahrzeug“ erstellt. Das ist dann allerdings wieder ein komplexes Thema für sich (z. B. die Bestimmung des maximalen Zeitraums, in dem ein Fahrzeug einer Trajektorie sicher und ohne Notfallmanöver folgen kann) und könnte daher durchaus in einem der nächsten Artikel aus der Reihe „Safety Explained“ betrachtet werden.

Ich hoffe, ich konnte vermitteln, dass die korrekte Vorhersage der zukünftigen Aktionen aller (dynamischen) VerkehrsteilnehmerInnen nicht nur die notwendige Voraussetzung dafür ist, dass autonom fahrende Autos die richtigen Manöver zur richtigen Zeit ausführen. Sondern auch, dass es sicherlich eine der schwierigsten Herausforderungen ist, die es zu lösen gilt, um die Sicherheit in selbstfahrenden Autos zu gewährleisten. Dies wird uns bei VAIVA sowie alle anderen, die in diesem Umfeld tätig sind, in den nächsten Jahren beschäftigen.    

Aus diesem Grund haben bereits einige AD-Unternehmen (z. B. Waymo, Argo) in letzter Zeit Datensätze mit Hunderttausenden von Fahrzeugtrajektorien und bestimmten Interaktionen von Verkehrs­teilnehmenden (z. B. Radfahrer, Fußgänger) veröffentlicht. Diese sind das Ergebnis aus Tausenden von gefahrenen Kilometern und Stunden auf vielen unterschiedlichen Straßen. Ziel ist es, die Forschung in diesem Bereich zu beschleunigen sowie Modelle zu entwickeln und zu trainieren, die diese komplexen Verhaltensweisen erfassen können.