Efficient Real-Time Communication and Processing of Large Data Objects in Autonomous Systems
Advanced environment perception along a so-called perception pipeline is the key driver for the development of autonomous systems, such as UAVs, industrial co-working robots, and vehicles. While much attention has been given to the functions that process the perception data, little effort has been directed toward ensuring the end-to-end timing behavior of a perception pipeline. This applies particularly to communication, where the large size of perception data samples poses significant challenges. Here, the simultaneous access of several perception data samples to shared network resources causes interference that delays their communication and, therefore, poses significant risks to the system’s operation. While a high throughput of information is required for accurate environment perception, current mechanisms can not efficiently resolve interference conflicts. Thus, such mechanisms do not meet the short latency requirements of perception-related communication required for safe system operation.
This thesis starts with the identification of problems related to perception data communication. At first, it demonstrates that the single-frame perspective within a network cannot resolve interference between multi-frame perception data samples. Based on an important automotive use case, the thesis proposes a solution that places frame communication control outside the network infrastructure, specifically at its direct entry. As a result, arbitration strategies have access to application-level knowledge. Then, a synchronized communication is proposed for wired in-vehicle networks that arbitrates sample-related frame bursts in a hyperperiod. This method resolves interference even at high network utilization. Wireless ad-hoc networks add the challenge of recovering frame losses before their deadline, while a centralized arbitration control entity is often unavailable. For this, protocol mechanisms are developed that exploit the extended application deadline of perception data samples to implement a resource-efficient schedule of frame retransmissions. In addition to the communication, the thesis investigates the processing of sensor data in a CNN object detection to find solutions for perception data processing that excludes critical timing outliers. Overall, this thesis comprehensively elaborates the problems and proposes solutions for especially the communication but also the processing of large perception data samples along real-time critical autonomous system’s perception pipelines.
Eine leistungsfähige Umgebungswahrnehmung entlang einer Wahrnehmungspipeline ist der entscheidende Faktor bei der Entwicklung autonomer Systeme wie Drohnen, Industrieroboter und Fahrzeugen. Während der Verarbeitung von Wahrnehmungsdaten und ihrer Ausführung auf Hochleistungshardware viel Aufmerksamkeit gewidmet wurde, hat es kaum Bemühungen gegeben das Ende-zu-Ende Zeitverhalten der Pipeline zu gewährleisten. Dies gilt insbesondere für die Kommunikation, bei der die Größe der Wahrnehmungsdaten eine wesentliche Herausforderung darstellt. Hier verursacht die gleichzeitige Kommunikation mehrerer großer Wahrnehmungsdaten über gemeinsame Netzwerkressourcen Interferenz, die deren Kommunikationszeiten verlängert und somit erhebliche Risiken für den Betrieb des Systems darstellt. Während ein hoher Informationsdurchsatz für eine präzise Umgebungswahrnehmung notwendig ist, können aktuelle Verfahren Interferenzkonflikte nicht effizient auflösen. Somit erreichen sie nicht die für einen sicheren Systembetrieb erforderlichen kurzen Latenzzeiten bei der Kommunikation großer Wahrnehmungsdaten.
Diese Arbeit beginnt mit der Identifizierung von Problemen im Zusammenhang mit der Kommunikation von Wahrnehmungsdaten. Zunächst wird gezeigt, dass die exklusive Frameperspektive innerhalb eines Netzwerks nicht in der Lage ist Interferenzen zwischen multi-Frame Wahrnehmungsdaten aufzulösen. Ausgehend von einem wichtigen Anwendungsfall in der Automobilindustrie schlägt diese Arbeit eine Lösung vor, bei der die Steuerung der Framekommunikation außerhalb der Netzinfrastruktur, nämlich an deren direktem Eingang, erfolgt. Auf diese Weise haben die Arbitrierungsstrategien Zugang zu Anwendungswissen. Darauf aufbauend wird für kabelgebundene Fahrzeugnetze eine synchrone Kommunikation vorgeschlagen, die Framebündel in der Hyperperiode arbitriert. Diese Methode löst Interferenzen auch bei hoher Netzwerkauslastung auf. Bei drahtlosen Ad-hoc-Netzwerken kommt die Herausforderung hinzu, dass fehlerhaft übertragene Frames rechtzeitig vor ihrer Deadline reübertragen werden müssen und dafür oft keine zentralisierte Arbitrierungseinheit vorhanden ist. Dafür werden Protokollmechanismen entwickelt, die die verlängerte Latenzanforderung von ganzen Wahrnehmungsdatenobjekten ausnutzen, um ein ressourceneffizientes Schedule für die Reübertraung von Frames zu implementieren. Neben der Kommunikation wird in dieser Arbeit auch die Verarbeitung von Sensordaten in einer CNN-Objekterkennung untersucht, um Lösungen für eine Verarbeitung von Wahrnehumngsdaten ohne zeitliche Ausreißer zu finden. Insgesamt werden in dieser Arbeit die Probleme und Lösungsvorschläge insbesondere für die Kommunikation, aber auch für die Verarbeitung großer Wahrnehmungsdatenobjekte, entlang der Wahrnehmungspipelines von echtzeitkritischen autonomen Systemen umfassend dargestellt und erarbeitet.
Preview
Cite
Access Statistic
Rights
License Holder: Die Lizenz gilt nur für den kumulativen Teil der Dissertation, die verwendeten Artikel behalten ihre spezifischen Rechte.
Use and reproduction:
