Contributions to the Interdisciplinary Development and Test of Automated Vehicles : Taxonomies, Test Case Assignment, and Human&Vehicle-in-the-Loop Test Method
The successful introduction of automated vehicles into public road traffic includes ensuring and validating their safe operation and ensuring and validating that passengers feel safe and comfortable during automated rides. The fulfillment of these goals requires interdisciplinary collaboration between different stakeholders (e.g., system designers, programmers, test engineers, decision-makers, the public, regulatory authorities, and vehicle passengers) during the development and test of the vehicles.
In the context of automated vehicles, the Society of Automotive Engineers (SAE) defines different levels of driving automation that are used in this dissertation. For vehicles equipped with SAE level ≤ 2 driving automation systems, statistical and distance-based safety validation approaches are commonly applied to validate the vehicles’ safe operation. However, existing safety validation approaches are not reasonably applicable to vehicles equipped with SAE level ≥ 3 driving automation systems (i.e., according to the SAE J3016 terminology, Automated Driving Systems) due to time and cost constraints. For this reason, innovative approaches are needed to ensure and validate the safe operation of vehicles equipped with Automated Driving Systems, but identifying suitable approaches is challenging. Currently, scenario-based development and test approaches, especially those involving simulation, are being investigated to address this challenge. In these approaches, scenarios are systematically derived and used throughout the vehicle development and test process.
The successful interdisciplinary collaboration between different stakeholders requires establishing consistent and agreed-upon taxonomies – regardless of the system of interest. Concerning vehicles equipped with Automated Driving Systems, this necessity of consistent and agreed-upon taxonomies applies not only to the scenario-based development and test approaches mentioned above but also to various activities in the course of developing and testing such vehicles. These taxonomies are crucial to effectively and efficiently research, apply, and standardize topics relevant to developing and testing these vehicles. They must incorporate relevant terms, their descriptions, and their relationships to ensure a clear and common understanding of the terminology used among stakeholders. In this dissertation, contributions are made to taxonomies in the following three fields relevant to the interdisciplinary development and test of vehicles equipped with Automated Driving Systems: 1) scenario-based development and test approaches for vehicles equipped with Automated Driving Systems, 2) quality in scenario-based development and test approaches for Automated Driving Systems involving simulation, and 3) classifying X-in-the-loop test benches related to human factors research on vehicles equipped with Automated Driving Systems.
In addition to consistent and agreed-upon taxonomies, interdisciplinary collaboration between different stakeholders requires methods that support an explicit representation of implicit expert knowledge. Applying the scenario-based development and test approaches mentioned above yields a large number of test cases that must be executed in sufficiently valid manners. The sufficiently valid execution of test cases requires interdisciplinary collaboration between different stakeholders (e.g., scenario creators, test case creators, simulation model developers, tool manufacturers, and test engineers) that have implicit knowledge about their tasks. Several test benches, ranging from partially or fully simulated environments to actual test vehicles, are available to execute test cases. However, selecting the most suitable test bench and its configuration (i.e., test bench configuration) for each test case is challenging. The selected test bench configuration is a key aspect in determining whether the execution of a specific test case will provide sufficiently valid test case results with respect to its intended purpose, for example, contributing to the validation of the safe operation of an Automated Driving System. Therefore, to effectively and efficiently execute a large number of test cases, a method for assigning each test case to the most suitable test bench configuration is necessary. In this dissertation, such a test case assignment method is proposed. This method contributes to the interdisciplinary development and test of vehicles equipped with Automated Driving Systems by identifying and describing the process steps and artifacts that have to be performed and created by different stakeholders necessary to systematically and automatically assign test cases to the most suitable test bench configuration.
In addition to ensuring and validating the safe operation of vehicles equipped with Automated Driving Systems, successfully introducing them into public road traffic requires ensuring and validating that the passengers of these vehicles feel safe and comfortable during automated rides. Therefore, interdisciplinary collaboration between different stakeholders, for example, developers and passengers, is crucial for human factors research in developing these vehicles. One form of collaboration is to conduct studies with test persons representing future passengers during vehicle development. These studies can be used to investigate the needs of passengers to consider their needs during vehicle development. Furthermore, these studies can be used to validate that the passengers feel both safe and comfortable during automated rides. They can be conducted at different points in time during the vehicle development and test process using different scenarios and a wide variety of different types of test benches, for example, driving simulators and test vehicles. Each test bench has its advantages, disadvantages, and challenges. The human&vehicle-in-the-loop test method combines the advantages of driving simulators and test vehicles, making it a valuable test method. Despite its advantages, this test method is not widely known, even in the scientific community, and it is rarely used. Unfortunately, important publications about it are available only in German (including those we consider to be the most important), which limits the accessibility of valuable research and development resources for the international research and development community. Therefore, in this dissertation, the basic concept of this test method and a test vehicle implementing this test method that is equipped with a driving automation system are described. Moreover, a case study consisting of five empirical studies is presented. This case study includes one online video study, two driving simulator studies, and two human&vehicle-in-the-loop studies. In this case study, the driving behaviors of vehicles equipped with Automated Driving Systems that passengers of these vehicles prefer are investigated with test persons (in terms of the risk and comfort the passengers perceive during automated rides). The investigations include several variations of two typical space-sharing conflict scenarios in urban mixed traffic and three different types of test benches. The results obtained using these three different types of test benches are compared, and in-depth statistical analyses and psychological interpretations of the study results are presented. The description of the test method and the test vehicle, as well as the presentation of this case study, contribute to the interdisciplinary development and test of vehicles equipped with Automated Driving Systems.
In summary, in this dissertation, contributions are made to the interdisciplinary development and test of vehicles equipped with Automated Driving Systems by 1) contributing to relevant taxonomies, 2) proposing a method to assign test cases to the most suitable test bench configuration, where the included process steps and artifacts make implicit expert knowledge explicitly available, and 3) presenting the human&vehicle-in-the-loop test method, a test vehicle implementing this test method that is equipped with a driving automation system, and its use in a case study to investigate passenger needs.
Die erfolgreiche Einführung von automatisierten Fahrzeugen im öffentlichen Straßenverkehr beinhaltet die Gewährleistung und Validierung ihres sicheren Betriebs und die Gewährleistung und Validierung, dass sich die Passagiere bei automatisierten Fahrten sicher und wohl fühlen. Die Erfüllung dieser Ziele erfordert eine interdisziplinäre Zusammenarbeit zwischen verschiedenen Stakeholdern (z. B. Systemdesignern, Programmierern, Testingenieuren, Entscheidungsträgern, der Öffentlichkeit, Regulierungsbehörden und Fahrgästen) während der Entwicklung und Erprobung dieser Fahrzeuge. Im Kontext automatisierter Fahrzeuge definiert die Society of Automotive Engineers (SAE) verschiedene Level der Fahrautomatisierung, die in dieser Dissertation verwendet werden. Für Fahrzeuge, die mit einem automatisierten Fahrsystem gemäß SAE-Level ≤ 2 ausgestattet sind, werden üblicherweise statistische und distanzbasierte Sicherheitsvalidierungsansätze angewendet, um den sicheren Betrieb dieser Fahrzeuge zu validieren. Bestehende Ansätze zur Sicherheitsvalidierung sind jedoch aus Zeit- und Kostengründen nicht sinnvoll auf Fahrzeuge anwendbar, die mit einem automatisierten Fahrsystem gemäß SAE-Level ≥ 3 ausgestattet sind. Deshalb sind innovative Ansätze erforderlich, um den sicheren Betrieb dieser Fahrzeuge zu gewährleisten und zu validieren. Die Erforschung geeigneter Ansätze ist jedoch eine Herausforderung. Um dieser Herausforderung zu begegnen, werden derzeit szenarienbasierte Entwicklungs- und Testansätze, insbesondere solche, die Simulationen beinhalten, untersucht. Bei diesen Ansätzen werden Szenarien systematisch während des Entwicklungs- und Testprozesses der Fahrzeuge abgeleitet und eingesetzt. Die erfolgreiche interdisziplinäre Zusammenarbeit zwischen verschiedenen Stakeholdern erfordert die Etablierung konsistenter und abgestimmter Taxonomien – unabhängig von dem jeweiligen System, das von Interesse ist. In Bezug auf Fahrzeuge mit automatisierten Fahrsystemen gilt diese Notwendigkeit konsistenter und abgestimmter Taxonomien nicht nur für die oben erwähnten szenarienbasierten Entwicklungs- und Testansätze, sondern auch für verschiedene Aktivitäten im Zuge der Entwicklung und Erprobung solcher Fahrzeuge. Diese Taxonomien sind entscheidend für die effektive und effiziente Erforschung, Anwendung und Standardisierung von Themen, die für die Entwicklung und Erprobung dieser Fahrzeuge relevant sind. Sie müssen relevante Begriffe, ihre Beschreibungen und ihre Beziehungen enthalten, um ein klares und gemeinsames Verständnis der verwendeten Terminologie unter den Stakeholdern sicherzustellen. In dieser Dissertation werden Beiträge zu Taxonomien in den nachfolgend genannten drei Bereichen geleistet, die für die interdisziplinäre Entwicklung und Erprobung von Fahrzeugen mit automatisierten Fahrsystemen relevant sind: 1) szenarienbasierte Entwicklungs- und Testansätze für Fahrzeuge mit automatisierten Fahrsystemen, 2) Qualität von szenarienbasierten Entwicklungs- und Testansätzen für automatisierte Fahrsysteme unter Einbeziehung von Simulationen und 3) Klassifizierung von X-in-the-Loop-Prüfständen im Zusammenhang mit der Human Factors-Forschung für Fahrzeuge mit automatisierten Fahrsystemen. Neben konsistenten und abgestimmten Taxonomien erfordert die interdisziplinäre Zusammenarbeit zwischen verschiedenen Stakeholdern Methoden, die eine explizite Darstellung von implizitem Expertenwissen unterstützen. Die Anwendung der oben erwähnten szenarienbasierten Entwicklungs- und Testansätze führt zu einer großen Anzahl von Testfällen, die jeweils in ausreichend valider Weise durchgeführt werden müssen. Die ausreichend valide Durchführung von Testfällen erfordert eine interdisziplinäre Zusammenarbeit zwischen verschiedenen Beteiligten (z. B. Szenarienerstellern, Testfallerstellern, Simulationsmodellentwicklern, Werkzeugherstellern und Testingenieuren), die über implizites Wissen über ihre Aufgaben verfügen. Für die Durchführung von Testfällen stehen verschiedene Arten von Prüfständen zur Verfügung, die von teilweise oder vollständig simulierten Umgebungen bis hin zu echten Testfahrzeugen reichen. Es ist jedoch eine Herausforderung, für jeden Testfall den am besten geeigneten Prüfstand und seine Konfiguration (d. h. die Prüfstandskonfiguration) auszuwählen. Die gewählte Prüfstandskonfiguration entscheidet darüber, ob die Durchführung eines bestimmten Testfalls ausreichend valide Ergebnisse im Hinblick auf den beabsichtigten Zweck liefert, z. B. einen Beitrag zur Validierung des sicheren Betriebs eines automatisierten Fahrsystems zu leisten. Um eine große Anzahl von Testfällen effektiv und effizient durchführen zu können, ist eine Methode zur systematischen und automatischen Zuordnung jedes Testfalls zu der am besten geeigneten Prüfstandskonfiguration erforderlich. In dieser Dissertation wird eine solche Testfallzuordnungsmethode vorgeschlagen. DieseMethode trägt zur interdisziplinären Entwicklung und Erprobung von Fahrzeugen mit automatisierten Fahrsystemen bei, indem sie die Prozessschritte und Artefakte identifiziert und beschreibt, die von verschiedenen Beteiligten durchgeführt und erstellt werden müssen, um Testfälle systematisch und automatisch der am besten geeigneten Prüfstandskonfiguration zuzuordnen. Neben der Gewährleistung und Validierung des sicheren Betriebs von Fahrzeugen, die mit automatisierten Fahrsystemen ausgestattet sind, muss für deren erfolgreiche Einführung in den öffentlichen Straßenverkehr sichergestellt und validiert werden, dass sich die Fahrgäste dieser Fahrzeuge während der automatisierten Fahrten sicher und wohl fühlen. Daher ist eine interdisziplinäre Zusammenarbeit zwischen verschiedenen Stakeholdern, z. B. Entwicklern und Fahrgästen, für die Human Factors-Forschung bei der Entwicklung dieser Fahrzeuge von entscheidender Bedeutung. Eine Form der Zusammenarbeit während der Fahrzeugentwicklung ist die Durchführung von Studien mit Probanden, die zukünftige Fahrgäste repräsentieren. Diese Studien können genutzt werden, um die Bedürfnisse der Fahrgäste zu untersuchen, sodass deren Bedürfnisse bei der Fahrzeugentwicklung berücksichtigt werden können. Weiterhin können diese Studien genutzt werden, um zu validieren, dass sich die Fahrgäste während der automatisierten Fahrt sicher und wohl fühlen. Diese Studien können zu verschiedenen Zeitpunkten während des Entwicklungs- und Testprozesses der Fahrzeuge unter Verwendung unterschiedlicher Szenarien und einer Vielzahl unterschiedlicher Arten von Prüfständen, wie beispielsweise Fahrsimulatoren und Testfahrzeuge, durchgeführt werden. Dabei hat jeder Prüfstand seine eigenen Vorteile, Nachteile und Herausforderungen. Die Human&Vehicle-in-the-Loop-Testmethode kombiniert die Vorteile von Fahrsimulatoren und Testfahrzeugen, was sie zu einer wertvollen Testmethode macht. Trotz seiner Vorteile ist diese Testmethode selbst in der wissenschaftlichen Gemeinschaft nicht sehr bekannt und wird nur selten eingesetzt. Darüber hinaus sind wichtige Veröffentlichungen dazu nur in deutscher Sprache verfügbar (einschließlich derer, die wir für die wichtigsten halten), was die Zugänglichkeit wertvoller Forschungs- und Entwicklungsressourcen für die internationale Forschungs- und Entwicklungsgemeinschaft einschränkt. Daher werden in dieser Dissertation, die in englischer Sprache verfasst ist, das Grundkonzept dieser Testmethode und ein mit einem automatisierten Fahrsystem ausgestattetes Testfahrzeug, das diese Testmethode umsetzt, beschrieben. Darüber hinaus wird eine Fallstudie vorgestellt, die aus fünf empirischen Studien besteht. Diese Fallstudie beinhaltet eine Online-Videostudie, zwei Fahrsimulatorstudien und zwei Human&Vehicle-in-the-Loop-Studien. In dieser Fallstudie wird das Fahrverhalten von Fahrzeugen, die mit automatisierten Fahrsystemen ausgestattet sind, untersucht, das von den Passagieren dieser Fahrzeuge bevorzugt wird (in Bezug auf das Risiko, das die Passagiere bei automatisierten Fahrten wahrnehmen, und den von ihnen wahrgenommenen Komfort). Die Untersuchungen umfassen drei verschiedene Arten von Prüfständen und mehrere Variationen von zwei typischen Szenarien im städtischenMischverkehr, bei denen es bei der gemeinsamen Nutzung des Verkehrsraums durch mehrere Verkehrsteilnehmer zu Konflikten kommt (engl. space-sharing conflict scenarios). Die Ergebnisse, die mit diesen drei verschiedenen Prüfstandsarten erzielt wurden, werden verglichen, und es werden eingehende statistische Analysen und psychologische Interpretationen der Studienergebnisse vorgestellt. Die Beschreibung dieser Testmethode, dieses Testfahrzeugs und dieser Fallstudie leisten einen Beitrag zur interdisziplinären Entwicklung und Erprobung von Fahrzeugen, die mit automatisierten Fahrsystemen ausgestattet sind. Zusammenfassend wird in dieser Dissertation ein Beitrag zur interdisziplinären Entwicklung und Erprobung von Fahrzeugen mit automatisierten Fahrsystemen geleistet, indem 1) ein Beitrag zu relevanten Taxonomien geleistet wird, 2) eineMethode vorgeschlagen wird, um Testfälle der am besten geeigneten Prüfstandskonfiguration zuzuordnen, wobei die enthaltenen Schritte und Artefakte implizites Expertenwissen explizit verfügbar machen, und 3) die Human&Vehicle-in-the-Loop-Testmethode beschrieben wird, ein mit einem automatisierten Fahrsystem ausgestattetes Testfahrzeug vorgestellt wird, das diese Testmethode umsetzt, sowie der Einsatz dieses Testfahrzeugs in einer Fallstudie zur Untersuchung von Fahrgastbedürfnissen demonstriert wird.
Preview
Rights
Use and reproduction:
License Holder: Lizenz gilt nicht für die abgedruckten Artikel
Access Statistic
