Einsatzindividuelles, intelligentes Energiemanagement im hybriden Nutzfahrzeug
Hybridfahrzeuge können insbesondere im Schwerlastverkehr dazu beitragen, die seitens der EU vorgegebenen Ziele zur CO2-Flottenreduktion zu erreichen. Aufgrund des Kompromisses zwischen Emissionsreduktion bei weiterhin hoher Reichweite ist eine große Kundenakzeptanz solcher Fahrzeuge zu erwarten. Um das Potential der Hybridantriebe möglichst weit ausnutzen zu können, sind geeignete, intelligente Energiemanagementstrategien erforderlich. Heute werden hierfür meist regelbasierte oder lokal optimierende Verfahren verwendet. In der Wissenschaft gibt es jedoch auch erste Ansätze, die auf Maschinellen Lernverfahren beruhen. Solche Lernverfahren zeigen in anderen Anwendungen bereits hervorragende Ergebnisse, sodass ihr Potential auch für das Energiemanagement im Hybridfahrzeug untersucht werden sollte. Neben der Wahl des Algorithmus und seiner Parametrierung haben die verwendeten Trainingsdaten einen wesentlichen Einfluss auf die erlernten Strategien. In den bisher veröffentlichten Ansätzen werden einzelne aufgezeichnete Messfahrten, deren Repräsentativität zu hinterfragen ist, oder standardisierte Fahrprofile verwendet, die wiederum sehr allgemein gehalten sind und vom tatsächlichen Fahrzeugeinsatz abweichen können. Methoden zur Erzeugung einsatzindividueller, synthetischer Fahrprofile sind vorhanden, wurden bisher aber nicht als Trainingsdaten verwendet. In der vorliegenden Arbeit wird deshalb untersucht, ob einsatzindividuelle, synthetische Fahrprofile in Simulationsmodellen für das Training solcher Maschineller Lernverfahren zum Energiemanagement geeignet sind und welche Vorteile sich gegenüber einem Training mit standardisierten Profilen ergeben. Als Beispielanwendung wird ein hybrider Kühlsattelzug betrachtet, der aus einer konventionellen Zugmaschine und einem elektrifizierten Kühlsattelauflieger besteht. Es werden zwei Varianten hinsichtlich der vorhandenen Ladeinfrastruktur betrachtet. Aus einer Literaturrecherche heraus wird der TD3-Algorithmus als Lernverfahren gewählt. Für die Erzeugung der einsatzindividuellen synthetischen Fahrprofile aus einer vorliegenden Messdatenbasis wird eine bestehende Methode adaptiert. Das Training erfolgt einerseits mit den einsatzindividuellen und andererseits mit standardisierten Profilen. Als weitere Varianten werden mittels der Dynamischen Programmierung global optimierte Lösungen sowie daraus abgeleitete regelbasierte Steuerstrategien betrachtet. Außerdem wird zur Abschätzung des Kraftstoffeinsparpotentials ein konventionelles Fahrzeug simuliert. Die verschiedenen Steuerstrategien werden hinsichtlich ihres Gesamtkraftstoffverbrauchs und der Betriebskosten verglichen. Es zeigt sich, dass die einsatzindividuell trainierten Reinforcement Learning-Agenten zum Energiemanagement sowohl hinsichtlich des Kraftstoffverbrauchs wie auch der Betriebskosten deutlich bessere Ergebnisse liefern als die standardisiert trainierten. Von der optimierten Lösung weichen die einsatzindividuellen Agenten um etwa 2 % ab. Gegenüber der konventionellen Fahrt können ohne Ladeinfrastruktur etwa 6 % Kraftstoff eingespart werden, mit Infrastruktur durchschnittlich 13 %. Die regelbasierten Strategien liefern noch bessere Ergebnisse, sie sind jedoch schlechter auf andere Streckenlängen und elektrische Systeme übertragbar.
Hybrid vehicles can contribute to achieve the EU's CO2 fleet reduction targets, especially in heavy-duty transport. Due to the trade-off between emission reduction and maintaining a high range, a high level of customer acceptance is to be expected. In order to exploit the potential of hybrid drives as much as possible, suitable, intelligent energy management strategies are required. Today, rule-based or locally optimising methods are mostly used for this purpose. In science, however, there are also initial approaches based on machine learning methods. Such learning methods already show excellent results in other applications, so that their potential should also be investigated for energy management in hybrid vehicles. In addition to the choice of algorithm and its parameterisation, the training data used has a significant influence on the strategies learned. In the approaches published so far, individual recorded test drives, the representativeness of which must be questioned, or standardised driving profiles are used, which in turn are very general and can deviate from actual vehicle use. Methods for generating mission-specific, synthetic driving profiles are available, but have not yet been used as training data. This thesis therefore investigates whether mission-specific, synthetic driving profiles in simulation models are suitable for training such machine learning methods for energy management and which advantages arise compared to training with standardised profiles. As example application, a hybrid refrigerated truck-trailer combination consisting of a conventional truck and an electrified refrigerated semitrailer is considered. Two variants are examined with regard to the existing charging infrastructure. Based on a literature research, the TD3 algorithm is chosen as the learning method. An existing method is adapted for the generation of individual synthetic driving profiles from an available measurement database. The training is carried out on the one hand with the individual profiles and on the other hand with standardised profiles. As further variants, by dynamic programming globally optimised solutions and rule-based control strategies derived from them are considered. In addition, a conventional vehicle is simulated to estimate the fuel saving potential. The different control strategies are compared with regard to their overall fuel consumption and operating costs. It can be seen that the mission-specific trained reinforcement learning agents for energy management deliver significantly better results than the standardised trained ones, both in terms of fuel consumption and operating costs. The mission-specific agents deviate from the optimised solution by about 2 %. Compared to conventional driving, fuel savings of about 6 % can be achieved without charging infrastructure, and an average of 13 % with infrastructure. The rule-based strategies deliver even better results, but they are less transferable to other route lengths and electric systems.