Performance Optimization and Architecture Design of Edge Computing Network Systems
The emergence of new cloud based applications and the increment on the number of IoT devices generated a continuous increment in Internet traffic over the last decade which led network operators to softwarize their infrastructure seeking for minimization of capital and operational expenditures and pushed cloud providers to adopt new distributed computing models to deal with performance, scalability and reliability issues. Computing at the network edge is emerging as a common ground solution to offering realtime services while dealing with critical aspects such as scalability, reliability and privacy. In this context, this thesis presents three major original contributions: i) placement optimization of virtual network functions (VNFs), ii) performance evaluation of edge computing systems, and, (iii) embedding open source tools, methods and practices in edge and cloud computing networks.
Regarding i), the thesis presents the first of the kind solution for load balancing SDN based data center networks by making use of OpenFlow switches to detect long flows and forward them using Random Packet Spraying; whereas the short flows are forwarded using ECMP by default. On the network function virtualization (NFV) context, this thesis presents a multipath MILP-based model which incorporates novel constraints for enabling VNF replications. The model evaluates how VNF replications can optimize link and server utilization in mobile core and datacenter networks. This thesis also studies how the number of required VNF migrations and replications can be minimized by making use of network traffic forecasting.
Regarding ii), the thesis presents edge computing solutions for serving latency-sensitive applications while also reducing communication. We present a set of architectural designs, while discussing aspects related to open standards communication protocols. To study the applicability of the edge computing systems, a series of novel application use cases in the area of animal welfare in smart farming are also analyzed. Performance evaluation is carried out by benchmarking a set of container-based edge computing systems.
Regarding iii), the thesis shows how to put in practice open source tools and methods by presenting a set of tools implemented during this thesis. First, a network optimizer framework is presented which includes a series of optimization models targeting the VNF placement problem. Second, a service management system for edge networks is presented, which includes a QoS provider mechanism as integral component. Third, an open source testbed implementation to benchmark serverless functions on edge computing networks is released as the first of its type. Finally, we share the methods and lessons learnt on putting a real world laboratory setting covering IoT, edge and cloud. We highlight the main objectives and discuss about the open source aspects and reproducibility to foster innovation, share knowledge and engineer networked systems for every day use.
Das Aufkommen neuer Cloud-basierter Anwendungen und die steigende Zahl von IoT-Geräten haben in den letzten zehn Jahren zu einem kontinuierlichen Anstieg des Internetverkehrs geführt. Dies veranlasste die Netzbetreiber, ihre Infrastruktur zunehmend in Software umzusetzen, um die Investitions- und Betriebskosten zu minimieren, und drängte die Cloud-Anbieter, neue Modelle für verteiltes Computing einzuführen, um Probleme der Leistung, Skalierbarkeit und Zuverlässigkeit zu lösen. Computing am Netzwerkrand (network edge computing) entwickelt sich zu einer gemeinsamen Lösung für das Angebot von Echtzeitdiensten, unter Berücksichtigung kritischer Aspekte wie Skalierbarkeit, Zuverlässigkeit und Datenschutz. In diesem Kontext stellt diese Arbeit drei wichtige Beiträge vor: i) Placement Optimization von Virtual Network Functions (VNFs), ii) Leistungsbewertung von Edge-Computing-Systemen und iii) Einbettung von Open-Source-Tools, -Methoden und-Praktiken in Edge- und Cloud-Computing-Netzwerke.
In Bezug auf i) stellt diese Arbeit die erste Lösung seiner Art für das Load-Balancing von SDN-basierten Datacenter-Netzwerken vor, indem sie OpenFlow-Switches nutzt, um lange Flows zu erkennen und sie mittels Random Packet Spraying weiterzuleiten, während kurze Flows standardmäßig mittels ECMP weitergeleitet werden. Im Bereich Network Function Virtualization (NFV) wird in dieser Arbeit ein Multipath-MILP-basiertes Modell vorgestellt, das neuartige Schranken zur Ermöglichung von VNF-Replikationen berücksichtigt. Das Modell evaluiert, wie VNF-Replikationen die Link- und Serverauslastung in Mobilfunk-Core-sowie Datacenter-Netzen optimieren können. In dieser Arbeit wird auch untersucht, wiedie Anzahl der erforderlichen VNF-Migrationen und -Replikationen durch den Einsatz von Network-Traffic-Forecasting minimiert werden kann.
In Bezug auf ii) präsentiert die Arbeit Edge-Computing-Lösungen für die Bereitstellung von latenzempfindlichen Anwendungen bei gleichzeitiger Reduktion der Kommunikation vorgestellt. Wir stellen eine Reihe von Architekturen vor und erörtern Aspekte im Zusammenhang mit Kommunikationsprotokollen offener Standards. Um die Anwendbarkeit von Edge-Computing-Systemen zu untersuchen, werden außerdem eine Reihe neuartiger Anwendungsfälle aus dem Bereich des Tierwohls in der intelligenten Landwirtschaft analysiert. Die Leistungsbewertung erfolgt durch Benchmarking einer Reihe Container-basierter Edge-Computing-Systeme.
In Bezug auf iii) zeigt die Arbeit, wie Open-Source-Tools und -Methoden in die Praxis umgesetzt werden können, indem eine Reihe von Tools vorgestellt wird, die im Rahmen dieser Arbeit implementiert wurden. Erstens wird ein Netzwerkoptimierungs-Framework vorgestellt, das eine Reihe von auf das VNF-Platzierungsproblem ausgerichteten Optimierungsmodellen enthält. Zweitens wird ein Service-Management-System für Edge-Netzwerke vorgestellt, das einen QoS-Provider-Mechanismus als integralen Bestandteil enthält. Drittens wird eine Open-Source-Testbed-Implementierung zum Benchmarking serverloser Funktionen in Edge-Computing-Netzwerken als erste ihrer Art veröffentlicht. Schließlich beleuchten wir die Methoden und Erfahrungen, die wir bei der Einrichtung eines realen Labors für IoT, Edge und Cloud gesammelt haben. Wir heben die Hauptaspekte hervor und behandeln Open-Source-Aspekte sowie die Reproduzierbarkeit, um Innovationen zu fördern, Wissen zu teilen und vernetzte Systeme für den täglichen Gebrauch zu entwickeln.