Studierende entwickeln Infrastruktur für Big Data Projekte
Heute stehen Studierende und Dozierende vor der Herausforderung, dass die lokale Infrastruktur, also der eigene Rechner, ressourcentechnisch nicht mehr ausreicht, um Big Data Anwendungen auszuführen. Zudem nimmt die erstmalige Einrichtung der unterschiedlichen Werkzeuge auf verschiedenen Endgeräten wertvolle Vorlesungszeit in Anspruch. Deshalb wurde innerhalb des Rechenzentrums der DHBW Stuttgart eine eigene Infrastruktur für Big Data aufgesetzt. Hiermit lassen sich die notwendigen Werkzeuge zur Verarbeitung, Speicherung und Programmierung großer Datenmengen in sogenannten Containern [1] einfach und reproduzierbar bereitstellen. Kubernetes [2], ein Open-Source-System zur Automatisierung der Bereitstellung, Skalierung und Verwaltung von Container-Anwendungen, bietet einen hohen Grad an Automatisierung und Skalierbarkeit.
In Zusammenarbeit mit verschiedenen Dozierenden wurde von den Studenten Sören Marx, Leon Tacke, Gandolf Thomsen, Tobias Schwarz und Felix Weißbeck im Rahmen eines Projekts im fünften und sechsten Semester eine hochschulinterne Big Data Infrastruktur entwickelt und erprobt.
Hierbei wurde eine Vielzahl von Werkzeugen mit beispielhaften Anwendungsfällen zur Nutzung im Rahmen von Vorlesungen und Übungen bereitgestellt. Diese Werkzeuge basieren auf einem produktiven Kubernetes-Cluster innerhalb des Rechenzentrums. Dieser bietet neben den Grundfunktionalitäten von Kubernetes auch entsprechende Netzwerkkomponenten und persistente Speicherlösungen, die sonst nur bei Public-Cloud-Providern zu finden sind. Der Kubernetes-Cluster bietet der Lehre an der DHBW Stuttgart eine umfassende Lösung für den Betrieb von Big Data Werkzeugen. Zudem ermöglicht die dokumentierte Architektur die Entwicklung einer Vielzahl weiterer individueller Anwendungsfälle.
Die Betreuer der Gruppe, Prof. Dr. Kai Holzweißig, Stefan Kreidel und Lars Probst, welche die Lehrveranstaltung begleiteten, freuten sich über die Ergebnisse und sind auf die weiteren Entwicklungsschritte sowie die zukünftige Realisierung von Big Data Projekten gespannt.