Preview

PDF, English Download (2MB) | Terms of use

Abstract

The use of machine learning (ML) as a key technology in artificial intelligence (AI) is becoming more and more important in the increasing digitalization of business processes. However, the majority of the development effort of ML applications is not related to the programming of the ML model, but to the creation of the server structure, which is responsible for a highly available and error-free productive operation of the ML application. The creation of such a server structure by the developers is time-consuming and complicated, because extensive configurations have to be made. Besides the creation of the server structure, it is also useful not to put new ML application versions directly into production, but to observe the behavior of the ML application with respect to unknown data for quality assurance. For example, the error rate as well as the CPU and RAM consumption should be checked. The goal of this thesis is to collect requirements for a suitable server structure and an automation mechanism that generates this server structure, deploys the ML application and allows to observe the behavior of a new ML application version based on real-time user data. For this purpose, a systematic literature review is conducted to investigate how the behavior of ML applications can be analyzed under the influence of real-time user data before their productive operation. Subsequently, in the context of the requirements analysis, a target-performance analysis is carried out in the department of a management consulting company in the automotive sector. Together with the results of the literature research, a list of user stories for the automation tool is determined and prioritized. The automation tool is implemented in the form of a Python console application that enables the desired functionality by using IaC (Infrastructure as code) and the AWS (Amazon Web Services) SDK in the cloud. The automation tool is finally evaluated in the department. The ten participants independently carry out predefined usage scenarios and then evaluate the tool using a questionnaire developed on the basis of the TAM model. The results of the evaluation are predominantly positive and the constructive feedback of the participants includes numerous interesting comments on possible adaptions and extensions of the automation tool.

Translation of abstract (German)

Der Einsatz von Maschinellem Lernen (ML) als Schlüsseltechnologie in der Künstlichen Intelligenz (KI) gewinnt in der zunehmenden Digitalisierung von Geschäftsprozessen kontinuierlich an Bedeutung. Der Großteil des Entwicklungsaufwands von ML Anwendungen fällt dabei jedoch nicht auf die Programmierung des ML Modells, sondern auf die Erstellung der Server-Struktur, die für einen hochverfügbaren und fehlerfreien Produktivbetrieb der ML Anwendung verantwortlich ist. Die Generierung einer solchen Server-Struktur durch die EntwicklerInnen ist dabei zeitaufwändig und kompliziert, da umfangreiche Konfigurationen vorgenommen werden müssen. Neben der Erstellung der Server-Struktur ist es außerdem sinnvoll, neue ML Anwendungsversionen nicht direkt produktiv zu setzen, sondern zur Qualitätssicherung das Verhalten der ML-Anwendung in Bezug auf unbekannte Daten zu beobachten. Dabei soll beispielsweise die Fehlerrate, sowie der CPU und RAM Verbrauch überprüft werden. Das Ziel dieser Arbeit ist es daher, einerseits Anforderungen an eine geeignete Server-Struktur zu erheben und andererseits an einen Automatisierungsmechanismus, der diese Server-Struktur generiert, darauf die ML-Anwendung produktiv setzt und eine Beobachtung des Verhaltens einer neuen ML Anwendungsversion anhand von Echtzeit-Nutzerdaten ermöglicht. Zu diesem Zweck wird als Grundlage zuerst eine systematische Literaturrecherche durchgeführt, die untersucht, wie das Verhalten von ML Anwendungen vor ihrer Produktivsetzung unter dem Einfluss von Echtzeit-Nutzerdaten analysiert werden kann. Anschließend wird im Rahmen der Anforderungsanalyse eine Ist-Soll-Analyse in der Abteilung einer Unternehmensberatungsfirma im Automobilsektor durchgeführt und zusammen mit den Ergebnissen der Literaturrecherche eine Liste von User Stories für das Automatisierungswerkzeug ermittelt und priorisiert. Die Umsetzung des Automatisierungswerkzeugs erfolgt in Form einer Python Konsolenanwendung, die die gewünschte Funktionalität mittels Einsatz von IaaC (Infrastructure as a Code) und der AWS (Amazon Web Services) SDK in der Cloud ermöglicht. Das Automatisierungswerkzeug wird abschließend in der Abteilung evaluiert. Dabei führen die zehn Teilnehmer selbstständig vorgegebene Nutzungsszenarien durch und bewerten das Werkzeug anschließend über einen Fragebogen, der auf Basis des TAM-Modells ent\-wickelt wird. Die Ergebnisse der Evaluierung sind überwiegend positiv und das konstruktive Feedback der Teilnehmer beinhaltet zahlreiche interessante Anmerkungen über mögliche Änderungen und Erweiterungen des Automatisierungswerkzeugs.