Teamprojekt: Sprachverarbeitung auf einer IoT-Plattform

Lecturer	Oliver Bringmann HeadOliver Bringmann
Instructors	Alexander Jung ResearcherAlexander Jung Adrian Frischknecht AlumniAdrian Frischknecht
Type of course	Teamprojekt (Programmierprojekt)

Beschreibung

Heutzutage sind Sprachassistenten auf vielen verschiedenen Plattformen verfügbar, wie zum Beispiel Google Assistant oder Amazon Alexa. Allerdings werden dabei sämtliche Sprachkommandos an die Server des jeweiligen Unternehmens zur Verarbeitung geschickt und dort abgespeichert. Dies führt zu großen Bedenken bezüglich des Datenschutzes.

Eine Möglichkeit einen Sprachassistenten sicherer zu gestalten ist die Sprachverarbeitung komplett offline auf der IoT-Plattform durchzuführen. Oftmals sind die Plattformen, wie ein Raspberry Pi, dafür aber nicht leistungsstark genug. Eine andere Möglichkeit ist Open-Source Projekte zu nutzen, wie zum Beispiel Mozilla DeepSpeech.

In diesem Teamprojekt (Programmierprojekt) soll Sprachverarbeitung auf einer IoT-Plattform realisiert werden. Dafür soll eine Applikation entwickelt werden, die bei Aktivierung (manuell oder durch Wakeword-Erkennung) ein Sprachkommando aufnimmt und an einen DeepSpeech Server weiterleitet, sowie das Ergebnis wieder empfängt und weiter verarbeitet. Für die Client-Server-Kommunikation sollen verschiedene Möglichkeiten evaluiert und ggf. implementiert werden. Stretch Goals beinhalten die Verbesserung der Wakeword-Erkennung, sowie Umsetzung der Sprachkommandos in Aktionen (Intent-Parsing).

Lerninhalte:

• Programmierung in Python und C/C++
• Entwurf und Implementierung eines Kommunikationsprotokolls
• Arbeiten mit einem Raspberry Pi
• Programmierung und Abstimmung im Team