27 Januari 2019

Speechvas

Idén

I möten mellan människor finns det ofta mer information att ta hänsyn till än det som uttalas explicit. Med Speechvas var vår vision att fånga upp dessa undertoner med hjälp av algoritm-genererad konst. Samtidigt som du talar målar Speechvas ett abstrakt konstverk som är baserat på rösterna i rummet. Genom att använda olika parametrar såsom tonläge, volym och mängden bakgrundsljud får användaren se en tavla växa fram under mötets gång.

Resultatet från veckan

Vi lyckades färdigställa en prototyp av en webbapplikation. På frontend-sidan lade vi till ett grafiskt användargränssnitt där vi kunde experimentera med det visuella uttrycket. På backend-sidan använde vi SciPy scientific toolkit för databearbetning och Sanic lightweight python server för kommunikation. När webbapplikationen startas påbörjas en kontinuerlig ljudupptagning som bearbetas och skickas till webbläsaren via WebSockets.

Om vi hade mer tid

Om vi hade mer tid skulle vi experimentera mer med det visuella uttrycket. Eventuellt skulle vi lägga till ytterligare funktioner såsom förmågan att urskilja olika röster ur ljudupptagningen eller sentimentanalys.