Filed under: Visualisierung

Analytische Musikvisualisierung, oder: Das Auge hört mit

Unser Gehirn leistet Unglaubliches, wenn wir Musik hören. Praktisch alle Hirnregionen sind beteiligt, es kostet uns kaum Aufmerksamkeit, Melodien und Harmonien zu erkennen, rhythmisch mitzuwippen oder Stimmungen zu erfassen. Und offenbar wissen wir sogar alle intuitiv, wie eine pentatonische Tonleiter funktioniert:

Aber: Als aufmerksamer Hörer weiß man vielleicht um Komplexität und Vielschichtigkeit der Musik eines Bach, Beethoven oder Brahms - doch zu verstehen, wie sie konstruiert ist, ihre Strukturen und deren Muster zu erkennen, das bleibt für gewöhnlich dem Musiker vorbehalten, der Notentexte und Partituren lesen kann. Wir Nicht-Musiker bleiben im Jetzt und im Gesamteindruck des Zuhörens gefangen.

Die Music Animation Machine

Das muss ja nicht so bleiben, dachte sich in den 1970ern Stephen Malinowski, und erfand in den folgenden 10 Jahren die Music Animation Machine. Und das ist das fantastische Ergebnis:

(Bitte unbedingt in HD und Fullscreen ansehen, es lohnt sich!)

Plötzlich sehen wir die Musik, sehen ihre Strukturen, Muster, die melodischen, harmonischen und rhythmischen Figuren, die architektonische Gliederung, kurz: wie sie funktioniert. Und wie bei jeder guten Visualisierung ohne spürbare kognitive Last.

Wie macht die MAM das?

  • Sie überführt die Orchesterstimmen aus den einzelnen Notensystemen in einen gemeinsamen Tonhöhenraum.
  • Sie verzichtet auf eine formale Notation und repräsentiert Tonhöhe und -dauer durch eine intuitiv verständliche räumliche Anordnung.
  • Sie zeigt uns jederzeit, wo im Text wir uns genau befinden - und da wir die Musik synchron dazu hören, fällt es unseren Gehirn leicht, Ursache (Konstruktion) und Wirkung (Klang) zu verbinden.

Ergebnis: Ein kleines bisschen Synästhesie für jedermann.

Statische Visualisierungen

Wenn man von der MAM aus ein wenig weiterrecherchiert, z.B. bei Edward Tufte, stößt man auf eine Menge weiterer Visualisierungen, jede davon mit einem unterschiedlichen Fokus.

Bei Anita Lillie etwa erlaubt es uns die Repräsentation von Timbre durch Farbe, den klanglichen Charakter von Stücken intuitiv zu erfassen und zu vergleichen:

Die "Song Visualizations with Echo Nest" von Visualmotive machen Sparkline-ähnlich den dynamischen Charakter der Musik unmittelbar sichtbar:

Beide jedoch schaffen es nicht im gleichen Maße wie die MAM, die Funktionsweise der Musik einsichtig zu machen. Zum einen, weil sie statisch sind und rein visuell funktionieren; zum anderen, weil sie sich auf diejenigen Attribute der Musik konzentrieren, die (via Echo Nest) automatisch aus dem Material extrahierbar sind: zeitlicher Verlauf, Tonhöhen und Klangfarben - und zwar "aufsummiert" aus allen Stimmen und Instrumenten.

Automatische Analyse polyphoner Musik

Das jedoch kann sich bald ändern - wenn das, was Peter Neubäcker mit Melodyne Direct Note Access schafft, Eingang in solche Analysen und Visualisierungen findet: Polyphones Material automatisch in einzelne Stimmen und Töne zu zerlegen.

Fascinating Stuff.

Weniger Wissenschaft, mehr Kunst

Weniger analytisch, aber um nichts weniger faszinierend ist diese On-the-fly-Visualisierung von Roee Kremer, Michal Levy und Michal Rinott:

(Wer mir sagen kann, wie das funktioniert - offenbar nicht in MIDI vorliegende polyphone Musik trotzdem und vor Melodyne DNA in Einzelstimmen zerlegt zu visualisieren - der bekommt was Schönes von mir.)

Den umgekehrten Weg - experimentelle Musik aus einer Visualisierung zu erzeugen - geht Jim Bumgardner mit seiner Whitney Music Box. Das Faszinierende hier: die Mathematik der chromatischen Tonleiter zu sehen und zu hören.

Und diese ganz und gar (und im eigentlichen Wortsinn) manuelle Visualisierung ist wohl das Großartigste, das ich in den letzten Wochen im Internet gefunden habe:

Damit ist dann auch wieder klar: It's the human, stupid.

Debatte? Welche Debatte?

Erst die liebgewonnenen Vorurteile: Klar, der Schirrmacher wieder. Nach der Überalterung und dem Ende der Familie nun also das Internet als Überforderungsmaschine. Fröhliche Urständ des Kulturpessimismus, was sonst.

Dann kommt Fräulein Schiller und möchte eine Debatte visualisieren, schlägt den leidigen Schirrmacher vor, und man kommt nicht umhin, den ganzen Schmonz auch wirklich zu lesen.

Und dann die (erschreckende?) Erkenntnis: Der 1. FC Feuilleton hat vielleicht keinen Sturm, aber immerhin einen Spielmacher. Und keinen schlechten. Lokomotive Internet dagegen: Kick and rush, ungestüme Stürmer, kaum Ballkontrolle, kaum Tore. Spiel? Fehlanzeige.

Beim Lesen und Nach-Denken wird schnell klar: Der Großteil der üblichen Verdächtigen arbeitet sich an der - zugegeben wohlfeilen und aufmerksamkeitsgeilen - These von der Überforderung ab; aber kaum jemand diskutiert die richtigen und wichtigen Fragen, die Schirrmacher eben auch aufwirft. Sind Internet, Aufmerksamkeitsökonomie und "Mikroarbeit" nicht auch eine Zuspitzung des Spätkapitalismus? Welchen Einfluss hat diese Technologie auf unsere Identitäts- und Autonomiekonzepte? Was bedeutet "externalisiertes Denken"? Ist die anscheinende Berechenbarkeit von menschlichem Verhalten vielleicht auch eine Folge unserer immer stärkeren Einbindung in komputationelle Kontexte? Und: Wie schön ist die neue Welt des Internet eigentlich?

Sicher: Gegen Schirrmachers Thesen lässt sich trefflich argumentieren. Der Spätkapitalismus wird durch das Internet mindestens ebenso in Frage gestellt wie zugespitzt. Identität und Autonomie haben wir angesichts neuer Formen von Kommunikation, Interaktion und Machtausübung stets neu definiert. Denken und Gedächtnis wurden auch durch Adressbuch, Post-its und Lexika externalisiert. Die Vorhersagbarkeit von Verhalten ist schon lange der ewige Traum der empirischen Sozialwissenschaft. Und: Auch die neue Welt der Industrialisierung war nicht nur schön. Dafür können wir hierzulande jetzt mehrheitlich warm duschen.

Aber, erstens: Genau diese Argumente sind die Minderheit - die Mehrheit der Netz-Antworten beschränkt sich darauf, wahlweise über den angeblichen Noob Schirrmacher zu lachen, gegen einen wahrgenommenen Kulturpessimismus anzurennen oder das alte Spiel "Alte gegen Neue Medien" zu wiederholen. Lame.

Und, zweitens: Vielleicht müssen wir manche von Schirrmachers Fragen ernster nehmen, als uns lieb ist - und vielleicht ließen sich weitere daran anschließen. Bedient das Multitasking meines Internet-Alltags wirklich meine Stammesinstinkte, oder behindert es sie nicht vielmehr? Ist unsere Tribalisierung durch das Internet nicht auch eine Gefahr für das Projekt "Freiheit, Gleichheit, Brüderlichkeit"? Und: Klar bin ich unzufrieden mit Googles jüngstem Bemühen, meine Suchanfragen zu interpretieren - nicht schlau genug. Aber was passiert, wenn die Algorithmen ausgeklügelt genug sind? Bin ich dann zufrieden mit dem Gelieferten, ohne es zu hinterfragen? Ist das Diktat der Interessanz vielleicht doch nur die Ablösung der Redaktion durch die echo chamber und durch die Quants, die schlauen Vorwegnehmer meines Interesses?

Bei der Recherche für die Debattenvisualisierung habe ich mich oft auf Frank Westphals Rivva verlassen - und just ging mir einer der interessanteren Beiträge dazu durch die Lappen. Das jedoch ist weniger ein Fehler des Algorithmus als vielmehr einer des Diskurses: Was keiner verlinkt und tweetet, das spült Rivva natürlich nicht nach oben. Und offenbar war der betreffende Beitrag dem Netzpublikum nicht so wichtig wie die Einlassungen eines Sasche Lobo, Ossi Urchs oder Markus Spath. Womit wir beim Kern meines Problems mit der hiesigen "Debatte" wären: Die fast vollständige Abwesenheit einer solchen. Das Netzpublikum redet mit sich selbst, das Feuilleton ist das Feuilleton, und Schluss. Wortreiche Sprachlosigkeit zwischen Nabelschauern. Keine Third Culture, nirgends.

Dachte ich bis heute gestern abend.

Da wurde Fräulein Schiller wieder aktiv und schickte mir (ja, gescannt) das Schirrmacher-Interview aus der aktuellen de:bug. Und plötzlich ist alles da: Menschen, die miteinander reden, die Gemeinsamkeiten entdecken, die Themen teilen und nicht Standpunkte, und die (trotzdem? deswegen?) anfangen, Argumente auszutauschen. Inkl. theoretischem Hintergrund, Zuspitzungen und schlussendlicher Uneinigkeit - und dem unwillkürlichen Leserimpuls, weiterzudenken.

Kurz: Eine Debatte.

Und deshalb ist mir seit heute Sascha Kösch lieber als Sascha Lobo.

P.S. Ich erwarte einen diesbezüglichen Beitrag auf Deutschlandradio Kultur zur Wiederherstellung meines Glaubens an die deutsche Debattenfähigkeit. Bis dahin liegt alles auf Eis.

Alles muss raus (oder: Coworking-Marathon, Teil 2)

Erst das zweite Posting hier, und gleich ein Sermon. Ich muss mich entschuldigen. Die Alternative allerdings wäre nicht schön: Ein explodierter Kopf, Gehirnreste in der Tastatur. Das möchte man nicht.

Wohlan denn:

1. Coworking

Gestern war Coworking Day im betahaus - Abgesandte (fast) aller Coworking-Initiaven in Deutschland treffen sich, um Erfahrungen auszutauschen, vom betahaus-Team zu lernen, die Zukunft des Coworkings zu diskutieren und nächste Schritte dazu zu vereinbaren. Ergebnis: Wir drücken die Daumen für einen Hauskauf in Braunschweig, führen im Januar die Coworking-Clubmarke ein, um in allen deutschen Coworking Spaces arbeiten zu können, treffen uns im Februar zu einem Coworking-Hackday bei uns in Hamburg und im März zum nächsten Coworking Day in einem der bis dahin (hoffentlich) neu entstandenen Coworking Spaces, und haben alles in allem viel gelernt. (Unter anderem, dass wir in Hamburg unsere Raumsuche restarten müssen.) Großen Dank an das betahaus-Team für einen überaus inspirierenden Tag!

Heute dann im Anschluss daran: Frühstück mit den wunderbaren http://zweidrei.eu/ - Architekten und Produktdesigner, verantwortlich für die phantastische Innenarchitektur auf dem Palomar5-Camp und generally awesome people. Thema: Wie könnte unser Hamburger Coworking Space, das "Korallenriff", von innen aussehen? Parametric Design, Morpho-Ecologies, Tische und 5-dimensionale CNC-Fräsen haben ihren Auftritt, und am Ende ist klar: Wenn ich das mit jemandem machen möchte, dann mit zweidrei. (Und ein mögliches Projekt für uns springt auch noch dabei raus.) 


2. Visualisierung

Die nicht minder anbetungswürdige Anna Lena Schiller hat am Dienstag die Ergebnisse unserer Abschlussdiskussion visuell protokolliert, leckere Cracker zum Bier beigesteuert und nebenbei an den allfälligen Schirrmacher-Diss die Idee angeknüpft, Visualisierungen klassischer Feuilleton-Debatten anzufertigen. Dabei natürlich: der Visualisierungsnerd @wowo101. Be prepared for some seriously stunning stuff.

Heute dann: Eine Führung durch die School of Design Thinking in Potsdam, die im kreativen Prozess immer und alles visualisieren, und ein Treffen mit den großartigen Regisseuren von "WAGs", die eine großartige Idee zur Visualisierung von - naja - Filmstrukturen haben. Ergebnisse: mindmatters praktiziert Design Thinking, ohne es zu wissen, spannende Workshop-Ideen, generelle Übereinstimmung zum Zustand der Filmbranche, den Möglichkeiten des Internet sowie dem Künstlertypes des 21. Jahrhunderts - und was zu hacken für den Januar (dann zu sehen auf http://streamgraphing.org).

Ach ja, eine eigene Geschäftsidee sprang auf der Zugfahrt nach Hamburg dann auch noch dabei raus. Die verrate ich allerdings noch nicht.

3. Funding

Auf dem Palomar5-Camp/-Summit/-Festival war immer wieder Ergebnis meiner Diskussionen mit Gründern, Entwicklern, PR-Leuten usw.: Uns fehlt in Deutschland ein Y Combinator. Uns fehlen Investoren und Inkubatoren für Tech-Startups, die
* wirklich innovative Ideen (und nicht nur Me-toos) fördern,
* Risiko durch Portfolio-Spreizung und streng begrenzte Budgets minimieren,
* Ideen technisch und nach dem Team dahinter bewerten,
* die Projekte inhaltlich, technisch und organisatorisch begleiten und
* generell Ahnung vom und Begeisterung fürs beackerte Themenfeld haben.

Und da Jammern nicht hilft, haben wir gestern angefangen, ein solches Modell zu entwickeln. Wer, wie und was genau: wird (wieder) nicht verraten. Nur soviel: Eigentlich sind alle erforderlichen Komponenten schon da - und ein Abklatsch von Y Combinator wird es nicht werden, ebenso wenig ein zweites Seedcamp. Stay tuned.

4. Kommunikation

Das ambitioniert este Projekt auf dem Palomar5-Camp war sicherlich http://ahumanright.org - weil Kommunikation ein Menschenrecht ist, wollen Kosta Grammatis, Zeesy Powers und andere ein Satellitennetzwerk aufbauen, das > 95% der Menschheit mit freiem, schnellem Internet versorgt. Sounds crazy? You don't know these guys. Sie legen ein Wahnsinnstempo vor, reden mit den ganz Großen, und am Freitag wird bereits der Naming Contest für das Projekt gelaunched. Das bisschen Backend dazu: von uns - und zu Weihnachten gibt's gleich die nächste Microsite.

Es macht unfassbaren Spaß, mit so schlauen, mutigen und enthusiastischen Menschen zu arbeiten - und an etwas wirklich Wichtigem zu arbeiten. Kann ich nur jedem empfehlen.

Ach ja: Wie kommt man jetzt eigentlich zu all dem? Ganz einfach: Reden, reden, reden - und eben nicht: reden wegen einem Job für mich. Sondern: Über das reden, was einem unter den Nägeln brennt, was die Welt verändert, was man liebt & was man hasst. Und: einfach anfangen damit - Serendipity erledigt den Rest.

Danke für Ihre Aufmerksamkeit.

P.S.: Wer übrigens nochmal konzise gesagt bekommen möchte, warum gleichzeitig soviel Müll zum Thema Internet gesagt wird (jaha: da liegt nämlich das "Qualitätsproblem"), der lese bitte diesen Grundlagentext von Kathrin Passig. (Ja genau, der schon den ganzen Tag auf Twitter empfohlen wird.)