animations

hier der rapidshare-link zu meinem part (animationen):

animationen

Laaange Zielgerade …

Es ist einiges passiert in der vergangenen Woche und man kann sagen, wir befinden uns auf einem, wenn auch stressigen, aber guten Weg.

Wie angekündigt haben wir Ende letzter Woche die Kamera und das Programm zur Motiondetection von Realtimevisions erhalten. Nach einigen kleinen Schwierigkeiten mit dem Anschluß und der Integration in Flash, können wir heute mit Stolz verkünden, daß die Programmierarbeit weitestgehend erfolgreich abgeschlossen ist!!! JAAA, ES FUNKTIONIERT! Die Daten kommen in Flash an und werden an die Position des auf der Projektionsfläche platzierten Movieclips weitergegeben. Ein Dummy funktioniert bereits. Großartig.
Nach einigen kleineren Modifizierungen erstellen wir uns somit eine Art kleinen Player in dem wir die das Ganze abspielen können.
Nun heisst es den Programmcode und die Funktionsweise noch in die schriftliche Ausarbeitung zu integrieren.

Als zweiten Meilenstein in unserer Entwicklung haben wir uns auf eine Gestaltung festgelegt. Da wir mit unserer Anwendung quasi für jedes Musikstück maßgeschneiderte Visuals erzeugen können und wollen, war es wichtig das Design einem klaren, zum ausgewählten Track (Facing East von Thievery Corporation) passenden Konzept folgen zu lassen. Zu diesem Zweck haben wir nach unseren ersten Entwürfen (siehe: erste Ansichten) weitere Styleframes angefertigt und uns anschliessend für eine Kombination aus den besten Elementen der beiden unterschiedlichen Ansätze entschieden. Wie schon einmal erwähnt, läßt sich der Track in 8 Phasen aufteilen (siehe: Richtung Visualisierung), welche jeweils eine eigene Bildsprache erhalten sollen.

Hier die Moods: (jeweils von links nach rechts für die Phasen P1 – P8)

Alex:

Jörg:

Nun heißt es für uns die komplettierten Bestandteile in die Bachelorarbeit aufzunehmen, die Animationen anzufertigen, den Prototypen am heimischen PC zu testen und die schriftliche Ausarbeitung fertig zu machen. Wenn noch Zeit bleibt, wollen wir vielleicht nächste Woche noch einen Testlauf mit Beamer durchführen. Der schriftliche Teil hat aber vorerst höchste Priorität.

Also, in die Hände gespuckt und los …

Die Spannung …

.. steigt ins unermessliche.

Diese Woche erwarten wir ein Päckchen von Realtimevisions mit Kamera und Flash-Socket! Dann gehts endlich ans Experimentieren. Bis dahin recherchieren, halten fest, überlegen und konzipieren, gestalten und manifestieren wir u.a. zu Technik, bestehenden Projekten, Designs, Arbeitsabläufen, Programmierung, Soundanalyse und – synchronisation, etc. und schreiben fleissig am theoretischen Teil unserer Arbeit.

Also in Kürze mehr …

Erste Ansichten …

Basierend auf unseren Überlegungen hab ich mal zwei Styleframes angefertigt. So stelle ich mir das momentan vor, aber vielleicht ist diese Designart schon zu oft gesehen. Vielleicht sollte man versuchen einen eigenständigeren Style zu entwickeln, allerding auch nicht mehr Energie darauf verwenden, als nötig. Die Prioritäten verschieben sich dahingehend gerade dramatisch.

Aber seht selbst:

Am Ende sollten verschiedenste Formen, mal als Partikel, mal als Textur, Muster oder  klare Form einen nen überbordenden visuellen Mix ergeben. Jeweils mit eigenem Verhalten, wahrscheinlich. Wir werden sehen, wieviel sich davon umsetzen lässt, wenn wir wissen, wie die Trackingdaten weitergegeben werden.

In Richtung Visualisierung …

Da wir uns langsam über das design einig sein sollten, habn wir uns diesbezüglich nochmal zusammengesetzt und dabei auch gleich das Thema und die Musik festgelegt:

- Notizen -> copy/paste -

Visuell akustisches Konzept
Bachelor
9.1.07

________________________

Grundlegende Überlegungen + Festlegung:

- wie integrieren wir optimal möglichst verschiedene Bildwelten, Anmutungen
- Taktproblem:

a)    • entweder Klangteppich (air, beethoven, etc.), wo der Takt nicht so
vordergründig ist
-> Video laden nach passendem, frei gewählten Intervall
(z.B. nach Cliplänge)
b)    • Takt/Beat gibt das Intervall zum Laden der Videos vor
(elektro, house, etc.)
-> nach Frequenz des Taktes oder einem Vielfachen davon laden

Wir nehmen Variante a):

- klare Verhältnisse
- Grundstruktur
- Soundklasse in Flash zum Auslesen der Beats
(wahrscheinlich in Millisekunden -> Umrechnen)

- da Beat ausgelesen -> Musik mit vordergründigem Bass -> Elektro, House, etc.

- Musikauswahl:
Artist:      Thievery Corporation
Titel:        Facing East
Album:    The Richest Man In Babylon
Genre:     Lo Fi
Dauer:     3 min 43 sec

Den Track verschicke ich mal per Mail an alle Interessierten.

- Style: Orientalisch angehauchter Lo Fi – Elektro -> gleichbleibender Takt
- mehrere Phasen:

P1:         Intro, orientalischer Streicher
P2:        + Trommel, Rasseln
P3:        + orient. Kastanietten, Beatansatz
P4:        + Beat, Hintergrund
P5:        + Gesang
P6:        Interlude, Orientalischer Streicher, Trommel,
Rasseln, orient. Kastanietten
P7:        Alles (P2 – P6): Beat, Hintergrund, Gesang, Streicher
P8:        Schluß, klingt mit anhaltendem Gesangston aus
-> Loop konstruieren

- ergibt 7 Video-Bibliotheken (P8 wird aus Intro-Bildern gespeist -> Loop)
- wahrscheinlich eine Form der Visualisierung pro Musikinstrument / Ton-Beat-Kombination

- Musik gibt Thema vor:

! EAST meets WEST !
(Arbeitstitel)

- Verbinden orientalischer und westlicher Stilmittel
- aktuelles Thema
- Überlegung am Rande: Versuch der Umkehr traditioneller Wertevorstellungen
->        Orient = moderne Zeichen
Okzident = traditionelle Zeichen

technische Betrachtung der Visuals:

- müssen Steigerung innerhalb des Stückes widerspiegeln
- müssen sich ergänzen
- sollten eine Bandbreite bieten
- Anmutung und räumliche Ausdehnung sollten sich unterscheiden
- grundsätzlich geringe Datengrösse

____________________________________

DESIGN:

Brainstorming:

East:

- Ornamente
- regelmässige Muster
- maurisches Dekor
- arabische Schrift (von rechts)
- floral
- leidenschaftlich
- traditionell
- Kulturcrash
- opulent

West:

- klarer Formen
- Farbstile
- Farb- & Formbeziehung (Bauhaus)
- form follows function
- minimalistisches Design
- reduziert
- HighTech
- schöner Schein

Varianten:

Was steht im Vordergrund. Momentan ist der Kulturcrsh im nahen Osten zu beobachten. Tradition trifft auf Moderne, der Okzident hält mit seinen Symbolen und Designwelten in den Orient Einzug.

-> die Frage um Vordergrund und Hintergrund:

a) Opulenz auf reduziertem Design
b) reduzierte Formen auf opulentem Design
c) komplette Vermischung von beidem

Stand der Dinge

Endlich das lang angekündigte Bachelorkonzept. Ich habe es gleich in Form der Bachelorarbeit angefertigt. So können wir parallel daran arbeiten und gleich auch die Form waren. Feedback zu Struktur bitte ich drum. Wie siehts aus mit Konventionen für Schrift, Absatz, etc.? Habe mir auch schon eine Beispielarbeit besorgt. Von einem gewissen, .. Sekunde, .. Lauritz Lipp. Würden aber die endgültige Anpassung erst am Schluß machen.

bachelorarbeit.doc

bachelorarbeit.pdf

Im Grunde zeigt dies, daß wir noch jede Menge zu tun haben.

___________________________________________________

Die neue und endgültige Idee ist folgende:

Der Betrachter betritt den Raum. Sofort erhöht sich die Lautstärke der
im Raum spielenden Musik. Beim in den Raum bewegen erscheinen sich
bewegende Formen auf der Wand vor dem Betrachter. Dieser bleibt
daraufhin stehen, um sich die Formen in Ruhe anzusehen. Die Formen
verschwinden. Der Betrachter tritt näher an die Wand, wobei die Musik
und die Formen wieder aufleben. Langsam bemerkt der Betrachter,
dass dies unmittelbar damit zusammenhängt, ob er sich bewegt oder
nicht. Der Betrachter beginnt sich durch den Raum zu bewegen, kann
daher längere Passagen der Animationen sehen, erkennt, dass diese
auch an seine Position gekoppelt sind. Er beginnt mit den Formen zu
spielen und erkennt, dass diese auch zur Musik passen.

Unsere Arbeit besteht demnach in erster Linie aus einer multimedialen
Installation im Raum. Im wesentlichen setzt sie sich aus zwei
Komponenten zusammen, der non-linearen, interaktiven Komponente,
dem Motiontracking der Position des Betrachters, und der linearen
Komponente, den Videos und der Musik. Mit Hilfe der Installation im
Raum und dem Zusammenspiel mit der dazugehörigen musikalischen
Untermalung sollen die Betrachter Musik selbst nachvollziehen, erfahren,
und visuell umsetzen. Wie ginge dies besser, als durch Bewegung, im
besten Falle durch Tanz.
Die erzeugten Bilder in Form von kleinen an die Position des
Betrachters geknüpften Videos sind demnach nur zu sehen, wenn man
sich bewegt oder eben sogar zur Musik tanzt.

Nähere Erläuterungen zu Vorgehen und warum und wieso findet man im Bachelor-Dokument.

_________________________________________________

Am Mittwoch, also morgen, treffen Alex und ich uns, um die Musik und die visuelle Marschrute festzulegen. Daraus hervorgehend teilen wir dann die Aufgaben etwas klarer Richtung „Handfestes“ aus. Alex wird sich dann um die visuellen Anteile kümmern, die wir brauchen, um den Prototypen zu realisieren. Ich, Jörg, werde mich um die Flashprogrammierung kümmern. Habe mir auch dahingehend schon Unterstützung besorgt, falls ich an meine Grenzen stossen sollte.

Dann gibt es hier in Bälde auch endlich was zu gucken.

Als kleine Fingerübung habe ich in Flash schonmal das Koppeln an Koordinaten durchgespielt, um mir eine vage Vorstellung machen zu können, wie wir die von Realtimevisions gelieferten Daten benutzen können. Hierbei habe ich auch ein kleines, allerdings direkt in die Flash-Bibliothek integriertes Video benutzt. Runterzuladen und im Flash-Player zu öffnen unter folgendem Link:

http://rapidshare.de/files/38248616/birds_test_c.swf.html

An der Geschwindigkeit sieht man, daß wir sehr auf die Performance achten müssen und/oder ein guter Rechner muß her.

So, hoffe, nun geht es zügig weiter.
Dazu bräuchten wir auch schnellstmöglich das Motiontrackin-Modul von Realtimevisions, oder wenigstens eine abgespeckte Version davon, um am heimischen PC programmieren und die Webcam ausreizen zu können.
Dazu kommt, daß wir noch einige Fachliteratur wälzen müssten, wenn wir nicht alles von Wikipedia saugen wollen. Brendan, wie siehts aus mit der Literaturliste. Sonst mach ich mich die Woche noch auf in die Bibliothek.

So, ich bin zuversichtlich. Weida gehts …

Motion Tracking mit Flash8

Soo…

Hab mal fleißig recherchiert und bin auf eine relativ simple Methode gestoßen, Bewegung die von einer herkömmlichen Webcam aufgenommen wird, mit Flash zu tracken. Grundlegend wird das Kamerabild in ein Grid (Gitter) aufgeteilt, welches beliebig groß gewählt werdenkann (je feiner das Grid um so genauer das Tracking). Die Bewegung kann durch verschiedene Merkmale wahrgenommen werden (z.B. Helligkeits- oder Farbwertänderungen). Ändert sich der Helligkeitswert innerhalb eines Segmentes des Gitters, wird dieses Segment mit einer Farbe gefüllt. Zusätzlich wird die Bewegung mit der Helligkeit des farbigen Segmentes hervorgehoben. Ist die Bewegung zeitlich sehr jung, besitzt das Segment die höchste Helligkeit. Nimmt die Bewegung ab, nimmt die Helligkeit des Segmentes ebenfalls ab. So entsteht eine scheinbar smoothe Bewegung.

und so funktionierts:
klick mich
klick mich
klick mich

kein Flash sondern Motion Detector:
klick mich

Projekte:
klick mich
klick mich
klick mich

Beispieldateien sind zum Download auf den Links unter „und so funktionierts“ verfügbar! Und…… es funktioniert!

bestehende „location-based“ (nicht-visuelle) Trackingsysteme

Neben visuellen Tracking-systemen (Kamera) gibt es natürlich auch nichtvisuelle Systeme um die Position einer Person/Gegenstandes zu bestimmen. Um nicht nur das visuelle Spektrum des „Trackings“ zu beleuchten, hier ein paar bestehende Techniken und Projekte:

Allgemeine technische Verfahrensweisen

System zur Positionsbestimmung über WLAN
powerpoint—>magicmap