Multimodalni muzički stalak: 9 koraka (sa slikama)

2025 Autor: John Day | [email protected]. Zadnja izmjena: 2025-01-23 14:37

Multimodalno muzičko postolje (MMMS) novi je način za kontrolu audio sinteze i efekata pri sviranju tradicionalnog instrumenta (saksofon, flauta, violina, kako god već), a nudi i nekoliko dodatnih mogućnosti za proširene tehnike koje se mogu koristiti tokom sviranja ! Već postoji web stranica o našem grupnom projektu na UC Santa Barbara na kojoj smo razvili MMMS, pa umjesto da to ponavljam ovdje, postavit ću vezu - provjerite! Web stranica multimodalnog muzičkog štandaKratki isječak MMMS -a u akciji je ovdje, ali na gornjoj web stranici ima boljih videozapisa … Multimodalno se odnosi na sposobnost osjećanja ulaza u više od jednog modaliteta (audio ulaz, video ulaz i ulaz zasnovan na senzoru). Audio i video ulaz prilično su jednostavni, uključuju normalni mikrofon i web kameru spojenu na vaše računalo, ali ulaz senzora je malo složeniji, stoga je ovo uputstvo … Koristimo CREATE USB Interface, jednostavan sklop koji sam razvio za klasu Predajem na UCSB-u, zajedno sa kompletom ThereminVision II za E-polje (poznatim i kao kapacitivno sensing) kako je ovdje prikazano: CREATE USB InterfaceThereminVisionII kitAko ne znate šta je Theremin, učinite si uslugu i pretražite Youtube, dobili ste ne razočaraj se! MMMS je u osnovi ekvivalent 2 Theremina, budući da ima 4 antene za osjetljivost E-polja, pored audio/video ulaza, naravno. Ako ste zainteresirani za proširenje svojih tehnika izvođenja sa svojim instrumentom interakcijom s računarom, ali ne želite koristiti jednostavne nožne noge, napravite sebi multimodalni muzički stalak i počnite vježbati s njim!

Korak 1: O CREATE USB interfejsu

CREATE USB Interface (CUI) je jednostavno programibilno kolo zasnovano na PIC-u koje se može ili u potpunosti izraditi sam, ili od mene možete nabaviti unaprijed ugrađeno za 50 USD (+ 5 za isporuku), i neće vam trebati da kupite PIC programer budući da sam vam stavio pokretački program za to … pogledajte web stranicu za detalje ili me jednostavno pošaljite e -poštom da zatražim: CREATE USB Interface websiteCUI može funkcionirati kao mnogo različitih stvari i do sada se koristio u stotinama zanimljivi projekti u cijelom svijetu … nekoliko primjera studenata sa UC Santa Barbara nalazi se u ovom konferencijskom radu (PDF). CUI se može ponovo programirati putem USB kabla pomoću pokretačkog programa za učitavanje, zbog čega je tako lako prilagodljiv - jednostavno promijenite firmver i to je nešto drugo. Na primjer, lako je pretvoriti CUI u bežično senzorsko sučelje pomoću jednog od Bluetooth moduli iz zabavne iskre - ako je neko zainteresiran za to, neka u komentarima napiše bilješku tražeći drugu instrukciju. CUI ima 13 kanala 10-bitnih analognih ulaza i 16 ulaza/izlaza opće namjene. Zadani firmver koji se isporučuje sa pločama CUI v1.0 šalje ih sve kao ulaze na računalo domaćin i odlično radi s interaktivnim okruženjima za stvaranje umjetnosti kao što su Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck itd. jedna od CUI v1.0 ploča za izradu Multimodalnog muzičkog postolja u ovom uputstvu. Mi koristimo Max/MSP/Jitter kao okruženje, ali svakako ga prilagodite Pd -u ili softveru po vašem izboru. Veliki sam ljubitelj otvorenog koda (sam CUI je otvorenog koda) i uvelike pomaže ako svi stojimo jedni drugima na ramenima i poboljšamo stvari koje radimo!

Korak 2: O kompletu ThereminVision II

ThereminVision II je dostupan i kao komplet (50 USD) i unapred izgrađen (80 USD) sa sajta prodavca, RobotLand, a takođe je i otvorenog koda - priručnik ThereminVision II (PDF) sadrži dijagrame kola. Za MMMS sam kupio komplet, a zatim odlučio da ovaj put idem sa već izgrađenim (ovo je drugi MMMS koji sam napravio). Osim toga, u slučaju da se pitate zašto ne nudim komplet CREATE USB sučelja, to je zato što CUI bootloader mora biti programiran s konvencionalnim PIC programatorom prije nego što se novi firmver može poslati preko USB -a - u protivnom bih definitivno ponudio komplet, iako bi uključivao lemljenje na površinskoj ploči … Vratimo se na ThereminVision II - ako ste ga kupili u formi kompleta, slijedite (sjajne!) upute u pdf -u: priručnik ThereminVision II Postoji mnogo lijepih shema ožičenja koje ćete morati napraviti - jedino što ne prikazuje su veze sa CREATE USB sučeljem, pa ću fotografije koje sam napravio objaviti u sljedećih nekoliko koraka … oh, i dobio sam antene za ThereminVision (nisu uključene) od All Electronics.

Korak 3: Priprema muzičkog postolja

Učinite svoje multimodalno muzičko postolje od lijepog muzičkog postolja, poput prikazanog "stalka za dirigente", ili upotrijebite sve što vam je pri ruci - još bolje, napravite svoje!

Bez obzira koje postolje koristite, trebat će vam izolirani nosači za četiri antene na uglovima postolja. Počnite s bušenjem rupa u uglovima - montažni hardver koji sam postavio radio je s bušilicom od 1/4 , vaša će se vjerojatno razlikovati. Pokušajte držati prednji dio površine što je moguće ravnije kako biste izbjegli smetnje u notama.

Korak 4: Povezivanje senzorskih modula ThereminVision

O povezivanju ThereminVision "senzorskih" modula (555 vremenskih krugova) sa ThereminVision "procesorskim" modulom također se detaljnije govori u priručniku ThereminVision II, ali evo nekoliko slika procesa…

Korak 5: Spajanje ThereminVisiona na CREATE USB sučelje

Kao što smo vidjeli u posljednjem koraku, postoje 4 žice koje povezuju svaki od senzorskih modula s procesorskim modulom ThereminVision. Postoji i 6 žica koje povezuju procesorski modul ThereminVision sa CREATE USB sučeljem - to su napajanje, uzemljenje, izlaz senzora, odabir senzora A, odabir senzora B i zaustavljanje senzora.

Budući da će ThereminVision II napajati iz CREATE USB sučelja (koje pak dobiva napajanje iz USB -a), odlučio sam spojiti napajanje za svaki od senzorskih modula ThereminVision izravno na CREATE USB sučelje - to ga čini malo manje ptičjeg gnijezda na ožičenjima jer već postoji mnogo žica koje idu na procesorsku ploču TherminVision. Spojite "+" na ThereminVision-u na "5V" na CUI Connect-u "-" na ThereminVision-u na "GND" na CUI Connect-u "4" (podijeljeno sa 4 izlaza) na ThereminVision-u na "D7" na CUI Connect-u "SEL B" na ThereminVision -u na "D5" na CUI -u povežite "SEL A" na ThereminVision -u na "D4" na CUI -u Povežite "S" na ThereminVision -u na "D6" na CUI -u

Korak 6: Montirajte sve na postolje

Dakle, elektronika je gotova, sada je samo montirajte na postolje - postoji mnogo metoda za to, a možda ćete htjeti staviti svoju elektroniku u zaštitnu kutiju itd …

Evo nekoliko fotografija nekih od najjednostavnijih metoda montaže.

Korak 7: Ponovno učitavanje firmvera za ThereminVision u CUI

ThereminVision šalje vremenske signale za svoje senzore umjesto analognih izlaza (ili bilo koji od standardnih digitalnih protokola poput I2C ili SPI). Dakle, bio je potreban neki prilagođeni firmver za mjerenje vremena ovih signala … Prva verzija firmvera Multimodalnog muzičkog postolja nalazi se u donjoj zip datoteci, uključeni su i izvorni kod i kompajlirana heksadecimalna datoteka (zajedno s testnom zakrpom za Max/ MSP/Jitter): CUI -ThereminVision firmver Donji snimak ekrana prikazuje OS X program Boot Down Craiga Schimmela - pomoćni program za pokretanje sistema Macintosh za CUI. Ako ste na Windowsima, najjednostavnije je koristiti Microchipov vlastiti alat, PDFSUSB.exe koji se može preuzeti s njihove web stranice ili je uključen u ovaj primjer koda za CREATE USB sučelje. Da biste CUI stavili u "način podizanja sustava", držite pritisnuto dugme programa i pritisnite dugme za resetovanje (ili samo priključite USB kabl držeći dugme programa pritisnutim). Statusna LED dioda CUI -ja će neprestano treptati, što znači da je u načinu pokretanja pokretačkog programa. Sada možete koristiti Boot Down za slanje datoteke CUIEfieldBootDown.hex na CREATE USB Interface. Ako ikada želite promijeniti firmver za CREATE USB Interface na izvornik, on je ovdje, a postoje i drugi primjeri firmvera za CUI i ovdje.

Korak 8: Testiranje multimodalnog muzičkog postolja u Max/MSP/Jitteru

Otvorite primjer zakrpe u Max/MSP/Jitteru (30-dnevni demo možete preuzeti sa www.cycling74.com, a dostupna je i verzija za vrijeme izvođenja koja ne dopušta spremanje zakrpa) ili slijedite konvencije u Max zakrpi i napravite vlastiti zakrpu u PureData (Pd) … Jitter se koristi za prikaz 3D položaja gestualnih ulaza, gdje je osa z (prema i od postolja) preslikana u ukupni intenzitet sve 4 antene - nije previše naučno, ali radi! Podaci s pojedinačnih senzora također se šalju kao OSC na 127.0.0.1 (localhost) za upotrebu u drugim aplikacijama ako je potrebno. Korisni objekt u Max/MSP/Jitteru za filtriranje šiljaka iz podataka senzora (uzrokovanih električnim smetnjama) je "glatkiji" Tristana Jehana, koji se može preuzeti ovdje: glatkiji max objektTristanova web stranica također ima hrpu MSP vanjskih eksperata za Maxa koje koristimo za dio audio analize ulaza Multimodalnog muzičkog postolja - oni uključuju visinu ~, glasnoću ~, svjetlinu ~, buka ~, i sve-u-jednom analizator ~ objekt. Nakon što podaci uđu u Max, morat ćete individualno prilagoditi osjetljivost senzora ThereminVision s malim srebrnim odvijačem. Učinite to tako što ćete antene produžiti do kraja, a zatim okrenuti plavi trimpot u smjeru suprotnom od kazaljke na satu dok ne pređe u način rada "obrnuto detektovanje" - a zatim ga okretati unatrag u smjeru kazaljke na satu dok se ne vratite u normalni raspon sensinga. Mala prilagođavanja (ugađanje osjetljivosti, baš kao i ugađanje gitare) mogu se izvršiti promjenom dužine antena, tako da nećete morati nositi mali odvijač na koncerte sa sobom.

Korak 9: Upotreba multimodalnog muzičkog postolja u izvedbi! (i proširenje)

Ne zaboravite, za nove tehnike izvođenja koje Multimodalni muzički stalak omogućuje vježbanje i razvoj novih preslikavanja i ideja za ono što želite kontrolirati s njim! Također, ako želite proširiti svoj MMMS na druge vrste senzora, bit će moguće koristiti 13 analognih ulaza na CUI -u pored senzora ThereminVision u budućim verzijama MMMS firmvera, pa s nekim jednostavnim senzorima (klizači/gumbi/nožne papučice) ili drugim vrstama senzora (IR/ultrazvuk/itd.), oni se mogu koristiti zajedno sa audio ulazom i video zapisom na računaru. Trenutno firmver koristi protokol "serijski-preko-USB", ali na kraju je plan prebaciti se na protokol "HID" (uređaj za ljudski unos) koji obično koristi CREATE USB sučelje. Slobodno pridonesite trudu … Postoji sličan projekat otvorenog koda za otkrivanje E -polja (poznat i kao kapacitivno otkrivanje) koji koristi istu topologiju kola (zasnovanu na dizajnu ThereminVision) pod nazivom CapToolKit - koristi "mlađeg brata" "od PIC18F4550, PIC18F2550 koji nema toliko analognih ulaza (10 umjesto 13). Firmver za CapToolKit bit će malo drugačiji jer ne koristi procesorsku ploču ThereminVision. Koristimo jednostavnu firewire kameru (stil web kamere) montiranu na vrhu muzičkog postolja za optičko prepoznavanje fizičkih pokreta i detekciju pogleda - Ako zainteresovani za aspekte kompjuterskog vida ili audio analize i sinteze istraživanja naše grupe, pogledajte radove na web stranici Multimodal Music Stand. I molim vas objavite svoja iskustva ako izgradite Multimodalni muzički stalak … Sada imamo dva od njih na UCSB -u kao što je prikazano na donjoj fotografiji - bilo bi sjajno da ih ima više kompozicija, nastupa i muzičara! Dr JoAnn Kuchera-Morin napisala je prvu kompoziciju koja uključuje MMMS, koju je izvela flautistica Jill Felber na Eastman School of Music u martu 2007.