Pattr

От MIDI-контроллеров к Музыкальному Мэппингу. Преамбула

Давайте представим себе, что идеальный мир уже наступил. Клавиатур, мышей, мономов и прочего хлама больше нет, управление компьютерами осуществляется с помощью мысли, электричество добывается экологически чистыми способами, люди по скайпу общаются с родственниками на Марсе, одежда после стирки не садится и так далее... Как вы думаете, как должны измениться музыканты в таком мире? Какими они должны пользоваться инструментами?

На написание данной статьи меня «вдохновили» два поста в социальных сетях, в которых находились ссылки на «новые» и «современные» инструменты: PocoPoco и LinnInstrument. Эти инструменты демонстрируют две основные тенденции в создании инструментов. Первая — это хипстерские инструменты, основной фишкой которых является красивый внешний вид и простой функционал, справиться с которым могут даже дети. Яркими представителем этой группы является Monome, матрица кнопок с подсветкой, для производства которой используются экологически чистые материалы. Сюда же можно отнести многочисленные казуальные приложения для мобильных устройств, а также всякие Monotribe и им подобные. Что касается PocoPoco, то я бы охарактеризовал этот инструмент, как форк монома с круглыми кнопочками, которые можно крутить, когда они приподнимаются из корпуса.

Суть второй тенденции заключается в том, что большинство инструментов предлагают (иногда немного переиначивая) фортепианную клавиатуру, как единственную доступную форму взаимодействия музыканта и инструмента. Приведенный выше LinnInstrument является ярким тому подтверждением. «Революционный» мультитач инструмент, ось X контролирует питч, ось Y — тембр и сила нажатия — громкость. Мультитач-экран может принимать вид Note Grid, Guitar, Piano, Drum Pad, а также сетки из шестиугольников (к слову, левая клавиатура баяна имеет похожее расположение клавиш). До боли знакомыe слова, не правда ли? Я уверен, что в большинстве случаев купившие этот девайс люди будут играть светскую музыку 18-го века или наяривать ритмы в духе Araabmuzik. А все потому, что инструмент не предлагает музыканту ничего нового: одновременно нажимая дискретные ноты, создаются аккорды, которые далее, превращаясь в MIDI, поступают в синтезатор. Клавишеориентированность так прочно закрепилась в умах людей, что сегодня уже сложно представить, что может быть что-то другое. В этой статье я хочу показать другой подход к использования компьютера в качестве музыкального инструмента. Статья получилась большой, поэтому было принято решение разделить ее на две части. В первой будет рассказано о гиперинструментах, приведены реальные примеры, а во второй будет подробно рассказано о том, как они устроены со стороны программного обеспечения.

Пара слов о гиперинструментах

«Расширение возможностей человеческой выразительности является наиболее важной целью любых технологических исследований в области искусства» — Тод Маковер [1].

Собственно, Гиперинструмент — это результат одних из таких исследований. Термин был придуман Тодом Маковером (Tod Machover) в середине 80-х. Примерно в то же время (1987 год) им был инициирован проект в MIT Media Lab под названием "Hyperinstrument", в рамках которого создавались инструменты, программное обеспечение, а также проводились концерты музыкантов и даже одна опера [2]. Подробнее о нем можно узнать из технического отчета MIT Media Lab [1], который изобилирует различными техническими деталями проекта, но в то же время весьма интересен и читается на одном дыхании (ну, почти на одном дыхании).

Классический Гиперинструмент представляет собой расширенный с помощью различных датчиков «аналоговый» инструмент. Эти датчики собирают информацию о действиях (жестах) исполнителя и передают ее компьютерной программе для дальнейшей обработки и подготовки к использованию со звуковым модулем. Это может быть информация о положении руки музыканта на грифе виолончели (в каком месте, на какой струне), скорость, направление движения и сила давления на гриф смычка, а также аудио-дескрипторы, полученные из спектрального анализа звука, — в общем все, что может дать реальное представление о действиях музыканта. Затем эти данные преобразуются с помощью мэппинга (подробнее о нем будет рассказано в следующей статье) в команды, понятные звуковому модулю, который уже генерирует звук.

Стоит отметить, что при классическом подходе конечной целью дополнения инструмента является расширение музыкальных техник опытных музыкантов, иными словами, Гиперинструмент разрабатывается с учетом уже существующих приемов игры и жестов исполнителей. Это симбиоз акустических инструментов и цифровых технологий.

Примеры Гиперинструментов (а также ссылки на их детальное описание) можно посмотреть на английской википедии; также рекомендую просмотреть игру Yo-Yo Ma на гипервиолончели.

Дальнейшене развитие идеи

Вдохновившись идеями Тода Маковера и его команды, многие музыканты, изобретатели и перформеры начали пробовать себя в новой области. В ходе их экспериментов первоначальная идея эволюционировала. Новые инструменты были уже не просто «расширениями» для опытных музыкантов, обогащающие словарь исполнительских жестов, — это были чисто синтетические инструменты, целью создания которых было исследование новых форм взаимодействия. Вот несколько примеров.

The Hands by Michel Waisvisz

Инструмент, разработанный в STEIM в далеком 1984 году (автор совершенствовал его на протяжении продолжительного времени), представляет собой два контроллера, каждый из которых имеет небольшую клавиатуру, датчик давления, управляемый большим пальцем, а также датчики, определяющие дрожание рук и расстояние между двумя контроллерами.

Michel использовал его для управления синтезатором через MIDI, а также изменения собственного голоса. Видео выступления можно посмотреть, например, здесь.

Контроллер The Hands by Machel Waisvisz

Lady's Glove by Laetitia Sonami

Первая версия этой перчатки появились в 1991 году. Она имеет флексометр и датчики Холла на концах пальцев. Датчики чувствительны к магнитному полю; на правой руке перформера находился магнит, и когда пальцы подносились к нему, датчики начинали генерировать напряжение, которое в дальнейшем преобразовывалось в MIDI-данные.

Всего существовало пять версий этой перчатки, две последних делал Ben Bogers (создатель многих инструментов в STEIM). Видео выступления можно посмотреть по ссылке.

Контроллер Lady's Glove by Laetitia Sonami

The "Conductor's Jacket" by Teresa Marrin and Rosalind Picard (1998)

Весьма необычный девайс, созданный в недрах MIT, представляющий из себя подобие куртки, в которую вшиты ЭМГ-сенсоры, снимающие мышечную активность бицепсов и трицепсов дирижера. Кроме того анализировались частота биения сердца и кожно-гальваническая реакция.

Интересная момент: в ходе экспериментов выяснилось, что кожно-гальваническая реакция практически ничего не говорила о действиях дирижера за исключением моментов, когда он делал ошибки — тогда КГР показывала максимальные показатели.

К сожалению, видео выступления мне найти не удалось.

The Conductor's Jacket by Teresa Marrin and Rosalind Picard (1998)

Karlax by Da Fact

В отличие от предыдущих инструментов, этот не является экспериментом и его можно купить за 4700 евро. Сам девайс состоит из двух наборов кнопок (в чем-то идея схожа с The Hands), гироскопа, датчика движения, установленных на разных концах устройства, что позволяет точно определять, куда направлено движение, а также сам корпус состоит из двух частей, которые вращаются друг относительно друга. Также есть занятное видео, в котором Том Мэйс рассказывает, как он использует Karlax.

Hervé Diasnas dances with Karlax from da fact on Vimeo.

Zz

Напоследок хочу отметить, что хоть изначально гиперинструменты и разрабатывались исключительно для опытных музыкантов, Тод Маковер и его команда активно создают инструменты, с помощью которых музыку может делать любой человек. В качестве примеров можно привести проекты Brain Opera и Toy Symphony; кстати, Guitar Hero также вышел из недр MIT Media Lab. Также весьма примечательна программа Hyperscore — музыкальный редактор, в котором музыку можно буквально рисовать. Она была создана для того, чтобы раскрыть творческий потенциал детей, которые, как известно, обладают безграничной фантазией, еще не скованной взрослым шаблонным мышлением. Маковер верит, что любой человек может делать музыку, и что музыка может изменить человека.

Референсы

  • [1] Machover, Tod. Hyperinstruments. A Progress Report 1987-1991. MIT Media Lab. 1992.
  • [2] Valis: an opera by Tod Machover (есть, кстати, на CD).
22 Sep 2012  OSCII