Организация и представление звука в мультимедиа

После обработки:

Флангер

Флангер — это практически тоже самое что и хорус (происходит небольшая задержка сигнала), только с обратной связью (feedback), т. е. задержка еще раз посылается в себя. Следовательно флангер с выключенным фидбэком становится хорусом.

После обработки:

Вокодер

Вокодер в первую очередь предназначен для работы с вокалом. Вам наверняка доводилось слышать голос «Робота» — это результат обработки вокала вокодером. Вокодер работает с двумя источниками: 
1) Голос, который нужно обработать. 
2) Источник синтезирующего звука — синтезатор, гитара, другой голос. 
Далее происходит смешивание этих двух сигналов: Анализируются форманты вокала (резонансные частоты голосового тракта) и передаются ко второму сигналу, который и придаёт голосу новый окрас тембра.

После обработки:

Реверсия

 

 

Обращение кривых по времени уже было рассмотрено ранее при описании эффекта реверсивной ревеберации. Примечательно то что полноценно обратить аудио запись в режиме реальной обработки звука практически невозможно. Звук должен быть записан и сохранён. После этого он обращается по времени. На изображении я выделил разноцветными участками одни и те же, но обращённые по времени части.

 

Панорамирование

 

Панорамирование, работа со стерео панорамой, производится как увеличением/уменьшением уровня громкости определённого канала, так и добавлением различных стерео эффектов (например стерео дилея).

Примечание: Не панорамируйте строго в правый и левый каналы звуки/партии инструментов с низкими частотами. Наш слуховой аппарат не способен различать их положение по панораме, так что они традиционно панорамируются в центре. Также при панорамировании следует помнить о частотных искажениях (см. статью панорамирование )

 

Подавление шума

 

В записях почти всегда есть шум. Для его подавления используются специальный инструменты. Выделяется часть аудио файла где нет ничего кроме шума, сохраняется образ (распределение шума по частотам и уровень шума). После чего выделяется весь аудиофайл, импортируется шумовой образ и файл очищяется от шума. Более подробно рассмотено например в статье: «звукозапись в домашних условиях«.

Примечание: Старайтесь использовать только качественные записи или полностью подавляйте шум, иначе шумы вылезут пи сужении динамического диапазона. Невозможно добиться качественного звучания композиции, созданной из некачественных материалов, с помощью плохих инструментов, без наличия опыта у создателя.

 

 

 

 

 

 

 

 

2. Форматы звуковых файлов медиаданных

 

Звук — это физическое природное явление, распространяющееся посредством колебаний воздуха и, следовательно, можно сказать, что мы имеем дело только с волновыми характеристиками. Задачей преобразования звука в электронный вид является повторение всех его этих самых волновых характеристик. Но электронный сигнал не является аналоговым, и может записываться посредством коротких дискретных значений. Пусть они имеют малый интервал между собой и практически неощутимы, на первый взгляд для человеческого уха, но мы должны всегда иметь в виду, что имеем дело только с эмуляцией природного явления именуемого звуком.

 

Такая запись именуется импульсно-кодовой модуляцией и являет собой последовательную запись дискретных значений. Разрядность устройства, исчисляемая в битах, говорит о том сколькими значениями одновременно в одном записанном дискрете, берется звук. Чем больше разрядность, тем больше звук соответствует оригиналу.  

Любой звуковой файл можно представить, чтобы Вам было наиболее понятно, как базу данных. Она имеет свою структуру, о параметрах которой указывается обычно вначале файла. Потом идет структурированный список значений по определенным полям. Иногда вместо значений стоят формулы, позволяющие уменьшать размер файла. Для того чтобы Вам было совсем понятно, скажу, что запись файла на жесткий диск подобна тому, как Вы набиваете таблицы в Microsoft Excel. Естественно данные файлы могут читать только специализированные программы, в которые заложен блок чтения.  
 
 
РСМ  
 
 
РСМ расшифровывается как pulse code modulation, что и является в переводе как импульсно-кодовая. Файлы именно с таким расширением встречаются довольно редко (я встречал только в программе 3D Audio). Но РСМ является основополагающей для всех звуковых файлов. Я бы не сказал, что это очень экономный метод для хранения данных на диске, но думаю, что от этого уже никогда точно не уйдешь, причем объемы современных винчестеров уже позволяют не обращать внимания на пару десятков мегабайт.  
 
 
DPCM  
 
 
Изыскания по поводу экономного хранения звуковых данных на диске. Если Вы встречаете данную аббревиатуру, то знайте, что имеете дело с разностным РСМ. В основе данного метода лежит та вполне оправданная идея, что вычисления гораздо более громоздки по сравнению с тем, что можно просто указать значения разности.  
 
 
АDPCM  
 
 
Адаптивный DPCM. Согласитесь, что при указании просто значений разности может возникнуть проблема с тем, что есть очень маленькие и очень большие значения. В результате, какие бы супер-точные измерения не были все равно имеет место искажение действительности. Поэтому в адаптивном методе добавлен коэффициэнт масштабируемости.  
 
 
WAV  
 
 
Самое простое хранилище дискретных даннных. Я бы сказал прямое. Один из типов файлов семейства RIFF. Помимо обычных дискретных значений, битности, количества каналов и значений уровней громкости в wav может быть указано еще множество параметров, о которых Вы, скорее всего, и не подозревали — это: метки позиций для синхронизации, общее количество дискретных значений, порядок воспроизведения различных частей звукового файла, а также есть место для того, чтобы Вы смогли разместить там текстовую информацию.  
 
 
RIFF  
 
 
Resource Interchange File Format. Уникальная система хранения любых структурированных данных.  
 
 
IFF  
 
 
Эта технология хранения данных проистекает от Amiga-систем. Interchange File Format. Почти то же, что и RIFF, только имеются некоторые нюансы. Начнем с того, что система Amiga — одна из первых, в которой стали задумываться о программно-сэмплерной эмуляции музыкальных инструментов. В результате, в данном файле звук делится на две части: то, что должно звучать вначале и элемент того, что идет за началом. В результате, звучит начало один раз, за тем повторяется второй кусок столько раз, сколько Вам нужно и нота может звучать бесконечно долго.  
 
 
MOD  
 
Файл хранит в себе короткий образец звука, который потом можно использовать в качестве шаблона для инструмента. Проще говоря прошитый в синтезатор сэмпл.  
 
AIF или AIFF

 
Audio Interchange File Format. Данный формат распространен  в системах Apple Macintosh и Silicon Graphics. Заключает  в себе сочетание MOD и WAV.  
 
AIFС или AIFF-С

 
Тот же AIFF, только с заданными параметрами сжатия (компрессии).  
 
 
AU  
 
 
Опять же та же гонка за экономией места. Структура файла намного проще, чем в wav, но там указан метод кодирования данных. Файлы очень мало «весят», за счет чего получили довольно широкое распространение в Интернете. Чаще всего Вы можете встретить параметры m-Law 8 кГц — моно. Но есть и 16-битные стерео-файлы с частотами 22050 и 44100 Гц. Это звуковой формат предназначен для работы со звуком в рабочих системах SUN, Linux и FreeBCD. 

 
MID  
 
Файл, хранящий в себе сообщения MIDI-системе, установленной на Вашем компьютере или в устройстве.  
 
МР3  
 
Самый скандальный формат за последнее время. Многие для объяснения параметров сжатия, которые в нем применяют, сравнивают его с jpeg для изображений. Там очень много наворотов в вычислениях, чего и не перечислишь, но коэффициэнт сжатия в 10-12 раз сказали о себе сами. Если говорят, что там есть качество, то могу сказать, что там его немного. Специалисты говорят о контурности звука как о самом большом недостатке данного формата. Действительно, если сравнивать музыку с изображением, то смысл остался, а мелкие нюансы ушли. Качество МР3 до сих пор вызывает много споров, но для «обычных немузыкальных» людей потери не ощутимы явно.  
 
VQF  
 
Хорошая альтернатива МР3, разве что менее распространенная. Есть и свои недостатки. Закодировать файл в VQF — процесс гораздо более долгий. К тому же, очень мало бесплатных программ, позволяющих работать с данным форматом файлов, что, собственно, и сказалось на его распространении.  
 
VOC  
 
Восьмибитный моно-формат от семейства SoundBlaster. Можно встретить в большом количестве старых программ, использующих звук (не музыкальных).  
 
НСОМ  
 
То же самое, что и VOC (восемь бит, моно), но только для Apple Macintosh.  
 
UL  
 
Стандартный формат U-Law. 8 кГц, 8 бит, моно.  
 
RA  
 
Real Audio или потоковая передача аудиоданных. Довольно распространенная система передачи звука в реальном времени через Интернет. Скорость пердачи порядка 1 Кб в секунду. Полученный звук обладает следующими параметрами: 8 или 16 бит и 8 или 11 кГц.  
 
 
SND  
 
 
Бывает двух видов. Один — это тот же AU для SUN и NeXT. Другой — это 8-мибитный моно-файл для РС и Маков с различной частотой дискретизации.

 

3. Программы реализации звука. Как известно из курса физики, звук — это воспринимаемые человеком колебания среды (воздуха или воды). Как и любая волна, звуковая волна характеризуется двумя основными параметрами — амплитудой (величиной колебания) и частотой (количеством колебаний за единицу времени). Эти параметры в физических звуковых волнах постоянно изменяются; воспринимая их, мы слышим звук.

Поскольку в природе звуковая волна непрерывна, для обработки звука на ЭВМ необходимо построить модель егооцифровки (дискретизации) — превращения в числовое (двоичное) представление и обратное преобразование — для воспроизведения.

Схема выполнения дискретизации и оцифровки звуковой волны

Для выполнения оцифровки звука он с помощью микрофона может переводиться и в электрические колебания. Процесс оцифровки звука — это составление таблицы замеров возникающего напряжения. Замеры выполняются через определенные равные промежутки времени. Для того чтобы охарактеризовать этот промежуток, указываютчастоту дискретизации — количество замеров за одну секунду. Точность оцифровки напрямую зависит от частоты: чем чаще замеры, тем точнее может быть передано колебание звука при воспроизведении. Понятно, что частота дискретизации не должна быть ниже частоты самого звука.

Второй параметр, от которого зависит точность воспроизведения, — это количество возможных градаций напряжения, которое зависит от количества битов, отведенных на запись значения.

Объем получающихся данных достаточно большой. Например, при записи 16-битного звука с частотой  
22 КГц одна минута звучания займет в памяти 60 секунд * 22 000 значений * 2 байта = 2 460 000 байт.

С появлением мини-ЭВМ, а позднее — персональных компьютеров, в составе аппаратных средств появились и средства, обеспечивающие взаимодействие компьютеров с простейшими генераторами звука — динамиками. Эти простейшие средства работы со звуком использовались в основном (и используются до сих пор) как средство диагностики и реакции на действия оператора системы.

Существовали также системы, служившие просто интерфейсом-преобразователем между портами ввода-вывода и звуковой системой. Такой интерфейс с помощью достаточно быстрого обновления статуса порта создавал колебания определенной частоты. Звук в этих системах мог быть только синтезированный, описанный в виде указания длительности колебаний определенной частоты. Подобная система не могла управлять амплитудой звука и воспроизводила звук очень неточно, что сильно ограничивало применимость таких систем.

Первые попытки применения систем работы со звуком на персональных компьютерах начались с появлением в конце 1980-х годов первой платы, позволявшей синтезировать звук: звукового устройства AdLib Music Synthesizer компании AdLib. Используя метод частотной модуляции, плата позволяла синтезировать звуки, примерно передающие несложные мелодии. Существенной особенностью стала поддержка взаимодействия с электронными инструментами — по стандарту MIDI. Плата также содержала и синтезатор звука, позволявший моделировать звучание нескольких музыкальных инструментов одновременно (т.е. нескольких голосов). В первой версии платы обеспечивалась возможность звучания 6 голосов.

Активное применение средств работы со звуком в повседневной практике началось с появлением в 1989 году доступной по цене платы расширения (позднее платы выпускались под торговой маркой SoundBlaster) компании Creative. Отличительной особенностью этой платы была возможность точного воспроизведения звука в достаточно широком диапазоне частот (от 22 Гц до 22 КГц) и с достаточно высокой частотой дискретизации — 2 кГц, 8 бит (воспроизведение) и 11 кГц, 8 бит (запись). Для кодирования звука в этих платах использовался метод импульсно-кодовой модуляции (Pulse-Code Modulation). Суть метода состоит в измерении значения сигнала с определенной частотой, которая равняется максимальному значению частоты изменения в измеряемом спектре. Точность кодирования в этом случае зависит, во-первых, от максимальной частоты дискретизации, а во-вторых — от разрядности.

При оцифровке звука таким способом точность передачи неизбежно падает — из-за неточностей округления уровня сигнала до целого и существования некоторого промежутка усреднения. Для уменьшения степени ошибки в современных системах применяют дельта-кодирование. При использовании этого метода записывается не уровень сигнала, а разница с предыдущим значением. Это позволяет сильно сократить ошибки, возникающие из-за ограничения на разрядность.

Появление доступного средства работы со звуком, в частности его ввода, вывода и синтеза, привело к появлению большого количества программ, использующих эти возможности.

Существенным направлением совершенствования системы работы со звуком являются средства воссоздания объемного звучания, т.е. такого воспроизведения звука, при котором его источники “локализуются” в окружающем слушателя пространстве. Первым средством такого рода было введение в 70-х годах стереозвука (двухканального воспроизведения).

Позже — сначала для кинотеатров, а после и для обычной техники — появились каналы и средства воспроизведения низких и сверхнизких частот, сабвуфера. Такая система представления звука получила обозначение “2.1-канальная” (2 основных и один дополнительный канал).

В более современных системах, например популярной DolbyDigital AC3, используется 5 каналов для звука обычных частот (левый, правый и центральный передние каналы, левый и правый задние каналы) и сабвуфер. Такие системы называют “5.1-канальными”.  

3.2. Обработка и синтез  звука

Среди современных программ обработки звука различают программы двух основных направлений: программы, предназначенные для обработки введенного звука (т.е. звука в виде оцифрованных колебаний), и программы, ориентированные на синтез звука.