Организация и представление звука в мультимедиа

Оцифрованный звук

Программы обработки волнового звука отображают звук в виде нескольких каналов (чаще всего двух — стереозвук). Такие программы позволяют выполнять монтаж звука из нескольких фрагментов, накладывать на звук различные эффекты (заглушать отдельные каналы или частоты, добавлять эхо, изменять громкость, смещать и т.п.). Таким образом, программа обеспечивает выполнение функций микшера (mixer — смеситель).

При обработке звука, используя статистические характеристики звучания, такие программы могут выполнять фильтрацию. Средства фильтрации позволяют избавиться от различных шумов и повысить общее качество звука.

Существенной особенностью программ обработки звука являются средства визуализации и анализа звукового файла.

Пример обработки оцифрованного звука в программе WaveLab

Помимо средств обработки уже записанного звука, эти программы имеют возможности для записи звука, т.е. получения его от драйвера звуковой карты с одновременной обработкой, и средства воспроизведения — проигрывания текущего результата обработки.

При вводе и выводе звука применяется программный аналог эквалайзера (equalizer — то, что делает равным, балансир) — устройства, регулирующего громкость звука в зависимости от его частоты. Эквалайзер подразумевает работу с несколькими диапазонами частот (полосами), не менее трех. Профессиональные программные эквалайзеры обеспечивают работу со сложными графиками преобразования, на которые наносится произвольное количество точек.

Большинство потребителей не редактирует звуковые файлы и, соответственно, применяет программы, обеспечивающие только воспроизведение звука, — плееры. Для достижения различных эффектов при воспроизведении в комплекте с плеерами поставляются заранее подготовленные наборы настроек эквалайзеров —пресеты (preset — предустановка).

Примеры программных средств работы с оцифрованным звуком

SoundForge, CuBase, Audacity, WaveLab

3.3. Программы синтеза  звука

Синтез звука, т.е. формирование звука на основании каких-либо формальных описаний, можно условно разделить на два направления.

Первое направление — это синтез мелодии на основании нот и инструмента, который ее должен исполнять. Поскольку сложные мелодии исполняются согласованно несколькими инструментами, то современные программы такого рода обеспечивают работу с несколькими голосами.

Для синтеза звука в этом случае применяются средства, получившие названия секвенсоров (синтезаторов). Такое средство синтезирует звук на основе указания тона (ноты), времени ее звучания и образца звучания того или иного инструмента. Образец звучания называется сэмплом (sample — пример, образец).

Для обеспечения качественного звучания большого количества разнообразных инструментов разрабатываются специальные библиотеки образцов-сэмплов. Современные звуковые карты обладают собственной памятью, позволяющей загружать такие библиотеки от сторонних разработчиков и процессорами, выполняющими синтез звука.

При хранении и обмене синтезируемая мелодия описывается стандартизированным набором команд, получившим название MIDI (Musical Instrument Digital Interface). Стандарт включает в себя протоколы взаимодействия аппаратных средств (например, звуковой карты и отдельного устройства-синтезатора) и описание формата хранения файлов.

Для ввода мелодии в стандарте MIDI в компьютер применяется специальное средство ввода — MIDI-клавиатура. Фактически она похожа на клавиатуру пианино, но предназначена для передачи соответствующих нот звуковой карте — для последующего синтеза звука заданным инструментом. Программы синтеза мелодий отображают набранные ноты в соответствии с музыкальной нотацией и позволяют редактировать их.

Пример описния мелодии в программе Guitar Pro 5

Примеры программных средств синтеза звука

Cakewalk Sonar, Guitar Pro, Rosegarden

3.4. Представление видеоданных

Видеоизображение — одно из самых эффективных и самых требовательных средств представления информации.

При обработке и просмотре видеоизображения с помощью компьютера оно представляется в виде последовательности кадров. При частоте показа кадров более 24 раз в секунду смена становится для человеческого восприятия незаметной, что позволяет добиться плавного движения. Качество видеоряда с технической точки зрения определяется цветовым разрешением кадров, их пространственным разрешением и частотой смены. Таким образом, видеоданные, сохраненные с высоким качеством, требуют много места для хранения и больших вычислительных ресурсов для обработки.

До 90-х годов основными методами представления видеоданных были аналоговые методы. Обработка и редактирование данных выполнялись с помощью подхода, который сейчас называется линейный видеомонтаж(Linear Video Editing). При этом подходе данные всегда поступают на вход системы обработки последовательно, и система не может произвольно выбирать материалы, то есть монтаж из нескольких фрагментов выполняется всегда линейно.

Первоначально цифровые технологии применялись для создания отдельных элементов видеоизображений (в частности, трехмерных моделей). Существенным условием обработки реальных видеозаписей было появление специализированных плат видеозахвата, выполнявших функции аналого-цифрового преобразования (для ввода), цифро-аналогового (для вывода) и имевших в своем составе средства аппаратного сжатия. Наличие таких плат позволило сжимать видеопоток до приемлемой величины с той скоростью, с которой он поступал на вход.

С появлением таких плат появились и получили широкое распространение средства нелинейного видеомонтажа, т.е. средства, позволяющие в любой момент обратиться к любому фрагменту обрабатываемых материалов и преобразовывать их для получения итогового видеоизображения.

Создание видеофайла в программе Movie Maker.  
На рисунке отмечены основные средства выполнения видеомонтажа

При захвате видеосигнала его необходимо сохранить на некотором цифровом носителе. Формат хранения видеофайлов подразумевает обязательное использование средств сжатия видеоизображения. В настоящий момент существует большое количество различных средств сжатия видеоданных (см. “Методы сжатия”). Некоторые файловые форматы подразумевают использование определенных средств кодирования (Windows Media Video, Motion Picture Group), некоторые являются контейнерами для хранения содержимого с различными методами сжатия (Audio Video Interleave — чередование аудио и видео).

Средства проигрывания, как правило, используют для отображения такого видеосодержимого специализированные программы кодирования-декодирования (кодеки). При отсутствии средства декодирования просмотр созданного файла становится невозможным.

Существенной особенностью средств нелинейного видеомонтажа является возможность создавать и применять сложные эффекты: преобразование видеопотока или взаимодействие нескольких фрагментов. В состав этого программного обеспечения входят и средства работы со звуковой дорожкой, ее замены и синхронизации с видеоизображением.

Программные средства выполнения видеомонтажа включают в себя средства получения видеоизображения из внешних источников и из хранимых файлов, организации последовательности показа с помощью временноRй шкалы, возможность указывать как свойства фрагментов применяемые к ним видеоэффекты (появления, изменения кадров и т.п.), возможность указывать способ замены одного фрагмента другим, добавлять текстовые надписи и звуковую дорожку.

Активное применение и большие возможности систем нелинейного видеомонтажа привели к тому, что постепенно большая часть задач по обработке видеосигнала стала выполняться с помощью цифровых средств. Появились и завоевали большую популярность цифровые средства для съемки и записи видео. Основным форматом кодирования и записи в этом случае является формат Digital Video, предполагающий отдельное сжатие каждого кадра с помощью алгоритма на базе JPEG. Применение этого формата позволяет не использовать специализированные платы видеозахвата, а ограничиться обычными средствами подключения высокоскоростных устройств (в частности, универсальной шиной USB 2.0 или IEEE 1394, FireWire).

Все это позволило значительно упростить обработку видеосигнала, предоставить даже непрофессиональным пользователям широкие возможности создания и редактирования видео.

 

Редакторы цифрового аудио. Основные возможности таких программ это, как минимум, обеспечение возможности записи (оцифровки) аудио и сохранение на диск. Развитые представители такого рода программ позволяют намного больше: запись, многоканальное сведение аудио на нескольких виртуальных дорожках, обработка специальными эффектами (как встроенными, так и подключаемыми извне – об этом позже), очистка от шумов, имеют развитую навигацию и инструментарий в виде спектроскопа и прочих виртуальных приборов, управление/управляемость внешними устройствами, преобразование аудио из формата в формат, генерация сигналов, запись на компакт диски и многое другое. Некоторые из таких программ: Cool Edit Pro (Syntrillium), Sound Forge (Sonic Foundry), Nuendo (Steinberg), Samplitude Producer (Magix), Wavelab (Steinberg), Dart.

Основные возможности редактора Cool Edit Pro 2.0 (см. Скриншот 1 - пример рабочего окна программы в многодорожечном режиме): редактирование и сведение аудио на 128 дорожках, 45 встроенных DSP-эффектов, включая инструменты для мастеринга, анализа и реставрации аудио, 32-битная обработка, поддержка аудио с параметрами 24 бит / 192 КГц, мощный инструментарии для работы с петлями (loops), поддержка DirectX, а также управление SMPTE/MTC, поддержка работы с видео и MIDI и прочее.

 

скриншот 1.

 

Основные возможности редактора Sound Forge 6.0a (см. Скриншот 2 - пример рабочего окна программы): мощные возможности не деструктивного редактирования, многозадачная фоновая обработка заданий, поддержка файлов с параметрами до 32 бит / 192 КГц, менеджер предустановок, поддержка файлов более 4 Гб, работа с видео, большой набор эффектов обработки, восстановление после зависаний, предпрослушивание примененных эффектов, спектральный анализатор и прочее.

сриншот 2

 

Специализированные реставраторы аудио играют также немаловажную роль в обработке звука. Такие программы позволяют восстановить утерянное качество звучания аудио материала, удалить нежелательные щелчки, шумы, треск, специфические помехи записей с аудио-кассет, и провести другую корректировку аудио. Программы подобного рода: Dart, Clean (от Steinberg Inc.), Audio Cleaning Lab. (от Magix Ent.), Wave Corrector.

Основные возможности реставратора Clean 3.0 (см. Скриншот 3 – рабочее окно программы): устранение всевозможных потрескиваний и шумов, режим автокоррекции, набор эффектов для обработки скорректированного звука, включая функцию «surround sound» с наглядным акустическим моделированием эффекта, запись CD с подготовленными данными, «интеллигентная» система подсказок, поддержка внешних VST плаг-инов и другие возможности.