Мультимедиасистемы и их характеристика

Мультимедиа — это интерактивные системы, обеспечивающие работу с неподвижными изображениями и движущимся видео, анимированной компьютерной графикой и текстом, речью и высококачественным звуком.

Появление систем мультимедиа, безусловно, производит революционные изменения в таких  областях, как образование, компьютерный тренинг, во многих сферах профессиональной деятельности, науки, искусства, в компьютерных играх и т.д.

Появление систем мультимедиа подготовлено как  с требованиями практики, так и  с развитием теории. Однако, резкий рывок в этом направлении, произошедший в этом направлении за последние  несколько лет, обеспечен прежде всего развитием технических и системных средств. Это и прогресс в развитии ПЭВМ: резко возросшие объем памяти, быстродействие, графические возможности, характеристики внешней памяти, и достижения в области видеотехники, лазерных дисков — аналоговых и CD-ROM, а также их массовое внедрение. Важную роль сыграла так же разработка методов быстрого и эффективного сжатия / развертки данных.

Современный мультимедиа–ПК в полном “вооружении” напоминает домашний стереофонический Hi–Fi комплекс, объединенный с дисплеем–телевизором. Он укомплектован активными стереофоническими колонками, микрофоном и дисководом для оптических компакт–дисков CD–ROM (CD — Compact Disc, компакт–диск; ROM — Read only Memory, память только для считывания). Кроме того, внутри компьютера укрыто новое для ПК устройство — аудиоадаптер, позволивший перейти к прослушиванию чистых стереофонических звуков через акустические колонки с встроенными усилителями.

Рассмотрим  некоторые технические вопросы, касающиеся мультимедиа. Основная проблема, из которой “растут” все основные — совместная обработка разнородных  данных: цифровых и аналоговых, “живого” видео и неподвижных изображений  и т.п. В компьютере все данные хранятся в цифровой форме, в то время  как теле-, видео- и большинство аудиоаппаратуры имеет дело с аналоговым сигналом. Однако выходные устройства компьютера — мониторы и динамики имеют аналоговый выход. Поэтому простейший и наиболее дешевый путь построения первых систем мультимедиа состоял в стыковке разнородной аппаратуры с компьютером, предоставлении компьютеру возможностей управления этими устройствами, совмещении выходных сигналов компьютера и видео- и аудиоустройств и обеспечении их нормальной совместной работы. Дальнейшее развитие мультимедиа происходит в направлении объединения разнородных типов данных в цифровой форме на одной среде-носителе, в рамках одной системы.

ВИДЕО

При смешении сигналов основные проблемы возникают  с видео–изображением. Различные ТВ–стандарты, существующие в мире (NTSC, PAL, SECAM), применение разных мониторов и видеоконтроллеров диктует разнообразие подходов в разрешении возникающих проблем. Однако в любом случае требуется синхронизация двух изображений, для чего служит устройство генлок (genlock). С его помощью на экране монитора могут быть совмещены изображение, сгенерированное компьютером (анимированная или неподвижная графика, текст, титры), и “живое” видео. Если добавить еще одно устройство — кодер (encoder), компьютерное изображение может быть преобразовано в форму ТВ–сигнала и записано на видеопленку. "Настольные видео–студии”, являющиеся одним из примеров применения систем мультимедиа, позволяют готовить совмещенные видео–компьютерные клипы, титры для видеофильмов, помогают при монтаже кинофильмов.

Системы такого рода не позволяют как-то обрабатывать или редактировать само аналоговое изображение. Для того, чтобы это стало возможным, его необходимо оцифровать и ввести в память компьютера. Для этого служат так называемые платы захвата (capture board, frame grabbers). Оцифровка аналоговых сигналов порождает огромные массивы данных. Так, кадр стандарта NTSC (525 строк), преобразованный платой типа Truevision, превращается в компьютерное изображение с разрешением 512x482 пиксель. Если каждая точка представлена 8 битами, то для хранения всей картинки требуется около 250 Кбайт памяти, причем падает качество изображения, так как обеспечивается только 256 различных цветов. Считается, что для адекватной передачи исходного изображения требуется 16 млн. оттенков, поэтому используется 24-битовый формат хранения цветной картинки, а необходимый размер памяти возрастает. Оцифрованный кадр может затем быть изменен, отредактирован обычным графическим редактором, могут быть убраны или добавлены детали, изменены цвета, масштабы, добавлены спецэффекты, типа мозаики, инверсии и т.д. Естественно, интерактивная экранная обработка возможна лишь в пределах разрешения, обеспечиваемого данным конкретным видеоадаптером. Обработанные кадры могут быть записаны на диск в каком–либо графическом формате и затем использоваться в качестве реалистического неподвижного фона для компьютерной анимации. Возможна также покадровая обработка исходного изображения и вывод обратно на видеопленку для создания псевдореалистического мультфильма.

Запись  последовательности кадров в цифровом виде требует от компьютера больших  объемов внешней памяти: частота  кадров в американском ТВ–стандарте NTSC — 30 кадров/с (PAL, SECAM — 25 кадров/с), так  что для запоминания одной  секунды полноцветного полноэкранного видео требуется 20–30 Мбайт, а оптический диск емкостью 600 Мбайт вместит менее полминуты изображения. Но последовательность кадров недостаточно только запомнить, ее надо еще вывести на экран в соответствующем темпе. Подобной скоростью передачи информации — около 30 Мбайт / с — не обладает ни одно из существующих внешних запоминающих устройств. Чтобы выводить на экран компьютера оцифрованное видео, приходится идти на уменьшение объема передаваемых данных, (вывод уменьшенного изображения в небольшом окне, снижение частоты кадровой развертки до 10–15 кадров / с, уменьшение числа бит / пиксель), что, в свою очередь приводит к ухудшению качества изображения.

Более радикально обе проблемы — памяти и пропускной способности — решаются с помощью методов сжатия / развертки  данных, которые позволяют сжимать  информацию перед записью на внешнее  устройство, а затем считывать  и разворачивать в реальном режиме времени при выводе на экран. Так, для движущихся видео–изображений существующие адаптивные разностные алгоритмы могут сжимать данные с коэффициентом порядка 100:1— 160:1, что позволяет разместить на CD–ROM около часа полноценного озвученного видео. Работа этих алгоритмов основана на том, что обычно последующий кадр отличается от предыдущего лишь некоторыми деталями, поэтому, взяв какой–то кадр за базовый, для следующих можно хранить только относительные изменения. При значительных изменениях кадра, например, при монтажной склейке, наезде или панорамировании камеры, автоматически выбирается новый базовый кадр. Для статических изображений коэффициент сжатия, естественно, ниже — порядка 20–30:1. Для аудиоданных применяют свои методы компрессии.

Существует  симметричная и асимметричная схемы  сжатия данных. При асимметричной схеме информация сжимается в автономном режиме (т.е. одна секунда исходного видео сжимается в течение нескольких секунд или даже минут мощными параллельными компьютерами и помещается на внешний носитель, например CD–ROM. На машинах пользователей устанавливаются сравнительно дешевые платы декодирования, обеспечивающие воспроизведение информации мультимедиа в реальном времени. Использование такой схемы увеличивает коэффициент сжатия, улучшает качество изображения, однако пользователь лишен возможности разрабатывать собственные продукты мультимедиа. При симметричной схеме сжатие и развертка происходят в реальном времени на машине пользователя, благодаря чему за персональными компьютерами и в этом случае сохраняется их основополагающее достоинство: с их помощью любой пользователь имеет возможность производить собственную продукцию, в том числе и коммерческую, не выходя из дома. Правда, при симметричной схеме несколько падает качество изображения: появляются “смазанные” цвета, картинка как бы расфокусируется. С развитием технологии эта проблема постепенно уходит, однако пока иногда предпочитают смешанную схему, при которой разработчик продукта готовит, отлаживает и испытывает продукт мультимедиа на своей машине с симметричной схемой, а затем “полуфабрикат” в стандартном формате отсылается на фирму, где его подвергают сжатию на мощном компьютере, с использованием более совершенных алгоритмов и помещают результирующий продукт на CD–ROM.

В настоящее  время целый ряд фирм активно  ведет разработку алгоритмов сжатия видеоинформации, стремясь достичь  коэффициента сжатия порядка 200:1 и выше. В основе наиболее эффективных алгоритмов лежат различные адаптивные варианты: DCT (Discrete Cosine Transform, дискретное косинус–преобразование), DPCM (Differential Pulse Code Modulation, разностная импульсно–кодовая модуляция), а также фрактальные методы. Алгоритмы реализуются аппаратно — в виде специальных микросхем, или “firmware” — записанной в ПЗУ программы, либо чисто программно.

Разностные  алгоритмы сжатия применимы не только к видео–изображениям, но и к компьютерной графике, что дает возможность применять на обычных персональных компьютерах новый для них вид анимации, а именно покадровую запись рисованных мультфильмов большой продолжительности. Эти мультфильмы могут хранится на диске, а при воспроизведении считываться, распаковываться и выдаваться на экран в реальном времени, обеспечивая те же необходимые для плавного изображения 25–30 кадров в секунду.

При использовании  специальных видео–адаптеров (видеобластеров) мультимедиа–ПК становятся центром бытовой видео–системы, конкурирующей с самым совершенным телевизором.

Новейшие  видеоадаптеры имеют средства связи  с источниками телевизионных  сигналов и встроенные системы захвата  кадра (компрессии / декомпрессии видеосигналов) в реальном масштабе времени, т.е. практически  мгновенно. Видеоадаптеры имеют  быструю видеопамять от 2 до 4 Мбайт  и специальные графические ускорители процессоры. Это позволяет получать до 30–50 кадров в секунду и обеспечить вывод подвижных полноэкранных  изображений.

АУДИО

Любой мультимедиа–ПК имеет в своем  составе плату–аудиоадаптер. Для чего она нужна? С легкой руки фирмы Creative Labs (Сингапур), назвавшей свои первые аудиоадаптеры звонким словом Sound Blaster, эти устройства часто именуются “саундбластерами”. Аудиоадаптер дал компьютеру не только стереофоническое звучание, но и возможность записи на внешние носители звуковых сигналов. Как уже было сказано ранее, дисковые накопители ПК совсем не подходят для записи обычных (аналоговых) звуковых сигналов, так как рассчитаны для записи только цифровых сигналов, которые практически не искажаются при их передаче по линиям связи.

Аудиоадаптер имеет аналого–цифровой преобразователь (АЦП), периодически определяющий уровень звукового сигнала и превращающий этот отсчет в цифровой код. Он и записывается на внешний носитель уже как цифровой сигнал.

Цифровые  выборки реального звукового  сигнала хранятся в памяти компьютера (например, в виде WAV–файлов). Считанный  с диска цифровой сигнал подается на цифро–аналоговый преобразователь (ЦАП), который преобразует цифровые сигналы в аналоговые. После фильтрации их можно усилить и подать на акустические колонки для воспроизведения. Важными параметрами аудиоадаптера являются частота квантования звуковых сигналов и разрядность квантования.

Частоты квантования показывают, сколько  раз в секунду берутся выборки  сигнала для преобразования в  цифровой код. Обычно они лежат в  пределах от 4–5 КГц до 45–48 КГц.

Разрядность квантования характеризует число  ступеней квантования и изменяется степенью числа 2. Так, 8–разрядные аудиоадаптеры имеют 2⁸=256 степеней, что явно недостаточно для высококачественного кодирования звуковых сигналов. Поэтому сейчас применяются в основном 16-разрядные аудиоадаптеры, имеющие 2¹⁶ =65536 ступеней квантования — как у звукового компакт–диска.

Таблица 1.

Другой  способ воспроизведения звука заключается  в его синтезе. При поступлении  на синтезатор некоторой управляющей  информации по ней формируется соответствующий  выходной сигнал. Современные аудиоадаптеры синтезируют музыкальные звуки двумя способами: методом частотной модуляции FM (Frequency Modulation) и с помощью волнового синтеза (выбирая звуки из таблицы звуков, Wave Table). Второй способ обеспечивает более натуральное звучание.

Частотный синтез (FM) появился в 1974 году (PC–Speaker). В 1985 году появился AdLib, который, используя частотную модуляцию, был способен играть музыку. Новая звуковая карта SoundBlaster уже могла записывать и воспроизводить звук. Стандартный FM–синтез имеет средние звуковые характеристики, поэтому на картах устанавливаются сложные системы фильтров против возможных звуковых помех.

Суть  технологии WT–синтеза состоит в  следующем. На самой звуковой карте  устанавливается модуль ПЗУ с  “зашитыми” в него образцами звучания настоящих музыкальных инструментов — сэмплами, а WT–процессор с помощью специальных алгоритмов даже по одному тону инструмента воспроизводит все его остальные звуки. Кроме того многие производители оснащают свои звуковые карты модуляторами ОЗУ, так что есть возможность не только записывать произвольные сэмплы, но и подгружать новые инструменты.