Аппаратные и программные средства разработки мультимедийных продуктов

        Итак, важный параметр звуковых плат мультимедиа (аудиоадаптеров) -

разрядность их аналого-цифрового преобразователя (АЦП). Другой не менее

важный  параметр - частота квантования. Сколько  дискретных значений сигнала надо получить за период сигнала? На этот вопрос можно ответить точно, если сигнал является периодическим - например всем знакомой синусоидой.

        Чтобы можно было принципиально судить о величине (амплитуде) синусоидального сигнала, мы должны взять минимум две его выборки в моменты времени, соответствующие максимуму и минимуму синусоиды. По этим двум значениям с помощью фильтра можно восстановить синусоиду. Естественно, что синусоида с большим периодом представляется уже множеством выборок, что дает лучшее приближение. Восстановление аналогового представления сигнала по его цифровому выполняется с помощью цифро-аналоговых преобразователей (ЦАП) и фильтров, подавляющих шумы квантования, расположенные в области высоких частот. 

2.3. Манипуляторы

        Простым, удобным и популярным средством для управления компьютером является мышь. Это устройство с проводом по внешнему виду и характеру перемещений действительно похоже на мелкое животное, в честь которого оно названо. Однако в отличие от вредного грызуна компьютерная мышь – весьма полезное устройство ввода информации в компьютер, позволяющее во многих случаях практически полностью заменить громоздкую клавиатуру. И это при том, что мышь имеет всего две-три клавиши, а используют из них обычно одну.

        Разнообразные применения мышки основаны на преобразовании направления и скорости перемещения кисти руки в управляющие сигналы. Водит пользователь мышкой по коврику взад-вперёд и вправо-влево, изредка нажимая при этом пальцем на клавишу – а компьютер выполняет задаваемые этими действиями операции. Конечно же, мышь по своей сути – вследствие простоты управления компьютером, чем клавиатура, хотя они и не всегда взаимозаменяемы. Особенно удобно работать мышью с графическими программами и с таблицами. Мышь может иметь две или три кнопки. Чувствительность мыши характеризующей разрешающей способностью. В некоторых ситуациях оказывается удобным работать ножной мышью. Такая мышь представляет собой две педали для ног, одна из которых управляет перемещением курсора, а другая заменяет кнопки. Конечно же, не каждый сможет столь же ловко управляться с ножной мышью, как с ручной. Однако

неоспоримым достоинством ножной мыши является то, что она позволяет высвободить руки для более важных занятий. И совсем незаменимой она становится тогда, когда руками невозможно воспользоваться из-за болезни или по другим обстоятельствам.

        Существуют не только механические мышки, но и оптические, в которых направление и скорость движения определяется по отражению света от специального коврика. Бывают беспроводные мышки и даже миниатюрные беспроводные мышки, которые при работе одевают на палец как перстень.

        Шаровой манипулятор выполняет ту же работу, что и мышь. Да и внешне он выглядит как механическая компьютерная мышь, перевёрнутая на спину. Шарик, по которому ездит мышь и который находится у неё внизу, у манипулятора расположен на виду – сверху. Он вмонтирован обычно в корпус компьютера или в клавиатуру. Для управления компьютером этот шарик вращают в разных направлениях пальцами. Рядом с шариком размещены клавиши манипулятора.

        Одни люди предпочитают работать мышью, другие – шаровым манипулятором.

        Манипулятор более точен, чем мышь, поскольку шарик в нём крупнее, да и вращают его более чувствительными пальцами, а не грубой кистью. Если компьютер используется для игровых и тренажёрных задач, а также в

некоторых случаях, то для управления перемещением объекта по экрану удобно пользоваться специальной ручкой, имеющей название джойстик – в буквальном переводе палочка радости. Эта ручка похожа на одну из ручек пилота в кабине самолёта. Впрочем, джойстиком называют не только ручку, но и другие конструктивные варианты устройства со сходными функциями. Придумали даже джойстик, с которым можно работать на весу, похаживая по комнате. Джойстик применяется во многих играх с примитивным сюжетом. Простейший джойстик по принципам действия похож на клавиши. И возможности его близки к возможностям клавиатуры. В такой ситуации опытный пользователь может предпочесть клавиатуру, а новичку более привычным может показаться джойстик. Более интересные возможности открывает джойстик с пропорциональным управлением, при котором скорость перемещения рукоятки джойстика пропорциональна скорости перемещения.

        Современные джойстики делят на пять конструктивных вариантов. Они могут быть выполнены в виде самолётной ручки управления или штурвала, а также бывают кнопочными, настольными и комбинированными.

2.4. Виртуальная реальность

·        Очки виртуальной реальности.

        Самые ранние - это красно-синие очки. В игровой индустрии применяются они не часто, т.к. игру с самого начала надо делать под них. И, что отрадно, игра не требует мощных систем: отлично идёт на Р133&16 Мб RAM. Существуют и более сложные очки. Принцип их действия заключается в следующем. На экран выводится изображение для одного глаза в тот момент, когда очки затемняют другой. И, поочередно показывая для каждого глаза свое изображение, очки создают иллюзию трехмерности изображения на экране. Такой тип очков наиболее распространен и прилагается к некоторым видеокартам.

        Более современными являются EyeScream от Wicked3D и Сrystal Eyes от

Stereographics. Первые более распространены, вторые  более профессиональны.

        Ниже вы видите рисунки СrystalEyes (High- end) и СrystalEyes Wired (базовый уровень).

        Есть множество других фирм по производству очков ВР, в этом реферате приведены лишь некоторые из них.

        При использовании "метода затемнения одного глаза" нужно помнить, что для создания такого изображения необходима вдвое большая частота обновления экрана, т.к. система для каждого глаза обрабатывает отдельную камеру, и для каждого глаза выводится свое, невидимое для другого изображение. Так что, если частота регенерации изображения 80 Гц, то для каждого глаза в отдельности она будет лишь 40 Гц. Для наиболее комфортного использования таких очков надо ваставлять частоту около 160-170 Гц.

·        Виртуальные бинокли.

        Эти приспособления уже не просто затемняют поочередно глаза, а сами выводят изображения для каждого глаза. Основа биноклей - активные LCD-матрицы с углом обзора 30-60 градусов. Появились они на рынке сравнительно недавно и не успели завоевать доверие у широких масс. Сегодня можно купить такие бинокли как V6 и V8 от Virtual Research Systems, Virtual Binoculars (VB) от n- Vision, а также и у нескольких других фирм. Как видите выглядят ВР-бинокли все на одно лицо (VB, V8). Изображение в V8 обеспечивается 1.3" ЖК матрицами, разрешение ((640х3)х480), но частота регенерации изображения низкая - 60 Гц, т.е. по 30 на каждый глаз.

        К сожалению, техника еще не достигла нужного уровня для безопасной работы.

·        VR-шлем (Head-Mounted-Display, HMD).

        Этот тип устройств наиболее распространен и известен. Принцип действия такой же, как и у биноклей: фиксирование изображения для каждого глаза.

        Производство ВР шлемов началось давно, первыми моделями были Vfx1 и CyberFX.

        Первый, наиболее известный, обладает разрешением 789x230 (181,470) пикселей, отслеживанием поворотов головы на 45 градусов по вертикали и 360 по горизонтали. Сегодня он стоит $600 (с карточкой + $150), а СyberFX $100. Естественно, они были несовершенны с точки зрения гигиены и качества. Позднее появился несколько улучшенный Vfx3D. Он снабжен 0.7" активно-матричными ЖК дисплеями, обеспечивающими частоту регенерации 75 Гц в разрешении 640х480, 70 Гц для разрешения 800х600 и 62.5 Гц при разрешении 1024х768. Система отслеживания положения головы (position tracker) имеет чувствительность 0.5° при допустимом 70-градусном отклонении вверх/вниз и 0.1-градусную чувствительность во всей горизонтальной плоскости (360°). Фокус расположен на расстоянии 3.35 метра, что препятствует быстрому утомлению глаз. Интерфейс шлема предусмотрен для платформ Silicon Graphics, Macintosh и PC (USB-порт).

Производством HMD занимаются многие зарубежные фирмы. n-Vision, сотрудничающая с SGI, предлагает шлема VR cо специфическим дизайном. Но, несмотря на это, они отличаются высокими технологическими характеристиками. Вот, например, Datdvisor 80-легкий VR-шлем из пластика, отличающийся 120-градусной свободой вертикального вращения.

·        3D панели.

        Эти устройства можно сравнить с VR-очками, но с тем отличием, что они одеваются на монитор. При использованием 3D панелей изображение на обычном мониторе обретает глубину, правда есть одно ограничение: диагональ дисплея должна быть 17 или 21 дюйм.

·        3D звук.

        Существует несколько технологий создания 3D-звука. У Creative это EAX, y Aureal - A3D, y Microsoft это DirectSound3D, реализованный в библиотеках DirectX. Все они позволяют воспроизводить настолько реалистичный звук, что его трудно отличить от настоящего. Поэтому для более глубокого погружения в виртуальные миры все HMD снабжены наушниками. Сейчас ими стали снабжать и некоторые стереоочки.

        Трехмерный звук заставляет воспринимать игру по-другому. Ощущения становятся настолько реалистичными... эти голоса и выстрелы в тоннелях и трубах меняются при выходе на открытые пространства, переливаются на ветру... в общем лучше один раз услышать, чем сто раз прочитать.

·        Vr - перчатки.

        Пока что перчатки для виртуальной реальности не заняли таких прочных позиций, как некоторые очки. Их технологии еще слишком дороги для развлечений, хотя и могут быт доступны в некоторых виртуальных залах от Electronic Visualization Lab. Хотя чаще всего они используются не для игр. Отслеживать движения пальцев им помогает сложная система эластичных световодов и пара десятков датчиков. Как только палец начинает сгибаться,

световод  сужает просвет, а датчики улавливливают  падение интенсивности света на каком-либо участке. Адекватно этим изменениям ведет себя кисть в

виртуальном пространстве. Естественно, эта технология разработана больше для научных исследований, нежели для игр. Посудите сами: зачем в 3DAction'e (тем более в RTS) отслеживать движения пальцев? Есть и технология с механическими датчиками, но она тяжела и несовершенна.

·        Датчики кисти.

        Помимо перчаток существуют и другие устройства слежения за перемещениями кисти. В самые простые встроен только position tracker, отслеживающий перемещения небольшого кубика, который нужно держать в одной из рук. По сравнению с остальной продукцией это устройство стоит дешево - от 20 до 40 долларов.

        Производством таких датчиков занимается фирма Ascension Technology Corporation.

·        VR-костюм.

        Самым полным набором оборудования для виртуальной реальности является виртуальный костюм. Он состоит из обтягивающего комбинезона со множеством магнитных сенсоров, которые отслеживают движения всех частей тела. К нему добавляется HMD, датчик (и) кисти (реже перчатка) и провода для присоединения всего этого к компьютеру. Тогда уж точно будет полный комплект ощущений.

        Единственное, чего не хватает, так это ForceFeedback VR-костюмов. Хотя кто знает, может, работы по созданию таких устройств уже ведутся?

·        Перспективные устройства.

        В лекции  не рассмотрены устройства имитации обоняния и вкуса. Насчет последнего не знаю, а вот примитивное устройство имитации обоняния уже известно. Оно состоит из системы химических аэрозолей, смешивающихся при необходимости. У подопытных сперва было ощущение восторга, а потом совсем не было ощущений. Дело в том, что химический состав балончиков не безвреден - он притупляет чувствительность нашего носа. Поэтому первое время люди, испытавшие на себе это чудо техники, совсем не различали запахи. А создатели даже и предположить не могли о таком побочном эффекте. Мне кажется эти устройства уже лишние: кому интересно испытать полноту ощущений в канализации или на свалке?

        Технологии виртуальной реальности сегодня очень быстро развиваются. Сама ВР применяется во многих сферах жизни. Роботы, которыми управляет человек из виртуальной реальности, выполняют опасную или тонкую работу. Для создания игр широко применяется технология Motion Capture, позволяющая "снять" движения с человека и присвоить их трехмерной модели. К примеру, этот метод применялся в некоторых играх, благодаря чему мы можем видеть и крадущегося вора, и танцующих скелетов. Та же технология используется и при оживлении рисованных персонажей в голливудских фильмах. Ну и наконец виртуальная реальность может использоваться для развлечений, ведь она помогает представить себя в другой роли и в другом обличии. Кто бы отказался поплавать рыбкой в коралловых рифах? Или воспарить птицей над небесами? Все это заставляет стремительно развиваться VR-технологии. Многие из них стоят больших денег, но кто знает, может быть описанные в статье устройства завтра станут обыденностью, а затем и вовсе вытиснятся новыми.