Мультимедийные технологии

Мультимедийные технологии Борисов В.А. Красноармейский филиал ГОУ ВПО «Академия народного хозяйства при Правительстве РФ» Красноармейск 2009 г.

Мультимедиа Слово мультимедиа образовано из латинских: «мульти» — много и «медиа» — среда, носитель, средства сообщения — и его можно перевести как «многообразная среда».

Мультимедиа-продукт Объединяет в себе двухмерные и трехмерные изображения, звуковое сопровождение, музыку, анимацию, видео-, текстовую и числовую информацию и т.д.

Сферы применения мультимедиа информационная и рекламная деятельности; шоу-бизнес; создание персональных фоно- и видеотек; компьютерные тренажеры; компьютерные игры; обучающие программы; энциклопедии.

Виртуальная реальность Создание с помощью компьютера и специальных устройств (шлемов, очков, перчаток и даже костюмов) виртуального (кажущегося) мира, в который «помещается» человек и живет в этом мире по его законам.

Аудио- и видеоинформация и ее особенности Особенностью, отличающей мультимедиа-технологии от других компьютерных технологий, является обработка аудио- и видеоинформации в реальном режиме времени.

В узком смысле под мультимедиа в компьютерных технологиях понимают именно работу с потоковой аудио- и видеоинформацией, т.е. такой формой получения, обработки и передачи информации, когда она поступает непрерывно, и мы не можем охватить ее целиком.

Компьютерные мультимедиа-технологии — это средства создания и воспроизведения цифровых аудио- и видеозаписей.

Оцифровка звуковой информации

Для преобразования аналогового звукового сигнала в цифровую форму с определенной частотой (частотой дискретизации) производятся измерения (отсчеты) амплитуды звукового сигнала.

Затем непрерывные значения амплитуды тоже переводятся в дискретную форму путем разбивки интервала возможных значений амплитуды на конечное число промежутков и заменой текущего значения амплитуды на ближайшее граничное значение какого-либо интервала.

Количество битов, необходимых для представления получаемых таким образом дискретных значений, называется разрядностью отсчета.

Для обеспечения достаточно хорошего качества преобразования необходимо, чтобы частота дискретизации по меньшей мере вдвое превышала наивысшую частоту сигнала.

Устройство, переводящее аналоговый звуковой сигнал в цифровую форму, называется аналогово-цифровым преобразователем (АЦП), а обратно — цифро-аналоговым преобразователем (ЦАП).

Сочетание частоты дискретизации, разрядности отсчета и количества используемых каналов называют форматом цифрового звука. Произведение этих величин и даст величину цифрового потока, необходимую для представления этого формата.

Причины сжатия цифровых данных Если мы запишем на диск «сырой» (несжатый) звук, то нетрудно подсчитать, что минута записи займет около 10 Мбайт, т.е. расходы дисковой памяти на запись звуковых фрагментов будут весьма велики.

Причины сжатия цифровых данных Вторая причина связана с передачей звуковых данных: если канал связи обеспечивает, например, 33,6 Кбит/с (-3,28 Кбайт/с), то 170 Кбайт/с передать по нему невозможно, и звук просто обязан быть сжат.

Причины сжатия цифровых данных Прохождение звука по компьютерным цепям и его оцифровка вносят в него искажения, и может оказаться так, что искажения за счет сжатия звука окажутся меньше остальных, а выигрыш в объеме данных окажется значительным.

Все соответствующие алгоритмы основаны на свойствах восприятия звуковых сигналов слуховым аппаратом человека, называемых «психоакустической моделью».

«Психоакустическая модель» Из звукового сигнала удаляется информация, малозаметная для слуха, в результате чего слуховое восприятие звука практически не меняется. Такое кодирование относится к методам сжатия с потерями, когда из сжатого сигнала уже невозможно точно восстановить исходную волновую форму, однако степень сжатия гораздо выше.

Сжатие звукового сигнала и его обратная распаковка осуществляются специальными программными модулями, называемыми кодеками (кодерами-декодерами).

Для описания степени сжатия звукового сигнала используется битрейт — скорость битового потока, с которой сжатая информация должна поступать в декодер при восстановлении звукового сигнала.

Битрейт Измеряется в килобитах в секунду (Кбит/ с) и если, например, он равен 128 Кбит/с, то это означает, что одна секунда звука будет занимать 128 Кбит, или 16 Кбайт.

Чем выше битрейт, тем выше качество звука, получаемого при обратной распаковке и, соответственно, больше размер сжатого звука. Широко распространенный формат сжатия mрЗ позволяет кодировать звук с битрейтом от 8 до 320 Кбит/с. Наиболее часто в mрЗ используется битрейт 128 Кбит/с, на котором достигается сжатие в 10-12 раз.

Потоковое вещание Звуковые файлы потокового формата хранятся на сервере и содержащаяся в них информация по специальному протоколу передается в виде сжатого звукового потока на компьютер клиента, где и воспроизводятся соответствующей программой-плеером.

Характерной особенностью потокового вещания является высокая степень сжатия, которая должна обеспечить прохождение сжатого звука через низкоскоростные каналы связи. Наиболее распространенным среди потоковых систем является формат Real Audio.

Оцифровка видеоинформации В отличие от оцифровки звука, отсчеты делаются редко (25 раз в секунду), но результатом отсчета является целый кадр.

Существует большое количество алгоритмов сжатия (МРЕG 1, МРЕG 2, МРЕG 4 и др.), служащих различным целям и имеющим совершенно различные характеристики, но все они в той или иной степени нацелены на наиболее эффективное сжатие данных с минимальными потерями качества.

Стандарты МРЕG Слово МРЕG является сокращением от Moving Picture Expert Group — названия экспертной группы ISО (международной организации по стандартизации) по кодированию и сжатию видео- и аудиоинформации.

МРЕG 1 Предназначен для записи синхронизированных видеоизображений (обычно в формате 81Р 352x288) и звукового сопровождения на СD-RОМ (VideoCD) со скоростью считывания до 1,5 Мбит/с.

МРЕG 2 Поддерживает более высокие разрешения, поскольку поток данных в этом стандарте намного больше (до 40 Мбит/с), чем в МРЕG 1, позволяя записывать полноэкранные фильмы студийного качества.

МРЕG 4 Первоначально создавался для использования в мультимедийных приложениях, использующих узкие каналы связи, например видеоконференции, проводимые через Интернет, и не предназначался для хранения видео.

Неожиданное применение алгоритм сжатия МРЕG 4 получил в качестве средства преобразования DVD-фильмов (формата МРЕG 2) с целью их записи на обычные СD-RОМ гораздо меньшей, чем DVD, емкости.

МРЕG 7 Является еще одним представителем семейства МРЕG и предназначен для детального описания разнородного мультимедийного материала.

Аппаратные средства мультимедиа Различают средства, предназначенные для подготовки аудио- и видеофайлов и других мультимедиа-продуктов, и средства, предназначенные для их воспроизведения.

Минимальные требования к аппаратным компонентам ПК В качестве процессора вполне может быть использован любой процессор типа Аthlon или Реntium 4 с памятью 256 Мбайт или более. Такая конфигурация позволяет использовать операционную систему Windows ХР, наиболее подходящую для работы с мультимедиа.

Минимальные требования к аппаратным компонентам ПК В состав устройств мультимедиа включают также звуковую плату (например, Sound Blaster), дисковод СD-RОМ или DVD-RОМ, а также современную видеоплату, желательно с видеовходом и видеовыходом.

Комплексность компьютерных технологий и удобство управления всем процессом работы делают использование компьютера в подготовке мультимедиа-продуктов незаменимым.

Программные средства мультимедиа В связи с большим разнообразием задач, решаемых этими средствами и невозможностью создать такой программный комплекс, который удовлетворял бы всем пожеланиям программные средства создания и воспроизведения мультимедиа исключительно многообразны.

Воспроизведение мультимедиа Наиболее распространенными являются средства для воспроизведения мультимедиа, называемые обычно проигрывателями, или плеерами.

Плееры WinAmp; Windows Media; Quick Time; Rеаl Рlауеr.

Создание мультимедийных приложений

Задачи средств создания мультимедиа-продуктов создание и редактирование растровых и векторных графических изображений, в том числе анимированных (мультфильмов); оцифровка и сжатие звукозаписей; создание музыкальных фрагментов с помощью МIDI-синтезатора;

Задачи средств создания мультимедиа-продуктов редактирование звуковой информации, позволяющее изменить амплитуду сигнала, наложить или убрать фон, вырезать или вставить звуковые фрагменты, подготовить звуковые файлы для включения в окончательный продукт; видеозахват;

Задачи средств создания мультимедиа-продуктов синтез трехмерных неподвижных и движущихся изображений; редактирование видеоизображений и создание клипов, в том числе синхронизация звука и изображения;

Задачи средств создания мультимедиа-продуктов создание гипертекстов и ссылочной гипермедиа-структуры; объединение всех мультимедиа-компонентов в единый комплекс; запись на физический носитель.

Мультимедиа в сети Интернет Основным сдерживающим фактором, препятствующим широкому распространению мультимедиа в Интернете, является низкая пропускная способность компьютерных сетей.

Мультимедиа можно применять на веб-сайтах в следующих случаях: приведенные ограничения не являются существенными по сравнению с важностью информации; интернет-технологии применяются во внутренних высокоскоростных сетях (интранет); используются потоковые протоколы передачи мультимедиа-информации, позволяющие представлять ее по мере поступления.

Наиболее простым способом размещения мультимедиа на веб­страницах является использование подключаемых к браузеру внешних программных модулей — плагинов.

Использование плагинов Разработчик веб-страницы размещает место для представления мультимедиа примерно так же, как это делается для изображений, указывая файл с мультимедиа-информацией (аудио­файлом, видеоклипом и т.п.).

Использование плагинов Когда пользователь открывает такую страницу, браузер определяет тип этого файла, ищет в списке доступных ему плагинов модуль, который может воспроизвести этот файл, и запускает его, передав ему файл, указанный на веб-странице.

Использование плагинов Плагин, в свою очередь, отображает информацию переданного файла в выделенной ему на веб-странице зоне. В этой же зоне обычно размещаются элементы управления плагином (вперед, назад и т.п.).

Использование плагинов С другой стороны, вывод плагина на экран может быть подавлен (например, для звукового файла). Если нужный плагин не найден, браузер обычно пытается загрузить его из Интернета, после чего плагин встраивается в операционную систему, и его повторная загрузка не требуется.