Построение функционально насыщенной и расширяемой платформы мультимедиа

Windows предоставляет обширный набор технологий, позволяющий пользователям наслаждаться видео и звуком, а разработчикам — взаимодействовать с этими технологиями через полнофункциональные API. В данной статье подробно рассматриваются оба указанных аспекта платформы мультимедиа Windows, которая была значительно улучшена как для классических приложений, так и для приложений в стиле Metro. После выпуска Windows 7 условия воспроизведения мультимедиа во многом изменились — больше внимания стало уделяться потоковой передаче, владельцы контента приложили значительные усилия, чтобы обеспечить его воспроизведение на более широком круге устройств. Одновременно с этим происходило существенное сокращение энергопотребления в режиме воспроизведения. Учитывая все эти новые возможности, которые входят в состав как Windows 8, так и Windows RT, мы старались предоставить ведущую в отрасли поддержку для пользователей и разработчиков. Автор этой статьи — Скотт Манчестер (Scott Manchester), руководитель программ в рабочей группе по платформе и технологиям мультимедиа. – Стивен

---

Взаимодействие с широким спектром мультимедийного контента (просмотр фильма, видеоразговор или воспроизведение музыки) является одним из наиболее распространенных и интересных занятий, для которых в настоящее время используются компьютеры. Я бы хотел немного рассказать о той работе, которую мы проделали в Windows 8, чтобы сделать доступным все разнообразие функций мультимедиа и предоставить соответствующие возможности сторонним разработчикам с помощью расширяемой платформы мультимедиа.

При разработке платформы мультимедиа Windows 8 мы руководствовались следующими тремя целями:

1. Обеспечить максимальную производительность. Мы хотели сделать воспроизведение мультимедиа более быстрым и "отзывчивым", обеспечив полномасштабное использование всех возможностей оборудования и максимальное время работы батареи на каждом из компьютеров.
2. Упростить разработку и расширяемость. Мы хотели создать платформу, которую можно было бы легко расширить и настроить под конкретное приложение, чтобы заложить фундамент для использования инновационных пользовательских мультимедийных приложений в среде Windows.
3. Обеспечить условия для реализации обширного набора сценариев. Высокопроизводительная, эффективная и расширяемая платформа позволит в дальнейшем реализовать обширный диапазон приложений для работы с музыкой и видео, приложений для связи и других мультимедийных приложений.

Сосредоточившись на трех этих целях, мы начали переосмыслять принципы работы с мультимедиа на платформе Windows.

Более быстрая работа с мультимедиа с повышенной скоростью отклика

Производительность — это ключевой показатель любого процесса взаимодействия с пользователем, но особенно он важен в сценариях работы с мультимедиа. Видео должно воспроизводиться в режиме реального времени, голосовая связь должна осуществляться практически без задержек. Кроме того, все эти задачи должны выполняться с минимальным расходом заряда батареи.

Мы измеряем производительность по тому времени, вычислительным ресурсам и объему памяти, которые требуются для выполнения конкретной задачи. Мы поставили перед собой цель минимизировать значения всех этих показателей. Применительно к производительности мультимедиа мы сосредоточили усилия на воспроизведении звука и видео, перекодировке, кодировании и захвате.

Эффективное декодирование видео

Чтобы добиться увеличения времени работы батареи или простого сокращения энергопотребления для всех сценариев использования мультимедиа, мы продолжаем сотрудничать с партнерами из отрасли производства кремниевых микросхем в целях разработки новых и ускорения существующих механизмов взаимодействия с пользователем. При использовании операционной системы Windows 8 на компьютере, сертифицированном для Windows 8, декодирование видео для распространенных форматов мультимедиа будет разгружаться на выделенную аппаратную подсистему для обработки мультимедиа. Это позволяет значительно снизить уровень использования ЦП, что, в свою очередь, обеспечивает более плавное воспроизведение видео и более длительное время работы батареи, так как выделенное оборудование осуществляет декодирование мультимедиа значительно эффективнее ЦП. В результате наблюдается улучшение во всех сценариях, где требуется декодирование видео, включая воспроизведение, перекодировку, кодирование и захват.

На следующем рисунке приведено сравнение среднего уровня использования ЦП для Windows 7 и Windows 8 во время воспроизведения видеоклипов 720p VC1/H.264 и просмотра изображения, захваченного с веб-камеры.

Помимо разгрузки видео реализована возможность улучшения захвата изображения с веб-камеры посредством перехода с API захвата DirectShow на новый, значительно более оптимизированный API захвата Windows 8 Media Foundation. Мы также улучшили программные кодировщики для контента H.264 и VC-1, чтобы кодирование с использованием ЦП (когда это имеет смысл) выполнялось быстрее и с меньшими затратами энергии.

Обеспечение максимального времени работы батареи при воспроизведении звука

Другим примером повышения производительности мультимедиа в Windows 8 является максимизация времени работы батареи (или просто снижение энергопотребления) во время воспроизведения звука. В дополнение к разгрузке звукового конвейера (по аналогии с описанной выше разгрузкой видео) мы радикально улучшили конвейер воспроизведения звука, чтобы повысить эффективность его использования во время длительного воспроизведения. Благодаря пакетной обработке крупных блоков аудиоданных и выполнению всей обработки для такого блока за один проход, ЦП может оставаться в спящем режиме до 100 раз дольше (более 1 секунды по сравнению с 10 мс), что приводит к существенному увеличению времени работы батареи в режиме воспроизведения звука.

Конечно, такой подход не является оптимальным для всех сценариев, так как повышенный уровень буферизации вносит дополнительную задержку. В приведенном ниже разделе, посвященном вопросам связи, мы подробнее рассмотрим эти компромиссные решения и то, как мультимедийный стек адаптируется для обеспечения оптимальной работы в каждом из сценариев.

Разгрузка звука и видео — это всего лишь пара примеров тех способов, которыми мы пользовались для оптимизации мультимедийного стека в Windows 8, чтобы обеспечить пониженное использование ЦП и памяти, а также увеличенное время работы батареи для классических приложений и приложений в стиле Metro.

Поддержка обширного набора сценариев использования мультимедиа

Высокая производительность является крайне важной характеристикой данной платформы, но не менее важными являются и те возможности, которые становятся доступными благодаря значительному росту производительности. Эти возможности в Windows 8 включают в себя поддержку современных видеоформатов, потоки связи с небольшой задержкой и простое подключение к внешним устройствам мультимедиа.

Компромиссные решения платформы

Одна из проблем разработки единой платформы мультимедиа, удовлетворяющей различным сценариям, обусловлена наличием конкурирующих целей такой платформы. Например, для сценариев связи требуется небольшая задержка, а для обеспечения качества и производительности в сценариях кодирования и воспроизведения звука/видео требуется буферизация, которая ведет к увеличению задержки. В нескольких последующих разделах мы рассмотрим эти трудности в контексте некоторых сценариев, которые мы стремились реализовать в Windows 8, включая следующие:

• Связь (например, Skype, Lync и т. д.)
• Воспроизведение видео и поддержка современных форматов
• Автоматическая настройка ориентации видео
• Воспроизведение платного контента
• Непрерывные звуковые переходы
• Перенесение использования мультимедиа на дополнительные экраны
• Развитие возможностей мультимедиа

Упрощение разработки и расширяемости

Одной общей чертой этих процессов является расширяемость, встроенная нами в платформу мультимедиа. Поскольку существует множество вариантов использования, форматов мультимедиа, кодеков, защитных механизмов и видов обработки, мы предоставили разработчикам возможность настраивать и адаптировать их предложения для создания великолепных приложений и веб-сайтов на базе Windows.

При описании сценариев использования мультимедиа в нескольких следующих разделах также рассматривается часть той работы, которую мы проделали для того, чтобы предоставить разработчикам и сторонним партнерам возможность расширять такие сценарии. Давайте подробнее остановимся на тех сценариях, на которые мы ориентировались для Windows 8.

Связь

В течение последнего десятилетия наблюдался бурный рост в области использования возможностей связи в режиме реального времени на компьютерах (особенно на мобильных устройствах). Пользователи Windows используют такие службы, как Skype и Lync, для выполнения голосовых звонков и видеозвонков, длительность которых исчисляется миллиардами минут в день. По оценкам агентства TeleGeography в 2011 году общая длительность международных звонков "из Skype в Skype" (включая видеозвонки) выросла на 48 процентов и составила 145 миллиардов минут. Мы приложили значительные усилия, чтобы улучшить качество видеозвонков и голосовых звонков на всех компьютерах с Windows 8. Для достижения этой цели мы сосредоточили внимание на двух областях:

• Обеспечение встроенной поддержки захвата и отрисовки мультимедиа с небольшой задержкой. Небольшая задержка очень важна для приложений связи, поэтому поддержка захвата и отрисовки мультимедиа с небольшой задержкой включена в состав самой операционной системы Windows.
• Поддержка камер высокой четкости для улучшения качества видеосвязи. Видео высокой четкости делает общение более реальным и интересным, поэтому Windows поддерживает камеры высокой четкости.

Обеспечение небольшой задержки

При общении с другим человеком вы ожидаете практически мгновенных ответов. По этой причине в общем случае системы связи стремятся минимизировать сквозное запаздывание (которое также называется задержкой). При разработке систем для воспроизведения звука и видео часто используется буферизация, которая обеспечивает защиту от искажений, вызванных пиковыми периодами обработки или сетевым трафиком, а также сокращает энергопотребление. Однако эта буферизация приводит к запаздыванию звука и видео, которая воспринимается аудиторией как задержка. При разработке Windows 8 мы спроектировали платформу мультимедиа таким образом, чтобы она поддерживала сценарии, оптимизированные как для воспроизведения, так и для возможностей связи. Инфраструктура мультимедиа позволяет переключаться между режимом воспроизведения (высокий уровень буферизации, улучшенная устойчивость к изменению условий) и режимом, оптимизированным для связи (небольшая задержка).

В соответствии со стандартом TIA/EIA 920 для обеспечения нормальной связи в режиме реального времени задержка звука в одном направлении, которую можно отнести исключительно на счет конвейера обработки мультимедиа, не должна превышать 100 мс. Учитывая этот показатель, мы разработали тестовую среду для измерения сквозной задержки конвейера, что и показано на следующей схеме:

Для получения небольшой задержки необходимо оптимизировать множество компонентов

В случае видеосвязи сквозная задержка конвейера измеряется как запаздывание при захвате видеокадра камерой, его кодировании в поддерживаемый видеоформат, передаче в потоковом режиме через сетевые интерфейсы замыкания на себя, декодировании и итоговой отрисовке на экране.

На следующем рисунке приведен результат захвата и воспроизведения звука PCM при работе конвейера мультимедиа в режиме небольшой задержки. Первый набор пиковых значений соответствует исходным произнесенным словам у передатчика, а второй набор соответствует этому же набору на приемнике. Запаздывание между этими двумя точками составляет 65 мс, что значительно ниже целевого значения в 100 мс.

Сквозная задержка конвейера для звука PCM: режим небольшой задержки

На следующей диаграмме показано сравнение задержки конвейера для режима воспроизведения и режима, оптимизированного для связи, при захвате видеокадра, его кодировании (в формат H.264), потоковой передаче, декодировании и итоговом отображении с различными разрешениями. Целевое значение общей задержки в 145 мс (в соответствии с требованием стандарта TIA/EIA 920 для нормальной связи в режиме реального времени) на диаграмме изображено зеленой линией.

Видеокадры захватываются с частотой 30 кадров в секунду и кодируются в формат H.264

В режиме воспроизведения средняя задержка конвейера составляет около 575 мс. Эта задержка необходима для плавного воспроизведения при просмотре видео, но недопустима для видеосвязи в режиме реального времени. С другой стороны, в режиме небольшой задержки измеряемая задержка значительно меньше целевого значения при каждом из рассматриваемых разрешений видео.

Поддержка видеозвонков высокой четкости

Другим примером той работы, которую мы проделали для улучшения связи на компьютерах с Windows 8, является поддержка этой операционной системой камер высокой четкости. Новый класс драйверов будет прозрачно взаимодействовать с приложениями, чтобы обеспечить поддержку возможностей работы с видео высокой четкости. Кроме того, все описанные ранее способы аппаратного ускорения для декодирования видео будут использоваться и в сценариях связи.

Windows 8 предложит согласованный, высококачественный, экономичный и снабженный аппаратным ускорением процесс общения с использованием мультимедиа на компьютерах, разработанных для Windows 8. При проектировании платформы мультимедиа мы приложили значительные усилия для сокращения задержки конвейера, а благодаря добавленной поддержке камер стандарта H.264 пользователи смогут общаться с друзьями и родными посредством видео высокой четкости.

Поддержка видео и звука для приложений в стиле Metro

При обеспечении собственной поддержки форматов мультимедиа для приложений в стиле Metro главной нашей задачей было предоставить пользователям и разработчикам согласованный и высококачественный процесс воспроизведения на обширном наборе форм-факторов с использованием современных форматов в наиболее распространенных сценариях, например:

• Развлекательные интернет-ресурсы на базе HTML5.
• Фильмы, снятые в домашних условиях с использованием популярных смартфонов, компактных камер и камер AVC-HD.
• Потоковая передача музыки, фильмов и телепрограмм из популярных служб.

В следующих таблицах приведены аудио- и видеоформаты, имеющие встроенную поддержку приложений в стиле Metro. Форматы, рекомендованные для использования приложениями в стиле Metro, отражают тесное сотрудничество с производителями оборудования, которое обеспечивает предсказуемую работу аппаратного ускорения на компьютерах различных форм-факторов и предсказуемую сквозную производительность в сценариях, отличных от воспроизведения, например при захвате, потоковой передаче и перекодировке.

Windows 8 обеспечивает отличную поддержку для формата MPEG-4, который чаще всего состоит из видео в формате H.264 и звука в формате AAC. Несколько популярных кодеков, включая Divx и Xvid, реализуют возможности, описанные в части 2 стандарта MPEG-4, поэтому многие из таких файлов прекрасно воспроизводятся в приложениях в стиле Metro. Это также справедливо и для современных MOV-файлов, которые основаны на части 2 стандарта MPEG-4, например видеоклипов, захваченных на устройствах с iOS. Сейчас стали доступны фрагментированный формат MPEG-4 и разрешения 2K/4K. Ранее мы уже говорили о воспроизведении MPEG-2 и DVD, доступном в Windows 8 Media Center.

Во время разработки Windows 7 мы довольно часто обсуждали возможности собственной поддержки кодеков в Windows и форматы, доступные благодаря расширяемости. С того момента ситуация с кодеками заметно сместилась в сторону небольшого набора хорошо продуманных и распространенных форматов, в частности формата h.264 для видео. С учетом таких факторов, как интеллектуальная собственность и поддержка оборудования, это представляется весьма разумным. Даже браузеры совершают такой переход с помощью HTML5. Но мы также понимаем, что по различным причинам люди могут предпочитать те или иные форматы, поэтому мы хотели предоставить разработчикам приложений для Windows 8 возможность использовать предпочитаемые ими форматы. Форматы, популярные в сообществе энтузиастов или у конкретных разработчиков, такие как FLAC, MKV и OGG, могут иметь собственные кодеки, упакованные в составе приложения в стиле Metro, поскольку платформа мультимедиа Windows 8 обеспечивает высокую степень расширяемости.

Автоматическая настройка ориентации видео

В результате распространения функций видеозаписи в традиционных камерах, смартфонах и планшетных ПК пользователи получили возможность записывать видео, удерживая устройство как в книжной, так и в альбомной ориентации — благодаря современным сенсорным интерфейсам ограничений на единственно правильное положение больше не существует. Многие из нас сталкивались с неприятной ситуацией, когда уже при просмотре записанного видео на компьютере выяснялось, что камера была повернута набок или вверх ногами. Поскольку шаблон сканирования видео является фиксированным, видео при просмотре может иметь неправильную ориентацию.

Чтобы устранить данную проблему, при сохранении видео камеры начинают вносить метаданные ориентации в распространенные форматы файлов, такие как MP4 и ASF.

Чтобы обеспечить отличное качество просмотра самостоятельно снятых видеоклипов на компьютерах с Windows, мы внесли следующие улучшения в целях устранения описанной проблемы:

• Метаданные ориентации теперь поддерживаются в видео форматов MP4 и ASF (VC-1, WMV).
• Во время воспроизведения видео с метаданными ориентации необходимый поворот выполняется автоматически.
• Эскиз для видео с метаданными ориентации поворачивается автоматически.
• Приложения в стиле Metro с возможностями захвата видео могут считывать и записывать метаданные ориентации.

Платный контент

Другой областью, которой мы уделили повышенное внимание в Windows 8, является обеспечение простого воспроизведения платного контента. Хотя изначально основная часть видеоконтента в Интернете создавалась пользователями, сейчас существенную часть видеопространства Интернета занимает "платный контент", который включает в себя приобретение фильмов в Интернете через службы предоставления потокового видео по требованию, а также телепрограммы со встроенной рекламой. Согласно IHS Screen Digest, в 2012 году в США через Интернет будет осуществлено потоковое воспроизведение 3,4 миллиарда платных фильмов, что более чем в два раза превышает аналогичный показатель за 2011 год и на миллиард превышает совокупные показатели продаж фильмов на носителях DVD и Blu-Ray.

К платному видеоконтенту предъявляются многие из тех требований, которые применяются к любому другому видеоконтенту. Однако для обеспечения высокого качества использования платного видеоконтента требуются следующие два важных компонента платформы: потоковая передача с адаптацией скорости и защита контента.

Потоковая передача с адаптацией скорости

Потоковая передача с адаптацией скорости обеспечивает повышенную плавность и уменьшение времени отклика при воспроизведении видео, так как позволяет компьютеру адаптироваться к наиболее подходящей скорости в изменяющихся условиях сетевого подключения и использования ресурсов. В результате могут быть значительно улучшены характеристики времени запуска и поиска, поскольку несколько первых кадров могут предоставляться с пониженной скоростью, чтобы сократить время буферизации и отклика. При изменении состояния сети или устройства компьютер может установить более высокую или более низкую скорость, чтобы минимизировать буферизацию или повысить качество видео.

Благодаря расширяемости платформы Media Foundation Platform в Windows 8 приложения могут иметь настраиваемые источники мультимедиа и источники мультимедиа с адаптацией скорости, чтобы обеспечить поддержку новых форматов. Настраиваемые источники мультимедиа и протоколы потоковой передачи также могут использовать преимущества аппаратной разгрузки и защиты контента.

Рабочая группа по Windows Azure Media Services использует нашу модель расширяемости для построения пакета Smooth Streaming Client SDK для приложений в стиле Metro. Smooth Streaming — это инициатива корпорации Майкрософт по предоставлению высококачественного контента с переменной скоростью и реализации возможностей "видео по запросу", "прямой эфир", "линейное телевидение" и "загрузи и играй".

Защита контента

Большинство интернет-служб платного видеоконтента применяют меры по его защите, так как обычно этого требуют владельцы контента (например, киностудии или телевизионные сети). Чтобы обеспечить воспроизведение защищенного контента в приложениях в стиле Metro, корпорация Майкрософт предоставляет пакет PlayReady Client SDK для служб платного контента. PlayReady поддерживает загрузку и потоковую передачу, а упомянутый выше IIS Smooth Streaming Client SDK эффективно интегрируется с PlayReady Client SDK, что позволяет службам легко обеспечивать защищенное использование потокового режима.

Нам известно, что сейчас в данной отрасли используются и другие технологии защиты контента. Как и в случае с адаптивной потоковой передачей, модель расширяемости Media Foundation разрешает третьим лицам интегрировать свои системы защиты контента со встроенным декодированием видео, поддерживающим аппаратное ускорение. Если службе требуется использовать собственный формат потоковой передачи или собственную систему защиты контента, она может интегрировать такую технологию без снижения качества декодирования или времени работы батареи.

В итоге Windows 8 предоставляет пользователю более широкий выбор служб платного контента, которые можно использовать на устройствах с Windows 8, что позволяет повысить качество потокового воспроизведения и эффективность загрузки контента и увеличить время работы батареи при просмотре платного контента в формате HD.

Непрерывные звуковые переходы

Поскольку Windows 8 поддерживает множество сценариев использования мультимедиа, мы хотели, чтобы переход между этими сценариями был как можно более незаметным и плавным. Пользователи часто выполняют накладывающиеся друг на друга звуковые операции, например прослушивают музыку с помощью службы потокового воспроизведения и одновременно пытаются просмотреть видеоклип. Мы хотели обеспечить понятный и лаконичный процесс работы со звуком, который позволил бы вам легко и просто прослушивать требуемый контент в удобное для вас время.

В Windows 8 не выполняются микширование всего звукового контента и отправка итогового (часто неоднородного) потока на динамики. Вместо этого операционная система может приостанавливать поток при воспроизведении второго потока, когда это является уместным. В большинстве случаев Windows отдает предпочтение звуку, поступающему из приложения, работающего на переднем плане. При переключении приложения в фоновый режим система отключает звук соответствующего потока. В качестве примера возьмем игровое приложение — ведь вам не захочется слушать звуки игры, когда вы переключаетесь из этого приложения. Однако в некоторых случаях такой режим работы не подходит, например при прослушивании музыки в фоновом режиме во время проверки почты или просмотра веб-страниц. Чтобы реализовать данные сценарии и позволить вам прослушивать фоновую музыку в уместных для этого ситуациях, мы представили типы потоков, которые отражают тип воспроизводимого звука.

Ниже приведен список различных типов потоков вместе с примерами типов контента, предназначенных для каждого из потоков.

Перенесение использования мультимедиа на дополнительные экраны

В Windows 7 мы представили компонент воспроизведения на устройстве, который вы можете использовать для потокового воспроизведения файлов мультимедиа на поддерживаемых внешних устройствах из проводника и проигрывателя Windows Media. В Windows 8 этот компонент еще больше упрощает совместное использование персональных коллекций мультимедиа и мультимедиа в формате HTML5 с помощью домашних устройств, поддерживающих данный компонент. Для компонента воспроизведения на устройстве мы стремились создать полнофункциональные механизмы социального взаимодействия, основанного на использовании персонального контента (сюда можно отнести предоставление друзьям и членам семьи общего доступа к фотографиям, потоковое воспроизведение музыки на вечеринке или просмотр созданных пользователями видеоклипов из Интернета). Эти механизмы создавались "с нуля" для обеспечения тесной интеграции с HTML5 на существующих веб-сайтах и в ваших персональных коллекциях мультимедиа — независимо от того, хранятся ли они в локальной библиотеке на компьютере или планшетном ПК с Windows, на другом домашнем компьютере, сетевом сервере мультимедиа или на веб-сервере в облаке.

В новой операционной системе поиск компонента воспроизведения на устройстве упростился. Теперь он будет обеспечивать согласованное и высококачественное использование мультимедийного контента в многочисленных приложениях в стиле Metro. К улучшенным механизмам взаимодействия с пользователем, в частности, относятся:

• Усовершенствованная установка: в домашних сетях (или в домашней группе), для которых вы разрешили совместный доступ, поиск устройств, поддерживающих воспроизведение на устройстве, и их установка на компьютере осуществляются автоматически.
• Улучшенные условия использования устройств: приложения в стиле Metro работают только с приемниками компонента воспроизведения на устройстве, сертифицированными для Windows. Эти устройства проверены на обеспечение поддержки современных форматов мультимедиа, соответствуют стандартам DLNA и обладают высокой производительностью (в их числе обновленная консоль Xbox 360, которая выйдет уже в этом году). Возможности рабочего стола, впервые представленные в Windows 7, были добавлены на ленту проводника и продолжают обеспечивать поддержку всех устройств DMR DLNA.
• Упрощенное обнаружение: для доступа к компоненту воспроизведения на устройстве предназначена чудо-кнопка "Устройства", которая упрощает инициализацию данного компонента из любого поддерживающего его приложения. Просто проведите пальцем в направлении от правого края экрана (или поместите указатель мыши в верхний правый угол), выберите чудо-кнопку "Устройства", а затем устройство, на которое требуется выполнить потоковую передачу.
• Интеграция в Internet Explorer в стиле Metro: Internet Explorer позволяет осуществлять потоковую передачу музыки, видео и фотографий в формате HTML5 из Интернета на ваши устройства.
• Работа с новыми приложениями для музыки, видео и фотографий: приложения могут осуществлять потоковую передачу фотографий из разнообразных источников и персональных коллекций музыки и видео.

Использование функции воспроизведения на устройстве из приложения для видео

Мы также уделили много внимания тому, чтобы разработчики могли проще использовать функции воспроизведения на устройстве в своих приложениях и на своих веб-сайтах. В результате данная функциональная возможность доступна для всех приложений в стиле Metro посредством использования соответствующего контракта. Поддержка воспроизведения на устройстве будет включена в XBox 360 с помощью обновления, которое будет выпущено позже в этом году.

Развитие возможностей мультимедиа

Операционная система Windows обеспечивает поддержку новых типов контента и обеспечивает повышенную гибкость при создании контента и обмене данными. Трехмерное стереоизображение, специальные возможности и эффекты DSP — вот три примера того, как мы реализуем великолепные механизмы работы с мультимедиа в Windows 8

Знакомство со стереоскопическим трехмерным видео

За последние несколько лет рынок стереоскопического 3D-видео (Stereo 3D — S3D) продвинулся от анонсов до готовых потребительских продуктов. S3D создает ощущение просмотра трехмерного изображения посредством отображения двух накладывающихся друг на друга копий видео (захваченных под разными углами), что при просмотре в 3D-очках выглядит как единое трехмерное видео. Наша цель заключается в формировании жизнеспособной экосистемы S3D для операционной системы Windows посредством реализации ключевых игровых сценариев и сценариев воспроизведения видео на базе платформы, которая позволяет абстрагировать компьютер конечного пользователя от нюансов 3D-технологии.

Поддержка S3D в Windows 8 доступна для GPU на базе DirectX 10 или последующей версии с совместимыми драйверами. Для просмотра данного контента требуется S3D-совместимый экран. Мы хотели убедиться, что Windows будет поддерживать обширный диапазон технологий отображения при обеспечении согласованного взаимодействия с пользователем и обеспечит простую разработку программного обеспечения и оборудования на базе нашей платформы. В результате графические драйверы обеспечили значительную независимость от конкретных технологий отображения S3D, и для приложений, использующих 3D-стерео, предоставляется согласованный набор API.

Платформа мультимедиа Windows 8 поддерживает основанные на стандартах форматы мультимедиа для S3D-видео. Видео H.264 с метаданными упаковки кадров, представленными в виде дополнительной расширенной информации (SEI), стало стандартным форматом, адаптируемым для предоставления через Интернет, и поэтому является желательным видеоформатом S3D в Windows 8. Форматы с упаковкой кадров, которые имеют собственную поддержку в данной платформе, обеспечивают как вертикальное, так и горизонтальное расположение кадров, как показано на следующем рисунке.

Windows 8 поддерживает обширный набор форматов входных данных для получения 3D-стереоизображения, включая вертикальное и горизонтальное расположение кадров.

Реализация специальных возможностей для доступа к мультимедиа в веб-платформе

Специальные возможности для доступа к мультимедиа представляют собой важную составляющую Windows, особенно для пользователей с ограниченными возможностями.

Субтитры позволяют получить поясняющую или дополнительную информацию тем пользователям, которые предпочитают читать текст, которым требуется просматривать перевод на другом языке или приходится пользоваться записью разговоров вследствие нарушений слуха.

Воспроизведение видео в Windows 8 с субтитрами

Веб-сообщество сотрудничало с консорциумом W3C, чтобы определить наилучшие способы использования субтитров для всех современных веб-платформ. К таким способам относятся следующие:

• Элемент <track> может нести в себе субтитры и скрытые титры для видеотега HTML5. Теперь данная возможность включена в Windows 8. Поддержка субтитров доступна посредством видеотега в Internet Explorer 10 и в приложениях с использованием HTML.
• Пользовательские элементы управления доступны в элементах управления мультимедиа по умолчанию из видеотега.
• Имеется собственная поддержка форматов WebVTT и SMPTE-TT, которые повсеместно используются веб-сообществом и партнерами в отраслях, связанных с телевидением и вещанием.
• Платформа мультимедиа Windows 8 поддерживает наличие нескольких звуковых дорожек в одном источнике мультимедиа. Пользователи могут переключиться на звуковую дорожку для предпочитаемого языка. Кроме того, эти дорожки могут использоваться для прослушивания звуковых описаний пользователями с ослабленным зрением. Приложения в стиле Metro теперь легко могут переключаться между звуковыми дорожками или даже воспроизводить несколько дорожек одновременно, например обычную звуковую дорожку и звуковое описание.

Воспроизведение видео в Windows 8 с несколькими звуковыми дорожками

Добавление эффектов в конвейер мультимедиа

В платформу мультимедиа Windows 8 при ее разработке был заложен высокий уровень адаптивности. Одним из способов достижения этой цели стала возможность добавления эффектов (которые часто называются обработкой цифрового сигнала или DSP) в конвейер. Мы предусмотрели несколько встроенных эффектов, таких как стабилизация изображения и горизонтальное отражение (что удобно для предварительного просмотра изображения с веб-камеры), а также облегчили приложениям задачу по внедрению в конвейер Media Foundation собственных эффектов. Кроме того, мы обеспечили эффективное прохождение данных мультимедиа через конвейер, что позволило свести к минимуму отрицательное влияние на производительность и энергопотребление, обусловленное введением DSP.

Заключение

Платформа мультимедиа Windows 8 разрабатывалась, в частности, чтобы обеспечить повышенную плавность и уменьшение времени отклика при воспроизведении мультимедиа при одновременном увеличении времени работы батареи. Мы разработали операционную систему Windows таким образом, чтобы она гарантирована прекрасное взаимодействие с пользователем в обширном диапазоне сценариев, включая связь, воспроизведение звука и видео, а также потоковую передачу контента. Благодаря непрерывному развитию мультимедийных приложений данная платформа мультимедиа в Windows обеспечит отличную работу таких механизмов на всех компьютерах с Windows 8.

В завершение статьи я приведу видео, в котором представлены основные особенности и преимущества этой новой платформы мультимедиа.

— Скотт

Ваш браузер не поддерживает HTML5-видео.

Загрузите это видео, чтобы просмотреть его в своем мультимедиапроигрывателе:
MP4, высокое качество | MP4, низкое качество