В настоящее время важной и востребованной задачей, в рамках технологии программно – аппаратного моделирования, является моделирование человека, особенно, в режиме реального времени. Технология программно-аппаратного моделирования позволяет создавать и управлять персонажами мультфильмов и компьютерных игр, используется в тренировочном процессе спортсменов, в медицине для ускорения реабилитации, а так же для управления роботами.
Одним из направлений в программно-аппаратном моделировании является построение трехмерной модели человека. Особенность моделирования поведения человека в режиме реального времени заключается в том, что человек осознанно может совершать определенные действия, влекущие за собой последствия, возникающие уже в виртуальном пространстве.
Моделирование поведения человека с последующим анализом могут быть направлены на определение положения человека в пространстве, его позы, жестов или выражения лица. Для анализа положения человека в пространстве, его позы и жестов рациональнее всего строить виртуальный скелет человека.
Обзор характеристик систем основанных на технологии безмаркерного захвата движения человека
|
Наименование |
Видеокамеры |
Сенсоры глубины |
Компоненты ПК |
Форматы данных |
Стоимость ПО |
|
iPi Soft |
3 – 8 камер Sony PlayStation Eye |
1-3 контроллера Kinect |
Компьютер с мощной видеокартой |
3D studio Max, Motion Builder, Poser |
$500 |
|
Organic Motion |
14-24 камеры |
Не используются |
Процессор Vision с ПО OpenStage 2 |
3D studio Max, Motion Builder, |
$300 |
Данных о положении узлов (суставов) и костей виртуального скелета достаточно для получения информации о положении человека.
Поскольку изменения положения тела человека во времени являются движением, технологию получения таких данных можно назвать технологией захвата движений.
Захват движений человека может осуществляться с помощью маркерной и безмаркерной технологий. В маркерной технологии используется специальное оборудование. На человека надевается костюм с датчиками, он производит движения; данные с датчиков фиксируются камерами и поступают в компьютер, где сводятся в единую трёхмерную модель, точно воспроизводящую движения человека. Таким же этим методом может воспроизводиться мимика человека (в этом случае на его лице располагаются маркеры, позволяющие фиксировать основные мимические движения). Маркерные системы захвата движения зарекомендовали себя как надежный инструмент для создания анимации персонажа. С использованием таких систем созданы мультфильмы «Полярный экспресс», «Последняя фантазия», так же система использовалась при анимации сгенерированного компьютером киноперсонажа «Голлум» в трилогии «Властелин колец».
Безмаркерная технология, основанная на технологиях компьютерного зрения и распознавания образов, не требует специальных датчиков и оборудования. Это существенно ускоряет подготовку к записи движений и позволяет снимать сложные движения (борьба, падения, прыжки, и т. п.) без риска повреждения датчиков или маркеров.
Исследования безмаркерной технологии захвата движения активно проводятся Стэнфордским университетом, Мэрилендским университетом, Массачусетским технологическим институтом, Институтом информатики общества Макса Планка и другими.
Процесс безмаркерного захвата движений требует огромных вычислительных ресурсов, поэтому захват чаще всего происходит не в режиме реального времени. Сначала производится запись видео, а затем – обработка и превращение видео в анимацию.
Ключевым преимуществом разработки системы на основе безмаркерной технологии служит ее невысокая стоимость – фактически, по словам разработчиков программного обеспечения, технология доступна компаниям небольшого размера. В таблице показаны характеристики систем основанные на технологии безмаркерного захвата движения человека.
В системе iPi Soft процесс записи и обработки видео разделен. Запись многокамерного видео производится с помощью бесплатной программы iPi Recorder. Для записи используются либо камеры, либо сенсоры глубины. Далее происходит обработка видео: программа восстанавливает трехмерную сцену, определяет, где находится человек и его части тела. Есть определенные ограничения на одежду актера. Одежда обязательно должна быть однотонной и темной. Помимо этого желательно, чтобы открытых частей тела было как можно меньше.
Технические возможности системы: отслеживание людей в помещениях размерами от 2x2 м до 7x7 м; отслеживание до двух человек. Система не производит захват мимики. Технология лучше работает для крупных, размашистых движений, типа танцев или восточных единоборств.
Система Organic Motion использует для построения скелета человека исключительно камеры, сенсоры глубины не применяются. Система также требует специального помещения и оборудования.
Технические возможности системы: Отслеживание людей в помещениях размерами от 4x4 м до 6x6 м; Отслеживание от 1 до 5 человек в зависимости от конфигурации камер и свободного пространства; Предназначен для использования в помещении с лампами высокочастотного освещения.
Контроллер Kinect, который может использоваться для захвата движений, сам по себе достаточно корректно строит скелет человека из 20 (Kinect) или из 25 (Kinect 2) точек, но только в плоскости перед контроллером, то есть если человек стоит лицом к контроллеру.
На основе проведенного анализа, для разработки системы построения трехмерной модели скелета человека, необходимо:
- использовать не меньше двух контроллеров Kinect, которые будут строить скелет человека;
- разработать специализированное программное обеспечение обработки данных с контроллеров Kinect и построение на их основе единого скелета человека.
Разрабатываемая система будет иметь новизну по отношению к системам, использующим один контроллер Kinect, так как, во-первых, повышается точность при определении положения человека, во-вторых, открывается возможность полноценно использовать три измерения, вместо прежних двух.
Библиографическая ссылка
Михаеску С.В., Трунов А.С., Воронова Л.И. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ ДЛЯ РАЗРАБОТКИ СИСТЕМЫ ПОСТРОЕНИЯ СКЕЛЕТНОЙ МОДЕЛИ ЧЕЛОВЕКА НА ОСНОВЕ МАССИВА ОПОРНЫХ ТОЧЕК, ПОЛУЧАЕМЫХ СОВОКУПНОСТЬЮ КОНТРОЛЛЕРОВ Kinect // Международный студенческий научный вестник. – 2015. – № 3-4. ;URL: https://eduherald.ru/ru/article/view?id=14170 (дата обращения: 21.11.2024).