Дополненная модель проекции - Projection augmented model

А дополненная модель проекции (Модель PA) - элемент, который иногда используется в виртуальная реальность системы. Он состоит из физической трехмерной модели, на которую проецируется компьютерное изображение для создания реалистично выглядящего объекта. Важно отметить, что физическая модель имеет ту же геометрическую форму, что и объект, который изображает модель PA.

Объединение физических и виртуальных объектов

Пространственно дополненная реальность (SAR) визуализирует виртуальные объекты непосредственно в физическом пространстве пользователя или на нем.[1] Ключевым преимуществом SAR является то, что пользователю не нужно носить Шлем виртуальной реальности. Вместо этого, с использованием пространственных дисплеев, широкое поле зрения и, возможно, изображения виртуальных объектов с высоким разрешением могут быть интегрированы непосредственно в окружающую среду. Например, виртуальные объекты могут быть реализованы с помощью цифровых световых проекторов для рисования 2D / 3D изображений на реальных поверхностях или с помощью встроенных плоских дисплеев.

С реальными объектами можно обращаться физически и естественно манипулировать ими, чтобы их можно было рассматривать с любого направления, что важно для эргономической оценки и обеспечивает сильное ощущение осязаемости.[2] Хотя смоделировано тактильная обратная связь устройства позволяют коснуться некоторых аспектов созданных компьютером объектов, они не могут соответствовать этому уровню функциональности.[3] Поэтому неудивительно, что физические объекты все еще используются для многих приложений, таких как дизайн продукта.[4] Однако у созданных компьютером объектов есть ключевое преимущество; они обеспечивают уровень гибкости, с которым не могут сравниться физические объекты. Следовательно, необходим дисплей, который каким-то образом объединяет реальный физический мир и объекты, созданные компьютером, тем самым позволяя воспринимать их одновременно.[5]

Ощутимые пользовательские интерфейсы (TUI) и дополненная реальность оба стремятся решить эту проблему. Системы TUI используют реальные физические объекты как для представления, так и для взаимодействия с компьютерной информацией (рисунок 1). Однако, хотя TUI создают физическую связь между реальными и созданными компьютером объектами, они не создают иллюзию того, что объекты, созданные компьютером, действительно находятся в реальной среде пользователя. Это цель дополненной реальности.

Адаптированный milgrams VR-AR континуум.png

Рис. 1. Континуум современных компьютерных интерфейсов на основе Милграма и Кишино (1994).

В отличие от виртуальная реальность (VR), которая погружает пользователя в компьютерную среду, дополненная реальность (AR) объединяет физическое и виртуальное пространства, создавая иллюзию, что компьютерные объекты на самом деле являются реальными объектами в среде пользователя.[6] (Рисунок 1). Кроме того, системы AR и VR на основе головных дисплеев могут напрямую включать физические объекты. Таким образом, когда пользователь обращается к сгенерированному компьютером объекту, который он может видеть, он касается эквивалентной физической модели, размещенной в том же пространственном месте.[7] Такие системы позволяют динамически изменять созданный компьютером визуальный облик объекта, в то время как физическая модель обеспечивает тактильную обратную связь для базовой формы объекта. Однако системы на основе головных дисплеев требуют, чтобы пользователи носили оборудование, что ограничивает количество людей, которые могут одновременно использовать дисплей.

Вариант парадигмы дополненной реальности, который не страдает этими ограничениями, - это пространственно дополненная реальность (рисунок 1).[8] Пространственно дополненная реальность отображает компьютерную информацию проекта непосредственно в среде пользователя.[9] Хотя существует несколько возможных конфигураций отображения, наиболее естественным является проекционная модель с дополнениями.

Проекционные дополненные модели

Дополненная модель проекции 1.jpg

Рисунок 2 Концепция модели с расширенной проекцией

Модель с дополненной проекцией (PA-модель) состоит из физической трехмерной модели, на которую проецируется компьютерное изображение для создания реалистично выглядящего объекта (рисунок 2). Важно отметить, что физическая модель имеет ту же геометрическую форму, что и объект, который изображает модель PA. Например, изображение, проецируемое на объекты, показанные на рисунке 3, имеет цвет и визуальную текстуру, благодаря чему кажется, что они сделаны из разных материалов.

Дополненная модель проекции 2.jpg

Рисунок 3 Пример модели с расширенной проекцией (врезка - без проекции).

В моделях PA используется уникальная комбинация физических объектов и компьютерной информации, и, следовательно, они наследуют преимущества обоих. «Человеческий интерфейс к физической модели - это сущность« интуитивного ». Нет виджетов, которыми можно было бы манипулировать, ползунков для перемещения и дисплеев, через которые можно было бы смотреть (или носить). Вместо этого мы ходим вокруг объектов, приближаясь и удаляясь для увеличения, пристально вглядываясь и фокусируясь на интересных компонентах, и все это с очень высокой визуальной, пространственной и временной точностью ».[10] Модели PA сочетают в себе высокий уровень интуитивности физических моделей с гибкостью и функциональностью компьютерной графики, такой как возможность быстрого изменения, анимации, сохранения и обновления (Jacucci, Oulasvirta, Psik, Salovaara & Wagner, 2005). Таким образом, модель PA по существу придает физическую форму сгенерированному компьютером объекту, который пользователь может коснуться и схватить голыми руками. Поэтому неудивительно, что исследования пользователей, в которых модели PA сравнивались с другими дисплеями виртуальной и дополненной реальности, показали, что модели PA являются естественным и интуитивно понятным типом дисплея (Nam & Lee, 2003; Stevens et al., 2002).

Однако концепция модели PA не нова. Фактически, один из первых дисплеев типа PA был создан более двадцати лет назад, когда Наймарк построил арт-инсталляцию «Смещения» (Naimark, 1984), а совсем недавно - в аттракционе «Особняк с привидениями» в Диснейленде (Liljegren & Foster, 1990 ). В то время еще не существовало технологий, чтобы модель PA была чем-то большим, чем художественное оформление. Однако, учитывая доступные сегодня технологии и немного «неограниченного воображения», изучение новых проекционных дисплеев теперь «потенциально безгранично».[11]

Рост технологии создания моделей PA был отмечен недавним воссозданием установки Naimark «Displacements» в SIGGRAPH (Displacements, 2005). В частности, была разработана новая технология, которая полуавтоматизирует процесс создания и согласования физической модели и проецируемого изображения. Это поддерживает несколько проекторов, что позволяет освещать модель PA со всех сторон. Кроме того, можно использовать мощные проекторы (2000–3000 люмен), чтобы позволить разместить модель PA в хорошо освещенной комнате (Nam, 2005; Umemoro, Keller & Stappers, 2003). Однако, хотя эта технология позволяет модели PA быть жизнеспособным и полезным типом дисплея, она не решает ее основной цели.

Модель PA призвана создать иллюзию того, что это действительно объект, который она изображает. Например, при использовании в приложении для дизайна продукта важно, чтобы модель PA обеспечивала убедительное восприятие того, что она действительно является конечным продуктом (Nam, 2006; Saakes, 2006; Verlinden, Horváth & Edelenbos, 2006; Keller & Stappers, 2001). Аналогичным образом, при использовании в музейном приложении для создания копии артефакта, модель PA стремится создать иллюзию того, что она является настоящим артефактом (Hirooka & Satio, 2006; Senckenberg Museum, 2006; Bimber, Gatesy, Witmer, Raskar & Энкарнакао, 2002; Лондонский музей, 1999).

Однако ни одно из предыдущих исследований специально не рассматривало эту иллюзию. Таким образом, этот тезис определяет «иллюзию модели с расширенной проекцией» как ситуацию, в которой модель PA воспринимается как фактически изображаемый объект. Например, эта иллюзия возникает, когда пользователь воспринимает модель PA на рисунке 3 как настоящие кирпичи, цветочные горшки и куски дерева, в отличие от белых моделей с проецируемым на них изображением. Однако суть этой иллюзии не в обмане пользователя. Пользователь может воспринимать модель PA как объект, который она изображает, зная, что на самом деле это белая модель и проецируемое изображение.

Технология была разработана для усиления этой иллюзии за счет увеличения физического сходства между моделью PA и объектом, который она изображает, или, другими словами, увеличения точности модели PA. Например, можно динамически моделировать то, как отражаются блики на объекте, когда наблюдатель меняет положение. Это позволяет сделать модель PA изготовленной из самых разных материалов. Например, тусклая глиняная ваза может казаться сделанной из блестящего пластика.

Однако возникновение иллюзии модели PA полностью зависит от субъективного восприятия пользователя. Следовательно, повышение точности различных аспектов модели PA может по-разному влиять на силу иллюзии. По сути, это то же самое, что и способ повышения точности различных аспектов фотореалистичного изображения, созданного на компьютере, может по-разному влиять на степень восприятия изображения как реальной фотографии (Longhurst, Ledda & Chalmers , 2003; Радемахер, Лендьель, Катрелл и Уиттед, 2001). Например, повышение четкости текстур на изображении обычно может быть более важным, чем повышение четкости теней, поэтому нельзя предположить, что повышение точности любого аспекта модели PA автоматически усилит иллюзию модели PA, и аналогично нельзя предположить, что снижение точности какого-либо аспекта автоматически ослабит его. Следовательно, учитывая, что никакие предыдущие исследования не исследовали эту иллюзию, трудно определить успех технологии, которая направлена ​​на ее улучшение, и трудно принимать обоснованные решения при разработке новой технологии. Возможности системы восприятия человека должны определять развитие любого продвинутого интерфейса (Stanney et al., 2004), поэтому этот вопрос требует решения.

Примечание. Модели с расширенной проекцией иногда называют 'Шейдерные лампы' (Raskar, Welch, Low & Bandyopadhyay, 2001, стр. 89).

Смотрите также

Рекомендации

  1. ^ [1]
  2. ^ Исии и Ульмер, 1997.[страница нужна ]
  3. ^ Эванс, Уоллес, Чешир и Сенер, 2005; Барадаран и Штюрцлингер, 2005; Худжа, Хафез и Хеддер, 2004 г.[страница нужна ]
  4. ^ Датсон и Вуд, 2005 г.
  5. ^ Гибсон, Гао и Кэмпбелл, 2004; Исии и Ульмер, 1997.
  6. ^ Адзума и др., 2001
  7. ^ Уиттон, Лок, Инско и Брукс, 2005 г .; Биллингсхерст, Grasset & Looser, 2005; Borst & Volz, 2005; Ли, Чен, Ким, Хан и Пан, 2004 г .; Хоффман, Гарсия-Паласиос, Карлин, Фернесс и Ботелла-Арбона, 2003 г.[страница нужна ]
  8. ^ Раскар, Велч, Фукс, 1998.
  9. ^ Бимбер и Раскар, 2005.
  10. ^ Раскар, Велч, Лоу и Bandyopadhyay, 2001, стр.89
  11. ^ Наймарк, 2005, с.605

Адзума, Р., Байо, Ю., Берингер, Р., Файнер, С., Жюльер, С., и Макинтайр, Б. (2001). Последние достижения в области дополненной реальности. IEEE Computer Graphics and Applications, 21 (6), 34-47.

Барадаран, Х., и Штюрцлингер, В. (2005). Сравнение реальных и виртуальных 3D-строительных инструментов с новичками. В материалах Международной конференции по компьютерной графике и виртуальной реальности - CGVR’06 - части Всемирного конгресса 2006 года по компьютерным наукам, компьютерной инженерии и прикладным вычислениям - WORLDCOMP'06. Мировая Академия Наук.

Биллингшерст М., Грассет Р. и Лузер Дж. (2005). Проектирование интерфейсов дополненной реальности. В материалах ежегодной конференции по компьютерной графике и интерактивным методам - ​​SIGGRAPH’05 (стр. 17–22). Нью-Йорк: ACM Press.

Бимбер, О., Гейтси, С., Витмер, Л., Раскар, Р., и Энкарнакао, Л. (2002). Объединение ископаемых образцов с компьютерной информацией. Компьютер IEEE, 35 (9), 25-30.

Бимбер, О., и Раскар, Р. (2005). Пространственная дополненная реальность: современный подход к дополненной реальности. В материалах ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH’05. Нью-Йорк: ACM Press.

Борст, К., и Волц, Р. (2005). Оценка системы тактильной смешанной реальности для взаимодействия с виртуальной панелью управления. Присутствие: удаленные операторы и виртуальные среды, 14 (6), 677-696.

Брукс, Ф. (1999). Что реально в виртуальной реальности? Компьютерная графика и приложения IEEE, 19 (6), 16-27.

Бурдеа Г. и Коффет П. (2003). Технология виртуальной реальности, 2-е издание. Вашингтон: Wiley-IEEE Press.

Круз-Нейра, К., Сандин, Д., и ДеФанти, Т. (1993). Виртуальная реальность на основе проекции окружающего экрана: разработка и реализация CAVE. В материалах ежегодной конференции по компьютерной графике и интерактивным методам - ​​SIGGRAPH’93 (стр. 135–142). Нью-Йорк: ACM Press.

Смещения (2005). Майкл Наймарк: интерактивные и иммерсивные среды фильмов, 1977–1997. Выставка на ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH’05. Получено 20 сентября 2006 г. из http://www.siggraph.org/s2005/main.php?f=conference&p=art&s=outreach

Дреттакис, Г., Руссу, М., Цингос, Н., Рече, А., и Галло, Э. (2004). Основанные на изображениях методы создания и отображения фотореалистичных интерактивных виртуальных сред. В материалах 10-го симпозиума Eurographics по виртуальным средам - ​​EGVE’04 (стр. 157–166).

Датсон, А., и Вуд, К. (2005). Использование быстрых прототипов для функциональной оценки эволюционных проектов продуктов. Журнал быстрого прототипирования, 11 (3), 125-11.

Эванс, М., Уоллес, Д., Чешир, Д., и Сенер, Б. (2005). Оценка моделирования тактильной обратной связи во время практики промышленного дизайна. Исследования в области дизайна, 26,487-508.

FakeSpace (2006). CAVE: Самая широко используемая в мире система визуализации с полным погружением. Получено 20 сентября 2006 г. из https://web.archive.org/web/20080108092841/http://www.fakespace.com/cave.htm

Фишер Дж., Барц Д. и Штрассер В. (2006). Повышенный визуальный реализм за счет использования эффектов изображения камеры. В материалах Международного симпозиума по смешанной и дополненной реальности - ISMAR’06. Вашингтон: Издательство IEEE Computer Society Press.

Гибсон, И., Гао, З., и Кэмпбелл, И. (2004). Сравнительное исследование виртуального прототипирования и физического прототипирования. Международный журнал производственных технологий и менеджмента, 6 (6), 503-522.

Хироока, С., и Сайто, Х. (2006). Система виртуального отображения без калибровки с использованием видеопроектора на поверхности реального объекта. IEICE-Транзакции по информации и системам - Специальный раздел по искусственной реальности и телексистенции, E89-D (1), 88-97.

Хоффман, Х., Гарсия-Паласиос, А., Карлин, К., Фернесс, Т., Ботелла-Арбона, К. (2003). Исцеляющие интерфейсы: соединение реальных и виртуальных объектов для лечения фобии пауков. Международный журнал взаимодействия человека и компьютера, 16, 283-300.

Ичида, Х., Ито, Ю., Китамура, Ю., и Кишино, Ф. (2004). ActiveCube и его 3D-приложения. В материалах конференции IEEE Virtual Reality Conference - VR’04. Вашингтон: Издательство IEEE Computer Society Press.

Исии, Х., и Ульмер, Б. (1997). Ощутимые биты: к бесшовному интерфейсу между людьми, битами и атомами. В материалах конференции по человеческому фактору в вычислительных системах - CHI-97 (стр. 234–241). Нью-Йорк: ACM Press.

Исии, Х., & Ульмер, Б. (2001). Новые рамки для осязаемых пользовательских интерфейсов. В J. Carroll (Eds.), Взаимодействие человека и компьютера в новом тысячелетии (стр. 579–601). Эддисон-Уэсли.

Джакуччи, Г., Оуласвирта, А., Псик, Т., Саловаара, А., и Вагнер, И. (2005). Картина и коллаж с дополненной реальностью: оценка реального взаимодействия в полевом исследовании. В материалах Десятой Международной конференции IFIP-TC13 по взаимодействию человека и компьютера INTERACT'05 (стр. 43–56).

Келлер, И., и Стэпперс, П. (2001). TRI: Inspiration Поддержка среды дизайн-студии. Международный журнал дизайн-вычислений, 3, 1-17.

Худжа М., Хафез М. и Хеддер А. (2004). Тактильные интерфейсы. Обзор современного искусства. В материалах 35-го Международного симпозиума по робототехнике (стр. 721–726).

Кёльш, М., Бэйн, Р., Хёллерер, Т., и Тюрк, М. (2006). Мультимодальное взаимодействие с носимой системой дополненной реальности. IEEE Computer Graphics and Applications, 26 (3), 62-71.

Ли, С., Чен, Т., Ким, Дж., Хан, С., и Пан, З. (2004). Аффективная оценка дизайна виртуального продукта. В материалах конференции IEEE Virtual Reality Conference - VR’04 (стр. 207–216). Вашингтон: Издательство IEEE Computer Society Press.

Ли, В. и Парк, Дж. (2006) Дополненная пена: осязаемая и понятная дополненная реальность для моделирования дизайна продукта. Бюллетень Японского общества дизайнеров, 52 (6), 17-26.

Лильегрен, Г., & Фостер, Э. (1990). Рисунок с обратным проецированием изображения с использованием волоконной оптики. Патент США № 4978.216, Walt Disney Company, Бербанк, Калифорния, США, 18 декабря 1990 г.

Лонгхерст П., Ледда П. и Чалмерс А. (2003). Художественные техники, основанные на психофизике, для увеличения воспринимаемого реализма виртуальных сред, В трудах 4-й Международной конференции по компьютерной графике, виртуальной реальности, визуализации и взаимодействию в Африке - AFRIGRAPH '03 (стр. 123–132). Нью-Йорк: ACM Press.

Милграм, П., и Кишино, Ф. (1994). Таксономия визуальных дисплеев смешанной реальности. Операции IEICE по информации и системам. Специальный выпуск о сетевой реальности (E77D), 12, 1321-1329.

Наймарк, М. (2005). Два необычных проекционных пространства. Присутствие: удаленные операторы и виртуальные среды, специальный выпуск по проекции, 14 (5), 597-506.

Наймарк, М. (1984). «Смещения». Экспонат в Музее современного искусства Сан-Франциско. Получено 20 сентября 2006 г. из http://www.naimark.net/projects/displacements.html.

Нам, Т. (2005). Платформа быстрого прототипирования на основе эскизов для аппаратно-программно-интегрированных интерактивных продуктов. В материалах третьего симпозиума по прикладному восприятию в графике и визуализации на выставке SIGGRAPH - APGV’05 (стр. 1689–1692). Нью-Йорк: ACM Press.

Нам. Т. (2006). Создание эскизов для аппаратного и программного обеспечения. Интегрированный интерактивный дизайн продукта. В материалах конференции по человеческому фактору в компьютерных системах - CHI’06, семинар по «Эскизам», способствующим развитию творчества: общие черты в искусстве, дизайне, разработке и исследованиях. Нью-Йорк: ACM Press.

Нам Т. и Ли В. (2003). Интеграция аппаратного и программного обеспечения: дополненная реальность на основе метода прототипирования цифровых продуктов. В материалах конференции по человеческому фактору в вычислительных системах CHI’03 (стр. 956–957). Нью-Йорк: ACM Press.

Ни, Т., Шмидт, Г., Штадт, О., Ливингстон, М., Болл, Р., и Мэй, Р. (2006). Обзор технологий, методов и приложений больших дисплеев с высоким разрешением. В материалах конференции IEEE Virtual Reality Conference - VR’06 (стр. 223–236). Вашингтон: Издательство IEEE Computer Society Press.

Радемахер, П., Лендьель, Дж., Катрелл, Э., и Уиттед, Т. (2001). Измерение восприятия визуального реализма в изображениях. В материалах 12-го семинара Еврографии по техникам рендеринга (стр. 235–248). Springer.

Raskar, R., Welch, G., Low K., & Bandyopadhyay, D. (2001). Лампы шейдера: анимация реальных объектов с помощью подсветки на основе изображений. В материалах 12-го семинара Еврографики по техникам рендеринга (стр. 89–102). Springer.

Саакес, Д. (2006). Материальный свет: исследование выразительных материалов. Персональные повсеместные вычисления, 10 (2), 144-147.

Зенкенбергский музей (2006). Музей Зенкенберга - выставка окаменелостей динозавров. Получено 20 сентября 2006 г. из http://www.edt2006.org/media/oliver/EDT06-print-noanim-compress.pdf#search=%22A%20Virtual%20Color%20Reconstruction%20System%20for%20Real%20Heritage%20with%20Light%20Projection%22

Стэнни К., Сэмман С., Ривз Л., Хейл К., Бафф В., Бауэрс К., Голдиз Б., Николсон Д. и Лаки С. (2004). Смена парадигмы в интерактивных вычислениях: вывод принципов мультимодального дизайна из поведенческих и неврологических основ. Международный журнал взаимодействия человека и компьютера, 17 (2), 229-257.

Стивенс, Б., Джеррамс-Смит, Дж., Хиткот, Д., и Каллеар, Д. (2002). Внедрение виртуального в реальность: оценка присутствия объекта с помощью моделей, дополненных проекцией. Присутствие: удаленные операторы и виртуальные среды, 11 (1), 79-92.

Умеморо, Х., Келлер, И., и Стэпперс, П. (2003). Больше света на вашем столе: Sketchy VR размером со стол для удобной совместной работы. Материалы 6-й Международной конференции азиатского дизайна.

Верлинден, Дж., Хорват, И., и Эделенбос, Э. (2006). Трактат о технологиях интерактивного дополненного прототипирования. Материалы 7-го Международного симпозиума по инструментам и методам конкурентного инжиниринга - TMCE’06. Роттердам: Millpress.

Уиттон, М., Лок, Б., Инско, Б., и Брукс, Ф. (2005). Интеграция реальных и виртуальных объектов в виртуальную среду - статья по приглашению. В материалах Международной конференции HCI.

Другие соответствующие публикации

Беннетт Э. и Стивенс Б. (2006). Влияние визуальных и тактильных проблем, связанных с прикосновением к модели с дополненной проекцией, на присутствие объекта. Journal of Presence: Teleoperators and Virtual Environments, специальный выпуск лучших докладов с Международной конференции присутствия, 15 (4), 419-437, MIT Press.

Беннетт Э. и Стивенс Б. (2006). Структура «Обнаружение, восприятие и объект-присутствие»: единая структура для исследования иллюзорных представлений о реальности.. В материалах симпозиума SIGGRAPH по компьютерной графике и прикладному восприятию.