Microsoft Talisman - Microsoft Talisman

Талисман был Microsoft проект по строительству нового 3D графика архитектура, основанная на быстром наложении двухмерных «фрагментов изображения» на экран, адаптация плиточный рендеринг. Теоретически такой подход резко уменьшит количество пропускная способность памяти требуется для 3D-игр и, таким образом, приводит к снижению затрат графические ускорители. Проект был реализован во время появления первых высокопроизводительных 3D-ускорителей, которые быстро превзошли Talisman как по производительности, так и по цене. Никакие системы на основе Talisman никогда не выпускались в продажу, и в конце 1990-х проект был закрыт.

Описание

Обычное 3D

Создание трехмерного изображения для отображения состоит из серии шагов. Сначала объекты для отображения загружаются в память из отдельных модели. Затем система отображения применяет математические функции для преобразования моделей в общую систему координат, мировоззрение. С этой точки зрения создается серия многоугольников (обычно треугольников), которая приближается к исходным моделям с определенной точки зрения. камера. Затем система композитинга создает изображение путем рендеринга треугольников и применения текстуры наружу. Текстуры - это небольшие изображения, которые наносятся на треугольники для придания реализма. Полученное изображение затем комбинируется с различными спецэффектами и перемещается в буферы отображения. Этот базовый концептуальный макет известен как конвейер отображения.

В общем, отображение от одного кадра к другому меняется мало; как правило, при любом данном переходе от кадра к кадру объекты на экране могут немного сдвинуться, но их форма и текстуры вряд ли вообще изменятся. Изменение геометрии - относительно легкая операция для ЦПУ, загрузка текстур из памяти значительно дороже, а затем отправка полученного отрисованного кадра в кадровый буфер самая дорогая операция из всех.

Например, рассмотрите настройки рендеринга эпохи с 24-битным цветом, с базовым 3D-композитингом с трилинейная фильтрация и нет сглаживание: При разрешении 640 x 480 потребуется пропускная способность памяти 1900 Мбит / с; при разрешении 1024 x 768 потребуется 4900 Мбит / с. Ожидается, что даже базовое сглаживание примерно удвоит эти цифры.[1] Для справки, SGI тогдашний RealityEngine2 Машины отличались высокой пропускной способностью памяти около 10 000 Мбит / с, поэтому эти машины широко использовались в трехмерной графике. Типичный ПК той эпохи, использующий AGP 2X мог предложить только 508 Мбит / с.

Первой атакой на эту проблему было введение графические ускорители который обрабатывал хранение и отображение текстур. Эти карты, как и оригинал Вуду Графика ЦП пересчитывал геометрию для каждого кадра, а затем отправлял полученную серию координат на карту. Затем карта выполняла оставшуюся часть операции; применение текстур к геометрии, рендеринг кадра, применение фильтрации или сглаживания и вывод результатов в локальный буфер кадра. Потребность в полосе пропускания в такой системе резко сократилась; для сцены с 10 000 треугольников может потребоваться от 500 до 1000 кбит / с, в зависимости от того, сколько геометрических точек может быть разделено между треугольниками.

Плиточный рендеринг

По мере того, как сложность сцены увеличивалась, необходимость повторно генерировать геометрию для того, что было по сути фиксированным набором объектов, стала сама по себе узким местом. Можно было бы добиться гораздо большего повышения производительности, если бы графическая карта также сохраняла и манипулировала полигонами. В такой системе весь конвейер отображения может запускаться на карте, требуя минимального взаимодействия с процессором. Это потребовало бы, чтобы видеокарта была намного «умнее»; в отличие от очень простых операций, связанных с наложением текстур, карта теперь должна иметь полный процессор, способный вычислять функции, используемые в 3D-моделировании. В то время ряд компаний исследовали этот путь, так называемый "трансформация и освещение «карты или T&L, но сложность и стоимость систем оказались значительными.

Одним из решений, которое изучалось в этот период, была концепция плиточный рендеринг. Это было основано на наблюдении, что небольшие изменения положения камеры можно моделировать, манипулируя небольшими 2D-изображениями, «плитками». Например, движение камеры в сцену можно смоделировать, взяв каждую плитку и увеличив ее. Аналогичным образом, другие движения в сцене могут быть смоделированы с применением соответствующих аффинное преобразование. Однако этот процесс является приблизительным, так как по мере увеличения движения визуальная точность будет снижаться. Такая система может уменьшить необходимость повторного расчета геометрии в среднем до двух-трех кадров.

Проблема с этим подходом заключается в том, что не все плитки обязательно нужно перерисовывать каждый раз, а только те, которые содержат объекты, расположенные близко к камере. Если вся геометрия отправляется на карту, то эта задача может быть решена полностью на карте, но для этого требуются карты такой же сложности, что и системы T&L. Если геометрия находится под контролем ЦП, то в идеале карта должна иметь возможность запрашивать ЦП повторно визуализировать только те объекты в тайлах, которые устарели. Во многих случаях для этого потребуется изменить конвейер рендеринга ЦП. В любом случае карта и / или драйверы должны знать порядок и положение объектов, что обычно скрыто в коде.

Талисман

Talisman представлял собой полный набор программного и аппаратного обеспечения, который пытался решить проблему мозаичного рендеринга. Система поделилась некоторой информацией о плитках и объектах внутри них, чтобы узнать, какие плитки устарели. Если плитка устарела, ЦП просили повторно визуализировать объекты в этой плитке и отправить результаты обратно в драйвер, а затем на карту. После рендеринга определенного фрагмента на карте он сохранялся на карте в сжатом формате, чтобы его можно было повторно использовать в будущих кадрах. Microsoft подсчитала, что каждую плитку можно повторно использовать в среднем примерно для четырех кадров, тем самым снижая нагрузку на ЦП примерно в четыре раза.

В Talisman буферы изображений были разбиты на «блоки» размером 32 x 32 пикселя, которые были индивидуально визуализированы с использованием трехмерных объектов и текстур, предоставленных ЦП. Указатели на фрагменты затем сохранялись в упорядоченном по оси z (от начала до конца) списке для каждых 32 строк развертки на дисплее. Одна проблема заключается в том, что куски не могут быть «сшиты вместе», проблема, которая иногда была видна в различных видеоиграх с использованием программный рендеринг. Чтобы избежать этого, Talisman также сохранил отдельный «буфер края» для каждого фрагмента, в котором хранилась «область переполнения», которая закрывала бы пробелы в отображении.

Конвейер рендеринга

В традиционной трехмерной системе геометрия периодически генерируется, отправляется на карту для композиции, объединяется в кадровый буфер, а затем, в конечном итоге, улавливается видеооборудованием для отображения. Системы талисманов по сути полностью изменили этот процесс; экран был разделен на полосы высотой 32 строки, и пока видеооборудование рисовало одну из этих полос, оборудование обращалось к стороне Talisman и сообщало ей, что нужно подготовить детали для следующей полосы.

Система будет реагировать, извлекая любые фрагменты, которые были видны в этой полосе с учетом текущего местоположения камеры. В типичном случае многие фрагменты могут быть скрыты другими фрагментами и могут быть проигнорированы во время компоновки, что экономит время. Это причина z-сортировки фрагментов, которая позволяет эффективно извлекать их в «порядке видимости». Если фрагменты можно было изменить без искажения, вызывали соответствующее аффинное преобразование для обновления фрагмента на месте. Если это невозможно, скажем, из-за того, что камера слишком сильно переместилась с момента последнего полного обновления, CPU попросили предоставить новую геометрию для этого фрагмента, которую затем карта визуализировала и поместила обратно в хранилище.

У Talisman не было аналога фреймбуфера, который рендерил фрагменты по запросу прямо на экран, когда линия развертки монитора продвигалась вниз по экрану. Это интересный аналог с Atari 2600, который использует аналогичную систему для визуализации двухмерных изображений на экране, метод, известный как «гонка по лучу». В обоих случаях это уменьшило объем необходимой памяти и пропускную способность памяти, используемую между системой отображения и видеооборудованием. В обоих случаях это также потребовало значительно более тесной интеграции между видеосистемой и программами, которые ее запускают. В случае Talisman программы должны были хранить свои объекты в определенном формате, понятном программным драйверам Talisman, что позволяло быстро извлекать их из памяти во время прерывает.

История

Введение

Усилия Talisman были попыткой Microsoft коммерциализировать концепции, над которыми экспериментировали в течение некоторого времени. В частности, PixelFlow система разработана в Hewlett Packard исследовательская лаборатория в Университет Северной Каролины в Чапел-Хилл можно считать прямым родителем Талисмана.[2]

Когда Talisman впервые был обнародован в 1996 году СИГГРАФ Встречаясь, они пообещали резкое снижение стоимости внедрения графической подсистемы.[3] Они планировали работать с поставщиками, чтобы продать концепцию Talisman для включения в системы отображения других компаний. То есть предполагалось, что Talisman станет частью более крупного медиа-чипа, а не целой 3D-системой, которая будет стоять отдельно в системе. Их базовая система будет поддерживать 20–30 000 полигонов на дисплее 1024 x 768 при 32 бит / пиксель, со скоростью рендеринга полигонов 40 Мпикс / с и скоростью компоновки слоев изображения 320 Мпикс / с.

Escalante

В то время Microsoft работала с несколькими поставщиками над разработкой эталонной реализации, известной как Escalante. Samsung и 3DO работали вместе, чтобы разработать одночиповый DSP -подобный "Media Signal Processor" (MSP), сочетающий функциональность Talisman с дополнительной функциональностью мультимедиа. Cirrus Logic предоставит СБИС чип, который будет извлекать данные, помещенные в память MSP, применять эффекты и отправлять их для отображения. Этот чип, известный как «процессор многоугольных объектов» (POP), периодически опрашивался другим чипом Cirrus Logic, «Image Layer Compositor» (ILC), который был привязан к видеосхеме. Кроме того, Escalante планировал разместить 4 МБ RDRAM на двух 8-битных каналах 600 МГц, обеспечивающих пропускную способность 1,2 ГБ / с.[4] Позже Philips вступили в бой с запланированной новой версией своих TriMedia процессор, который реализовал большую часть Talisman в одном процессоре, и Trident Microsystems, с похожими планами.

Именно в разгар проекта Talisman шутер от первого лица Жанр стал выходить на первый план в играх. Это создало рыночный спрос на ускорители, которые можно было бы использовать с существующими играми с минимальными изменениями. К тому времени, когда эталонный дизайн Escalante был готов к производству, рыночные силы уже привели к появлению ряда новых дизайнов карт с такими улучшенными характеристиками, что карты Talisman просто не могли конкурировать с ними. Карты с большим количеством ОЗУ Обеспечение чрезвычайно высоких скоростей решило проблему с полосой пропускания, просто перебором проблема вместо попытки решить ее с помощью умной реализации.

Кроме того, концепция Talisman требовала тесной интеграции между системой отображения и используемым программным обеспечением. В отличие от новых 3D-карт, поступающих на рынок в то время, системы Talisman должны иметь возможность запрашивать ЦП для повторного рендеринга частей изображения, чтобы обновить их. Это требовало, чтобы игры имели определенную организацию в памяти, чтобы отвечать на эти запросы. Чтобы помочь разработчикам в решении этой задачи, Direct3D был изменен, чтобы более точно соответствовать потребностям Талисмана. Однако для любой игры, которая уже была написана, или тех, которые не хотели быть привязанными к Talisman, это сделало систему D3D медленнее и значительно менее интересной.

Исчезновение

В результате этих изменений Talisman так и не стал коммерческим продуктом. Cirrus Logic и Samsung отказались от этой системы в 1997 году, в результате чего Microsoft отказалась от планов по выпуску Escalante в 1997 году, и внешним наблюдателям казалось, что весь проект мертв.[5]

Однако вскоре после этого произошло короткое возрождение, когда Fujitsu заявила, что работает над одночиповой реализацией, которая будет доступна в 1998 году, и слухи об аналогичных проектах в S3 Графика и ATI Technologies.[6] Ни одна из этих систем так и не была отправлена, и Талисман был тихо убит. Это вызвало большой восторг у сторонних поставщиков графических ускорителей, а также людей в Microsoft, которые поддерживали их на рынке. DirectX.

Наследие

Тем не менее, некоторые идеи, впервые реализованные в системе Talisman, с тех пор стали распространены в большинстве ускорителей. В частности, сейчас широко используется сжатие текстур. На более поздних картах сжатие также использовалось для z-буферов, чтобы уменьшить требования к памяти при сортировке дисплея. Идея использования «чанков» для сортировки отображения также использовалась в небольшом количестве карточек, называемых рендеринг на основе плитки, но он стал конкурентоспособным на рынке настольных ПК намного позже, с выпуском NVidia Графические процессоры на базе Maxwell в 2014 году. Многие графические процессоры, специально разработанные для мобильных устройств (таких как сотовые телефоны), используют мозаичный подход. Только одна ключевая идея Talisman, запрашивающая обновления геометрии только «при необходимости», с тех пор не применялась.

использованная литература

  1. ^ Аллен Баллман, "Что такое Талисман?" В архиве 2006-09-13 на Wayback Machine, Microsoft Research, SIGGRAPH 1996
  2. ^ Объединенный выпуск: Microsoft Talisman "Repackages" Chapel Hill Concept
  3. ^ Джей Торборг и Джеймс Каджиа, «Талисман: 3D-графика в реальном времени для ПК», SIGGRAPH 1996
  4. ^ Фрэнсис Вейл, Intel MMX против Microsoft Talisman: Abbott и Costello Do Multimedia, 21-я; Сеть VXM, 1997 г.
  5. ^ Фрэнсис Вейл, Талисман, часть 2: Microsoft по-прежнему не понимает трехмерного изображения, 21-я; Сеть VXM, 1997 г.
  6. ^ Марк Хачман, Ф "Уджитсу, чтобы оживить талисман Microsoft", Электронные новости покупателя, 16 сентября 1998 г.

внешние ссылки

  • Chicken Crossing, короткометражный фильм, созданный в реальном времени с использованием концептов Talisman, представленный на выставке SIGGRAPH '96