Оптимальный дизайн - Optimal design

Густав Эльфвинг разработали оптимальный план экспериментов, и таким образом минимизировали потребность геодезистов в теодолит измерения (на фото), в то время как заперт в своей палатке в Гренландия.^[1]

в дизайн экспериментов, оптимальные конструкции (или оптимальные конструкции^[2]) являются классом экспериментальные образцы которые оптимальный в отношении некоторых статистический критерий. Создание этой области статистики было приписано датскому статистику. Кирстин Смит.^[3][4]

в дизайн экспериментов для оценка статистические модели, оптимальные конструкции позволить параметрам быть оценивается без предвзятости и с минимальная дисперсия. Неоптимальный дизайн требует большего количества экспериментальные опыты к оценить то параметры с тем же точность как оптимальный дизайн. На практике оптимальные эксперименты могут снизить стоимость экспериментов.

Оптимальность дизайна зависит от статистическая модель и оценивается по статистическому критерию, который связан с матрицей дисперсии оценщика. Для определения подходящей модели и определения подходящей целевой функции требуется понимание статистическая теория и практические знания с разработка экспериментов.

Преимущества

Оптимальные конструкции имеют три преимущества перед неоптимальными. экспериментальные образцы:^[5]

1. Оптимальный дизайн снижает затраты на эксперименты, позволяя статистические модели для оценки с меньшим количеством экспериментальных запусков.
2. Оптимальные конструкции могут учитывать несколько типов факторов, таких как процесс, смесь и дискретные факторы.
3. Проекты могут быть оптимизированы, когда пространство проектирования ограничено, например, когда математическое пространство процесса содержит практически невыполнимые настройки факторов (например, из соображений безопасности).

Минимизация дисперсии оценок

Планы экспериментов оцениваются с использованием статистических критериев.^[6]

Известно, что наименьших квадратов оценщик минимизирует отклонение из значить -беспристрастный оценщики (в условиях Теорема Гаусса – Маркова ). в предварительный расчет теория для статистические модели с одним настоящий параметр, то взаимный дисперсии ("эффективный" ) оценщик называется "Информация Fisher "для этого оценщика.^[7] Из-за этой взаимности сведение к минимуму то отклонение соответствует максимизация то Информация.

Когда статистическая модель имеет несколько параметры, Однако значить параметра-оценщика является вектор и это отклонение это матрица. В обратная матрица матрицы дисперсии называется «информационной матрицей». Поскольку дисперсия средства оценки вектора параметров является матрицей, проблема «минимизации дисперсии» усложняется. С помощью статистическая теория, статистики сжимают информационную матрицу, используя действительные значения сводные статистические данные; будучи функциями с действительным знаком, эти «информационные критерии» могут быть максимизированы.^[8] Традиционные критерии оптимальности инварианты из Информация матрица; алгебраически, традиционные критерии оптимальности функционалы из собственные значения информационной матрицы.

• А-оптимальность ("средний" или след)
  • Один критерий А-оптимальность, который стремится минимизировать след из обратный информационной матрицы. Этот критерий приводит к минимизации средней дисперсии оценок коэффициентов регрессии.
• C-оптимальность
  • Этот критерий сводит к минимуму дисперсию лучшая линейная несмещенная оценка заданной линейной комбинации параметров модели.
• D-оптимальность (детерминант)
  • Популярным критерием является D-оптимальность, который стремится минимизировать | (X'X)⁻¹| или, что то же самое, максимизировать детерминант из информационная матрица X'X дизайна. Этот критерий приводит к максимальному увеличению дифференциальная информация Шеннона содержание оценок параметров.
• E-оптимальность (собственное значение)
  • Другой дизайн E-оптимальность, что максимизирует минимум собственное значение информационной матрицы.
• Т-оптимальность
  • Этот критерий максимизирует след информационной матрицы.

Другие критерии оптимальности связаны с дисперсией предсказания:

• г-оптимальность
  • Популярным критерием является G-оптимальность, который стремится минимизировать максимальный вход в диагональ из шляпа матрица Х (Х'Х)⁻¹ИКС'. Это дает эффект минимизации максимальной дисперсии предсказанных значений.
• я-оптимальность (интегрированный)
  • Второй критерий дисперсии прогноза: I-оптимальность, который стремится минимизировать среднюю дисперсию прогноза над дизайнерским пространством.
• V-оптимальность (отклонение)
  • Третий критерий дисперсии прогноза: V-оптимальность, который стремится минимизировать среднюю дисперсию прогноза для набора из m конкретных точек.^[9]

Контрасты

Во многих приложениях статистика больше всего озабочена "интересующий параметр" а не с "мешающие параметры". В более общем плане статистики считают линейные комбинации параметров, которые оцениваются с помощью линейных комбинаций лечебных средств в дизайн экспериментов и в дисперсионный анализ; такие линейные комбинации называются контрасты. Статистики могут использовать соответствующие критерии оптимальности для таких интересующие параметры и для контрасты.^[10]

Реализация

Каталоги оптимальных проектов встречаются в книгах и в библиотеках программного обеспечения.

Кроме того, основные статистические системы любить SAS и р иметь процедуры для оптимизации дизайна в соответствии со спецификациями пользователя. Экспериментатор должен указать модель для проектирования и критерия оптимальности, прежде чем метод сможет вычислить оптимальный план.^[11]

Практические соображения

Некоторые сложные темы в оптимальном дизайне требуют большего статистическая теория и практические знания в разработке экспериментов.

Зависимость и надежность модели

Поскольку критерий оптимальности наиболее оптимальных планов основан на некоторой функции информационной матрицы, `` оптимальность '' данного дизайна равна модель зависимый: Оптимальный дизайн лучше всего подходит для этого. модель, его производительность может ухудшиться на других модели. На других модели, оптимальный дизайн может быть лучше или хуже неоптимального дизайна.^[12] Поэтому важно ориентир исполнение конструкций под альтернативу модели.^[13]

Выбор критерия оптимальности и надежности

Выбор подходящего критерия оптимальности требует некоторого размышления, и полезно оценить производительность проектов по нескольким критериям оптимальности. Корнелл пишет, что

поскольку критерий [традиционной оптимальности]. . . являются критериями минимизации дисперсии,. . . конструкция, оптимальная для данной модели с использованием одного из. . . критерий обычно близок к оптимальному для той же модели по отношению к другим критериям.

— ^[14]

В самом деле, существует несколько классов планов, для которых совпадают все традиционные критерии оптимальности в соответствии с теорией «универсальной оптимальности». Кифер.^[15] Опыт таких практиков, как Корнелл, и теория «универсальной оптимальности» Кифера предполагают, что устойчивость к изменениям в критерий оптимальности намного больше, чем устойчивость к изменениям в модель.

Гибкие критерии оптимальности и выпуклый анализ

Качественное статистическое программное обеспечение предоставляет комбинацию библиотек оптимальных планов или итерационных методов для построения приблизительно оптимальных планов в зависимости от указанной модели и критерия оптимальности. Пользователи могут использовать стандартный критерий оптимальности или могут запрограммировать индивидуальный критерий.

Все традиционные критерии оптимальности выпуклые (или вогнутые) функции, и поэтому оптимальные планы поддаются математической теории выпуклый анализ и их вычисление может использовать специализированные методы выпуклая минимизация.^[16] Практику нет необходимости выбирать ровно один традиционный, критерий оптимальности, но можно указать собственный критерий. В частности, практикующий специалист может определить выпуклый критерий, используя максимумы выпуклых критериев оптимальности и неотрицательные комбинации критериев оптимальности (поскольку эти операции сохраняют выпуклые функции ). Для выпуклый критериев оптимальности Кифер -Wolfowitz теорема эквивалентности позволяет практикующему специалисту убедиться, что данная конструкция оптимальна в целом.^[17] В Кифер -Wolfowitz теорема эквивалентности связано с Legendre -Фенчел спаривание для выпуклые функции.^[18]

Если критерий оптимальности отсутствует выпуклость, а затем найти глобальный оптимум и часто бывает трудно проверить его оптимальность.

Неопределенность модели и байесовские подходы

Выбор модели

Когда ученые хотят проверить несколько теорий, статистик может разработать эксперимент, который позволяет проводить оптимальные тесты между указанными моделями. Такие «дискриминационные эксперименты» особенно важны в биостатистика поддерживающий фармакокинетика и фармакодинамика, следя за работой Кокс и Аткинсон.^[19]

Байесовский экспериментальный дизайн

Когда практикующим нужно рассмотреть несколько модели, они могут указать вероятностная мера на моделях, а затем выберите любой дизайн, увеличивая ожидаемое значение такого эксперимента. Такие вероятностные оптимальные планы называются оптимальными. Байесовский конструкции. Такие Байесовские конструкции используются специально для обобщенные линейные модели (где ответ следует за экспоненциальная семья распределение).^[20]

Использование Байесовский дизайн не заставляет статистиков использовать Байесовские методы для анализа данных, однако. Действительно, некоторые исследователи не одобряют «байесовский» ярлык для вероятностных экспериментальных планов.^[21] Альтернативная терминология для «байесовской» оптимальности включает оптимальность «в среднем» или оптимальность «совокупности».

Итерационное экспериментирование

Научные эксперименты - это итеративный процесс, и статистики разработали несколько подходов к оптимальному плану последовательных экспериментов.

Последовательный анализ

Последовательный анализ был первым Авраам Вальд.^[22] В 1972 г. Герман Чернов написал обзор оптимальных последовательных планов,^[23] в то время как адаптивный дизайн позднее были исследованы С. Заксом.^[24] Конечно, большая часть работы по оптимальному плану экспериментов связана с теорией оптимальные решения, особенно теория статистических решений из Авраам Вальд.^[25]

Методология поверхности отклика

Оптимальные конструкции для модели поверхности отклика обсуждаются в учебнике Аткинсона, Донева и Тобиаса, в обзоре Гаффке и Хейлигера и в математическом тексте Пукельсхайма. В блокировка Оптимальные конструкции обсуждаются в учебнике Аткинсона, Донева и Тобиаса, а также в монографии Гуса.

Самые ранние оптимальные планы были разработаны для оценки параметров регрессионных моделей с непрерывными переменными, например, с помощью Дж. Д. Жергонн в 1815 г. (Стиглер). На английском языке два ранних вклада были сделаны Чарльз С. Пирс и Кирстин Смит.

Новаторский дизайн для многомерных поверхности отклика были предложены Джордж Э. П. Бокс. Однако у конструкций Бокса мало свойств оптимальности. Действительно, Бокс – дизайн Бенкена требует чрезмерных экспериментов, когда количество переменных превышает три.^[26]Коробка «центрально-составные» конструкции требуют большего количества экспериментальных прогонов, чем оптимальные конструкции Kôno.^[27]

Идентификация системы и стохастическая аппроксимация

Оптимизация последовательного экспериментирования изучается также в стохастическое программирование И в системы и контроль. Популярные методы включают стохастическая аппроксимация и другие методы стохастическая оптимизация. Многие из этих исследований были связаны с дисциплиной идентификация системы.^[28]В вычислительной оптимальный контроль, Д. Юдин, А. Немировский и Борис Поляк описал методы, которые более эффективны, чем (В стиле армиджо ) правила размера шага представлен Г. Э. П. Бокс в методология поверхности отклика.^[29]

Адаптивный дизайн используются в клинические испытания, и оптимальный адаптивный дизайн обследуются в Справочник экспериментальных образцов глава Шелемяху Закса.

Указание количества экспериментальных запусков

Использование компьютера для поиска хорошего дизайна

Есть несколько методов поиска оптимальной конструкции с учетом априори ограничение на количество экспериментальных запусков или повторений. Некоторые из этих методов обсуждаются Аткинсоном, Доневым и Тобиасом, а также в статье Хардин и Sloane. Конечно, фиксируя количество экспериментальных запусков априори было бы непрактично. Благоразумные статистики исследуют другие оптимальные планы, количество экспериментов которых различается.

Дискретные планы измерения вероятности

В математической теории оптимальных экспериментов оптимальный план может быть вероятностная мера это поддержанный на бесконечном множестве точек наблюдения. Такие оптимальные схемы измерения вероятностей решают математическую задачу, в которой не учитывается стоимость наблюдений и экспериментальных прогонов. Тем не менее, такие оптимальные планы вероятностных мер могут быть дискретизированный снабжать примерно оптимальные конструкции.^[30]

В некоторых случаях конечного набора точек наблюдения достаточно, чтобы поддержка оптимальный дизайн. Такой результат был доказан Коно и Кифер в своих работах по конструкции поверхности отклика для квадратичных моделей. Анализ Коно-Кифера объясняет, почему оптимальные конструкции для поверхностей отклика могут иметь дискретные опоры, которые очень похожи, как и менее эффективные конструкции, которые были традиционными в методология поверхности отклика.^[31]

История

В 1815 г. появилась статья об оптимальных конструкциях для полиномиальная регрессия был опубликован Джозеф Диас Жергонн, согласно с Стиглер.

Чарльз С. Пирс предложил экономическую теорию научных экспериментов в 1876 году, которая стремилась максимизировать точность оценок. Оптимальное распределение Пирса немедленно повысило точность гравитационных экспериментов и десятилетиями использовалось Пирсом и его коллегами. В своей лекции 1882 г. Университет Джона Хопкинса Пирс представил экспериментальный дизайн следующими словами:

Логика не возьмется сообщать вам, какие эксперименты вы должны провести, чтобы наилучшим образом определить ускорение свободного падения или величину Ома; но он расскажет вам, как приступить к формированию плана экспериментов.

[....] К сожалению, практика обычно предшествует теории, и обычная судьба человечества - сначала делать что-то каким-то непостижимым способом, а потом выяснять, как это можно было бы сделать гораздо проще и совершеннее.^[32]

Кирстин Смит предложила оптимальные планы для полиномиальных моделей в 1918 г. (Кирстин Смит была ученицей датского статистика Торвальд Н. Тиле и работал с Карл Пирсон В Лондоне.)

Смотрите также

Заметки

использованная литература

• Аткинсон, А. С .; Донев, А. Н .; Тобиас, Р. Д. (2007). Оптимальные экспериментальные планы с SAS. Oxford University Press. С. 511 + xvi. ISBN  978-0-19-929660-6.CS1 maint: ref = harv (ссылка на сайт)
• Чернов, Герман (1972). Последовательный анализ и оптимальный дизайн. Общество промышленной и прикладной математики. ISBN  978-0-89871-006-9.
• Федоров, В. В. (1972). Теория оптимальных экспериментов. Академическая пресса.
• Федоров, Валерий В .; Хакл, Питер (1997). Модельно-ориентированный план экспериментов. Конспект лекций по статистике. 125. Springer-Verlag.CS1 maint: ref = harv (ссылка на сайт)
• Гус, Питер (2002). Оптимальный план экспериментов с блокировкой и разделением участков. Конспект лекций по статистике. 164. Springer.CS1 maint: ref = harv (ссылка на сайт)
• Кифер, Джек Карл (1985). Коричневый; Олкин, Ингрэм; Мешки, Джером; и другие. (ред.). Джек Карл Кифер: Сборник статей III - Планирование экспериментов. Спрингер-Верлаг и Институт математической статистики. С. 718 + xxv. ISBN  978-0-387-96004-3.CS1 maint: ref = harv (ссылка на сайт)
• Logothetis, N .; Винн, Х. П. (1989). Качество через дизайн: экспериментальный дизайн, автономный контроль качества и вклад Тагучи. Oxford U. P. стр. 464 + xi. ISBN  978-0-19-851993-5.CS1 maint: ref = harv (ссылка на сайт)
• Нордстрем, Кеннет (май 1999 г.). «Жизнь и творчество Густава Эльфвинга». Статистическая наука. 14 (2): 174–196. Дои:10.1214 / сс / 1009212244. JSTOR  2676737. Г-Н  1722074.CS1 maint: ref = harv (ссылка на сайт)
• Пукельсхайм, Фридрих (2006). Оптимальный план экспериментов. Классика прикладной математики. 50 (переиздание со списком исправлений и новым предисловием к изданию Wiley (0-471-61971-X) 1993 г.). Общество промышленной и прикладной математики. С. 454 + xxxii. ISBN  978-0-89871-604-7.CS1 maint: ref = harv (ссылка на сайт)
• Шах, Кирти Р. и Синха, Бикас К. (1989). Теория оптимальных дизайнов. Конспект лекций по статистике. 54. Springer-Verlag. С. 171 + viii. ISBN  978-0-387-96991-6.

дальнейшее чтение

Учебники для практиков и студентов

Учебники с упором на методологию регрессии и поверхности отклика

Учебник Аткинсона, Донева и Тобиаса использовался для кратких курсов для промышленных практиков, а также для университетских курсов.

• Аткинсон, А. С .; Донев, А. Н .; Тобиас, Р. Д. (2007). Оптимальные экспериментальные планы с SAS. Издательство Оксфордского университета. С. 511 + xvi. ISBN  978-0-19-929660-6.CS1 maint: ref = harv (ссылка на сайт)
• Logothetis, N .; Винн, Х. П. (1989). Качество через дизайн: экспериментальный дизайн, автономный контроль качества и вклад Тагучи. Oxford U. P. стр. 464 + xi. ISBN  978-0-19-851993-5.CS1 maint: ref = harv (ссылка на сайт)

Учебники с упором на блочные конструкции

Оптимально блочные конструкции обсуждаются Бейли и Бапатом. Первая глава книги Бапата рассматривает линейная алгебра используется Бейли (или продвинутыми книгами ниже). Упражнения Бейли и обсуждение рандомизация оба подчеркивают статистические концепции (а не алгебраические вычисления).

• Бейли, Р.А. (2008). Дизайн сравнительных экспериментов. Кембридж U. P. ISBN  978-0-521-68357-9. Проект доступен онлайн. (Особенно Глава 11.8 «Оптимальность»)
• Бапат, Р. Б. (2000). Линейная алгебра и линейные модели (Второе изд.). Springer. ISBN  978-0-387-98871-9. (Глава 5 «Блочные конструкции и оптимальность», страницы 99–111)

Оптимально блочные конструкции обсуждаются в продвинутой монографии Шаха и Синхи и в обзорных статьях Ченга и Маджумдара.

Книги для профессиональных статистиков и исследователей

• Чернов, Герман (1972). Последовательный анализ и оптимальный дизайн. СИАМ. ISBN  978-0-89871-006-9.
• Федоров, В. В. (1972). Теория оптимальных экспериментов. Академическая пресса.
• Федоров, Валерий В .; Хакл, Питер (1997). Модельно-ориентированный план экспериментов. 125. Springer-Verlag.
• Гус, Питер (2002). Оптимальный план экспериментов с блокировкой и разделением участков. 164. Springer.
• Гус, Питер и Джонс, Брэдли (2011). Оптимальный план экспериментов: тематический подход. Чичестер Уайли. п. 304. ISBN  978-0-470-74461-1.
• Кифер, Джек Карл. (1985). Браун, Лоуренс Д.; Олкин, Ингрэм; Джером Сакс; Винн, Генри П. (ред.). Джек Карл Кифер Сборник статей III Планирование экспериментов. Спрингер-Верлаг и Институт математической статистики. ISBN  978-0-387-96004-3.
• Пукельсхайм, Фридрих (2006). Оптимальный план экспериментов. 50. Общество промышленной и прикладной математики. ISBN  978-0-89871-604-7. Переиздание со списком исправлений и новым предисловием к Wiley (0-471-61971-X) 1993 г.
• Шах, Кирти Р. и Синха, Бикас К. (1989). Теория оптимальных дизайнов. 54. Springer-Verlag. ISBN  978-0-387-96991-6.

Статьи и главы

• Чалонер, Кэтрин и Вердинелли, Изабелла (1995). «Байесовский экспериментальный план: обзор». Статистическая наука. 10 (3): 273–304. CiteSeerX  10.1.1.29.5355. Дои:10.1214 / сс / 1177009939.
• Ghosh, S .; Рао, К., ред. (1996). Планирование и анализ экспериментов. Справочник по статистике. 13. Северная Голландия. ISBN  978-0-444-82061-7.
  • "Модель Надежный Конструкции ». Планирование и анализ экспериментов. Справочник по статистике. С. 1055–1099.
  • Ченг, К.-С. «Оптимальный дизайн: точная теория». Планирование и анализ экспериментов. Справочник по статистике. С. 977–1006.
  • ДасГупта, А. "Обзор Optimal Байесовские конструкции ". Планирование и анализ экспериментов. Справочник по статистике. С. 1099–1148.
  • Гаффке, Н. и Хейлигерс, Б. "Приблизительные проекты для Полиномиальная регрессия: Инвариантность, Допустимость, и оптимальность ». Планирование и анализ экспериментов. Справочник по статистике. С. 1149–1199.
  • Маджумдар, Д. «Оптимальные и эффективные схемы лечения и контроля». Планирование и анализ экспериментов. Справочник по статистике. С. 1007–1054.
  • Штуфкен, Дж. "Оптимальный" Кроссоверы ". Планирование и анализ экспериментов. Справочник по статистике. С. 63–90.
  • Закс, С. "Адаптивные конструкции для параметрических моделей". Планирование и анализ экспериментов. Справочник по статистике. С. 151–180.
• Коно, Казумаса (1962). "Оптимальные планы для квадратичной регрессии на k-куб " (PDF). Воспоминания факультета естественных наук. Университет Кюсю. Серия А. Математика. 16 (2): 114–122. Дои:10.2206 / kyushumfs.16.114.

Исторический

• Жергонн, Дж. Д. (Ноябрь 1974 г.) [1815 г.]. «Применение метода наименьших квадратов к интерполяции последовательностей». Historia Mathematica (Перевод Ральфа Сент-Джона и С. М. Стиглер из французского изд. 1815 г.). 1 (4): 439–447. Дои:10.1016/0315-0860(74)90034-2.
• Стиглер, Стивен М. (Ноябрь 1974 г.). «Статья Жергонна 1815 года о разработке и анализе экспериментов с полиномиальной регрессией». Historia Mathematica. 1 (4): 431–439. Дои:10.1016/0315-0860(74)90033-0.
• Пирс, К. С. (1876 г.). «Записка по теории экономики исследований». Отчет об исследовании побережья: 197–201. (Приложение №14). NOAA PDF Eprint. Перепечатано в Собрание статей Чарльза Сандерса Пирса. 7. 1958. пункты 139–157 и в Пирс, К. С. (июль – август 1967 г.). «Записка по теории экономики исследований». Исследование операций. 15 (4): 643–648. Дои:10.1287 / opre.15.4.643. JSTOR  168276.
• Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее констант и их указаниях по правильному выбору распределения наблюдений». Биометрика. 12 (1/2): 1–85. Дои:10.2307/2331929. JSTOR  2331929.