Оценка усилий по разработке программного обеспечения - Software development effort estimation

В разработка программного обеспечения, оценка усилий это процесс прогнозирования наиболее реалистичного количества усилий (выраженных в человеко-часах или деньгах), необходимых для разработки или поддержания программного обеспечения на основе неполного, неопределенного и шумного ввода. Усилие оценки может использоваться в качестве входных данных для планов проектов, планов итераций, бюджетов, инвестиционного анализа, процессов ценообразования и раундов торгов.[1][2]

Состояние практики

Опубликованные обзоры практики оценки показывают, что экспертная оценка является доминирующей стратегией при оценке усилий по разработке программного обеспечения.[3]

Как правило, оценки усилий слишком оптимистичны, и есть сильная чрезмерная уверенность в их точности. Средний перерасход усилий составляет около 30% и не уменьшается со временем. Для обзора обзоров ошибок оценки усилий см.[4] Однако измерение ошибки оценки проблематично, см. Оценка точности оценок. Сильная чрезмерная уверенность в точности оценок усилий иллюстрируется выводом о том, что в среднем, если профессионал в области программного обеспечения на 90% уверен или «почти уверен», что включит фактические усилия в минимально-максимальный интервал, наблюдаемая частота в том числе фактические усилия составляют всего 60-70%.[5]

В настоящее время термин «оценка усилий» используется для обозначения различных понятий, таких как наиболее вероятное использование усилий (модальное значение), усилие, которое соответствует вероятности 50% непревышения (медиана), запланированное усилие, запланированное усилие. или усилие, используемое для предложения клиенту ставки или цены. Это считается неудачным, потому что могут возникнуть проблемы с коммуникацией и потому, что концепции служат разным целям.[6][7]

История

Исследователи программного обеспечения и практики занимаются проблемами оценки трудозатрат для проектов разработки программного обеспечения, по крайней мере, с 1960-х годов; см., например, работу Фарра[8][9] и Нельсон.[10]

Большинство исследований было сосредоточено на построении формальных моделей оценки усилий по программному обеспечению. Ранние модели обычно основывались на регрессивный анализ или математически выведен из теорий из других областей. С тех пор было оценено большое количество подходов к построению моделей, таких как подходы, основанные на аргументация по делу, классификация и деревья регрессии, симуляция, нейронные сети, Байесовская статистика, лексический анализ технических требований, генетическое программирование, линейное программирование, экономичные производственные модели, мягкие вычисления, нечеткая логика моделирование, статистическое самонастройка, и комбинации двух или более из этих моделей. Пожалуй, наиболее распространенными методами оценки сегодня являются параметрические модели оценки. КОКОМО, SEER-SEM и SLIM. Они основаны на оценочных исследованиях, проведенных в 1970-х и 1980-х годах, и с тех пор обновляются новыми данными калибровки, причем последним крупным выпуском является COCOMO II в 2000 году. Подходы к оценке основаны на измерениях размеров, основанных на функциональности, например, функциональные точки, также основан на исследованиях, проведенных в 1970-х и 1980-х годах, но повторно откалиброван с использованием модифицированных мер размера и различных подходов к подсчету, таких как точки использования[11] или же точки объекта в 1990-е гг.

Подходы к оценке

Есть много способов категоризации подходов к оценке, см., Например.[12][13] Категории верхнего уровня следующие:

  • Экспертная оценка: этап количественной оценки, то есть этап, на котором оценка производится на основе оценочных процессов.[14]
  • Формальная модель оценки: этап количественной оценки основан на механических процессах, например, использовании формулы, полученной на основе исторических данных.
  • Комбинированная оценка: этап количественной оценки основан на субъективной и механической комбинации оценок из разных источников.

Ниже приведены примеры подходов к оценке в каждой категории.

Подход к оценкеКатегорияПримеры поддержки реализации оценочного подхода
Аналогия оценка на основеФормальная модель оценкиАНГЕЛ, Взвешенные микро-функциональные точки
На основе WBS (снизу вверх) оценкаЭкспертная оценкаПО для управления проектами, шаблоны деятельности компании
Параметрические моделиФормальная модель оценкиКОКОМО, СТРОЙНЫЙ, SEER-SEM, TruePlanning для программного обеспечения
Модели оценки на основе размера[15]Формальная модель оценкиАнализ функциональных точек,[16] Пример использования Анализ, Баллы вариантов использования, SSU (единица размера программного обеспечения), Очки истории оценка на основе Гибкая разработка программного обеспечения, Очки объекта
Оценка группыЭкспертная оценкаПланирование покера, Широкополосный delphi
Механическая комбинацияОценка на основе комбинацииСреднее значение на основе аналогии и Иерархическая структура работ оценка усилий[17]
Осуждающая комбинацияОценка на основе комбинацииЭкспертное заключение на основе оценок параметрической модели и групповой оценки

Выбор подходов к оценке

Свидетельства о различиях в точности оценки различных подходов и моделей оценки предполагают, что не существует «наилучшего подхода» и что относительная точность одного подхода или модели по сравнению с другим сильно зависит от контекста.[18] Это означает, что разные организации выигрывают от разных подходов к оценке. Результаты[19] которые могут поддержать выбор подхода к оценке на основе ожидаемой точности подхода, включают:

  • Оценка экспертов в среднем не менее точна, чем оценка усилий на основе модели. В частности, ситуации с нестабильными отношениями и важной информацией, не включенной в модель, могут предложить использование экспертной оценки. Это, конечно, предполагает наличие экспертов с соответствующим опытом.
  • Формальные модели оценки, не адаптированные к условиям конкретной организации, могут быть очень неточными. Следовательно, использование собственных исторических данных имеет решающее значение, если нельзя быть уверенным в том, что основные взаимосвязи модели оценки (например, параметры формулы) основаны на аналогичных контекстах проекта.
  • Формальные модели оценки могут быть особенно полезны в ситуациях, когда модель адаптирована к контексту организации (либо за счет использования собственных исторических данных, либо модель получена из аналогичных проектов и контекстов), и вполне вероятно, что оценки экспертов будут при условии сильной степени принятия желаемого за действительное.

Наиболее надежный вывод во многих областях прогнозирования заключается в том, что комбинация оценок из независимых источников, предпочтительно с применением различных подходов, в среднем повысит точность оценки.[19][20][21]

Важно знать об ограничениях каждого традиционного подхода к измерению производительности разработки программного обеспечения.[22]

Кроме того, в процессе выбора следует учитывать другие факторы, такие как легкость понимания и передачи результатов подхода, простота использования подхода и стоимость внедрения подхода.

Оценка точности оценок

Наиболее распространенной мерой средней точности оценки является MMRE (средняя величина относительной ошибки), где MRE каждой оценки определяется как:

MRE =

Эта мера подверглась критике [23][24][25] и есть несколько альтернативных мер, таких как более симметричные меры,[26] Средневзвешенное значение квартилей относительных ошибок (WMQ)[27] и среднее отклонение от оценки (MVFE).[28]

MRE не является надежным, если отдельные элементы искажены. PRED (25) предпочтительнее в качестве меры точности оценки. PRED (25) измеряет процент предсказанных значений, которые находятся в пределах 25 процентов от фактического значения.

Высокая ошибка оценки не может автоматически интерпретироваться как индикатор низкой способности оценки. Альтернативные, конкурирующие или дополняющие причины включают в себя низкую стоимость контроля над проектом, высокую сложность разработки и большую функциональность, чем первоначально предполагалось. Структура для улучшенного использования и интерпретации измерения ошибки оценки включена в.[29]

Психологические проблемы

Существует множество психологических факторов, потенциально объясняющих сильную тенденцию к чрезмерно оптимистичным оценкам усилий, которые необходимо учитывать, чтобы повысить точность оценок усилий. Эти факторы важны даже при использовании формальных моделей оценки, поскольку большая часть входных данных для этих моделей основана на суждениях. Доказано, что важны следующие факторы: Желаемое за действительное, якорь, ошибка планирования и когнитивный диссонанс. Обсуждение этих и других факторов можно найти в работе Йоргенсена и Гримстада.[30]

  • Легко оценить то, что вы знаете.
  • Трудно оценить то, что вы знаете, чего не знаете. (известные неизвестные)
  • Очень сложно оценить то, чего вы не знаете, чего не знаете. (неизвестные неизвестные)

Юмор

Хроническая недооценка усилий по разработке привела к появлению и популярности множества юмористических пословиц, таких как ироничное название задачи как "небольшой вопрос программирования "(когда, вероятно, потребуются большие усилия), и цитируя законы о недооценке:

Первые 90 процентов кода составляют первые 90 процентов времени разработки. Оставшиеся 10 процентов кода составляют остальные 90 процентов времени разработки.[31]

— Том Каргилл, Bell Labs

Закон Хофштадтера: это всегда занимает больше времени, чем вы ожидаете, даже если принять во внимание закон Хофштадтера.

— Дуглас Хофштадтер, Гедель, Эшер, Бах: вечная золотая коса[32]

То, что один программист может сделать за один месяц, два программиста могут сделать за два месяца.

— Фред Брукс

В дополнение к тому факту, что оценить усилия по разработке сложно, стоит отметить, что выделение дополнительных ресурсов не всегда помогает.

Сравнение программ оценки разработки

Программного обеспеченияОценка расписанияСмета расходовМодели затратВходФормат вывода отчетаПоддерживаемые языки программированияПлатформыРасходыЛицензия
AFCAA REVIC[33]дадаРЕВИКKLOC, Масштабные факторы, факторы затратпроприетарный, текстлюбойДОССвободныйПроприетарный Бесплатно для публичного распространения
Провидец программного обеспечениядадаSEER-SEMSLOC, Функциональные точки, варианты использования, снизу вверх, объект, функциипроприетарный, Excel, Microsoft Project, IBM Rational, Oracle Crystal BallлюбойОкна, Любые (Интернет )КоммерческийПроприетарный
СТРОЙНЫЙ[34]дадаСТРОЙНЫЙРазмер (SLOC, Функциональные точки, Сценарии использования и т. Д.), Ограничения (размер, продолжительность, усилия, персонал), масштабные факторы, исторические проекты, исторические тенденциипроприетарный, Excel, Microsoft Project, Microsoft PowerPoint, IBM Rational, текст, HTMLлюбойОкна, Любые (Интернет )[35]КоммерческийПроприетарный
TruePlanning[36]дадаЦЕНАКомпоненты, структуры, действия, драйверы затрат, процессы, размер функционального программного обеспечения (исходные строки кода (SLOC), функциональные точки, точки преобразования вариантов использования (UCCP), точки прогнозирования объектов (POP) и т. Д.)Excel, CADлюбойWindowsКоммерческийПроприетарный

Смотрите также

Рекомендации

  1. ^ «Что мы делаем и чего не знаем об оценке усилий по разработке программного обеспечения».
  2. ^ «Руководство по оценке и оценке затрат GAO-09-3SP Лучшие практики для разработки и управления капитальными затратами по программе» (PDF). Счетная палата правительства США. 2009 г.
  3. ^ Йоргенсен, М. (2004). «Обзор исследований по экспертной оценке усилий по разработке программного обеспечения». Журнал систем и программного обеспечения. 70 (1–2): 37–60. Дои:10.1016 / S0164-1212 (02) 00156-5.
  4. ^ Молоккен, К. Йоргенсен, М. (2003). «Обзор обзоров программного обеспечения по оценке объема программного обеспечения». 2003 Международный симпозиум по эмпирической разработке программного обеспечения, 2003. ISESE 2003. Труды. С. 223–230. Дои:10.1109 / ISESE.2003.1237981. ISBN  978-0-7695-2002-5. S2CID  15471986.CS1 maint: несколько имен: список авторов (связь)
  5. ^ Йоргенсен, М. Тейген, К.Х. Рибу, К. (2004). «Лучше уверены, чем безопасно? Чрезмерная уверенность в интервалах прогнозирования усилий при разработке программного обеспечения на основе суждений». Журнал систем и программного обеспечения. 70 (1–2): 79–93. Дои:10.1016 / S0164-1212 (02) 00160-7.CS1 maint: несколько имен: список авторов (связь)
  6. ^ Эдвардс, Дж. Мур (1994). «Конфликт между использованием инструментов оценки и планирования в управлении информационными системами». Европейский журнал информационных систем. 3 (2): 139–147. Дои:10.1057 / ejis.1994.14. S2CID  62582672.
  7. ^ Гудвин, П. (1998). Повышение субъективного прогнозирования продаж: роль лабораторных исследований. Прогнозирование с суждением. Г. Райт и П. Гудвин. Нью-Йорк, John Wiley & Sons: 91–112. Здравствуй
  8. ^ Фарр, Л. Нанус, Б. «Факторы, влияющие на стоимость компьютерного программирования, том I» (PDF).CS1 maint: несколько имен: список авторов (связь)
  9. ^ Фарр, Л. Нанус, Б. «Факторы, влияющие на стоимость компьютерного программирования, том II» (PDF).CS1 maint: несколько имен: список авторов (связь)
  10. ^ Нельсон, Э.А. (1966). Справочник по менеджменту для оценки затрат на программирование. AD-A648750, Systems Development Corp.
  11. ^ Анда, Б. Ангелвик, Э. Рибу, К. (2002). «Улучшение практики оценки путем применения моделей вариантов использования». Конспект лекций по информатике. 2559: 383–397. CiteSeerX  10.1.1.546.112. Дои:10.1007/3-540-36209-6_32. ISBN  978-3-540-00234-5.CS1 maint: несколько имен: список авторов (связь) ISBN  9783540002345, 9783540362098.
  12. ^ Briand, L.C. и Wieczorek, I. (2002). Оценка ресурсов в программной инженерии. Энциклопедия программной инженерии. J. J. Marcinak. Нью-Йорк, John Wiley & Sons: 1160–1196.
  13. ^ Йоргенсен, М. Шепперд, М. «Систематический обзор исследований оценки затрат на разработку программного обеспечения».CS1 maint: несколько имен: список авторов (связь)
  14. ^ «Услуги по разработке программного обеспечения на заказ - Разработка приложений на заказ - Oxagile».
  15. ^ Хилл Питер (ISBSG) - Рабочая тетрадь 2 - опубликована Международной группой по стандартам бенчмаркинга программного обеспечения ISBSG - Ресурсный центр по оценке и сравнительному анализу В архиве 2008-08-29 на Wayback Machine
  16. ^ Моррис Пэм - Обзор функционального точечного анализа Общие показатели - Центр ресурсов функциональных точек
  17. ^ Шриниваса Гопал и Минакши Д'Соуза. 2012. Повышение точности оценки за счет использования аргументов на основе конкретных случаев и комбинированного подхода к оценке. В Труды 5-й индийской конференции по разработке программного обеспечения (ISEC '12). ACM, Нью-Йорк, штат Нью-Йорк, США, 75-78. DOI =https://dx.doi.org/10.1145/2134254.2134267
  18. ^ Шепперд, М. Кадода, Г. (2001). «Сравнение программных методов прогнозирования с использованием моделирования». IEEE Transactions по разработке программного обеспечения. 27 (11): 1014–1022. Дои:10.1109/32.965341.CS1 maint: несколько имен: список авторов (связь)
  19. ^ а б Йоргенсен, М. «Оценка трудозатрат на разработку программного обеспечения: свидетельства экспертных оценок и формальных моделей».
  20. ^ Винклер, Р.Л. (1989). «Комбинирование прогнозов: философская основа и некоторые текущие вопросы менеджера». Международный журнал прогнозирования. 5 (4): 605–609. Дои:10.1016/0169-2070(89)90018-6.
  21. ^ Блаттберг, Р. Хох, С.Дж. (1990). «Модели баз данных и управленческая интуиция: 50% модель + 50% менеджер». Наука управления. 36 (8): 887–899. Дои:10.1287 / mnsc.36.8.887. JSTOR  2632364.CS1 maint: несколько имен: список авторов (связь)
  22. ^ BlueOptima (29.10.2019). «Определение надежных и объективных показателей разработки программного обеспечения».
  23. ^ Шепперд, М. Картрайт, М. Кадода, Г. (2000). «О построении систем прогнозирования для инженеров-программистов». Эмпирическая разработка программного обеспечения. 5 (3): 175–182. Дои:10.1023 / А: 1026582314146. S2CID  1293988.CS1 maint: несколько имен: список авторов (связь)
  24. ^ Китченхэм, Б. Пикард, Л.М. Макдонелл, С.Г. Шепперд. "Какую точность на самом деле измеряет статистика".CS1 maint: несколько имен: список авторов (связь)
  25. ^ Фосс, Т. Стенсруд, Э. Китченхэм, Б. Миртвейт, И. (2003). "Имитационное исследование критерия оценки модели MMRE". IEEE Transactions по разработке программного обеспечения. 29 (11): 985–995. CiteSeerX  10.1.1.101.5792. Дои:10.1109 / TSE.2003.1245300.CS1 maint: несколько имен: список авторов (связь)
  26. ^ Миядзаки, Ю. Теракадо, М. Одзаки, К. Нодзаки, Х. (1994). «Надежная регрессия для разработки моделей оценки программного обеспечения». Журнал систем и программного обеспечения. 27: 3–16. Дои:10.1016/0164-1212(94)90110-4.CS1 maint: несколько имен: список авторов (связь)
  27. ^ Ло, Б. Гао, Х. «Оценка моделей оценки стоимости программного обеспечения: критерии точности, согласованности и регрессии».CS1 maint: несколько имен: список авторов (связь)
  28. ^ Хьюз, Р. Канлифф, А. Янг-Мартос, Ф. (1998). «Оценка методов построения моделей разработки программного обеспечения для применения в телекоммуникационной среде в реальном времени». IEE Proceedings - Программное обеспечение. 145: 29. Дои:10.1049 / ip-sen: 19983370.CS1 maint: несколько имен: список авторов (связь)
  29. ^ Гримстад, С. Йоргенсен, М. (2006). «Основа для анализа точности оценки стоимости программного обеспечения».CS1 maint: несколько имен: список авторов (связь)
  30. ^ Йоргенсен, М. Гримстад, С. «Как избежать влияния нерелевантной и вводящей в заблуждение информации при оценке усилий по разработке программного обеспечения».CS1 maint: несколько имен: список авторов (связь)
  31. ^ Бентли, Джон (1985). «Жемчужины программирования». Коммуникации ACM (требуется оплата) | формат = требует | url = (помощь). 28 (9): 896–901. Дои:10.1145/4284.315122. ISSN  0001-0782. S2CID  5832776.
  32. ^ Гедель, Эшер, Бах: вечная золотая коса. 20-летие изд., 1999, с. 152. ISBN  0-465-02656-7.
  33. ^ Руководство AFCAA Revic 9.2 Мемориальный комплекс Ревича
  34. ^ «Обзор SLIM Suite». Qsm.com. Получено 2019-08-27.
  35. ^ «SLIM-WebServices». Qsm.com. Получено 2019-08-27.
  36. ^ Интегрированные модели затрат TruePlanning PRICE Systems сайт В архиве 2015-11-05 в Wayback Machine