Standard Performance Evaluation Corporation - Standard Performance Evaluation Corporation

Standard Performance Evaluation Corporation
SPEC-logo reg.png
Формирование1988
ТипНекоммерческая корпорация
Штаб-квартираGainesville, Вирджиния
Членство
Поставщики оборудования и программного обеспечения, университеты, исследовательские центры
Сотрудники
5
Интернет сайтwww.spec.org

В Standard Performance Evaluation Corporation (SPEC) американец некоммерческая корпорация который направлен на «создание, создание, поддержку и одобрение стандартного набора» тесты производительности для компьютеров.[1]

SPEC была основана в 1988 году.[2][3] Тесты SPEC широко используются для оценки производительности компьютерных систем; результаты тестирования опубликованы на сайте SPEC.

SPEC превратилась в головную организацию, объединяющую четыре различные группы; Группа по производительности графики и рабочих станций (GWPG), Группа высокой производительности (HPG), Группа открытых систем (OSG) и новейшая исследовательская группа (RG).

Структура

Группа открытых систем (OSG)

Группа High-Performance Group (HPG)

Группа по производительности графики и рабочих станций (GWPG)

Исследовательская группа SPEC (RG)

Членство

Членство в SPEC открыто для любой заинтересованной компании или юридического лица, желающего придерживаться стандартов SPEC. Это позволяет:

  • Участие в разработке тестов
  • Участие в обзоре результатов
  • Бесплатное программное обеспечение при групповом участии

Список участников доступен на странице членства SPEC;[1].

Уровни членства

  • Поддержание членства требует оплаты членских взносов и обычно включает компании, производящие оборудование или программное обеспечение.
  • СПЭК «Ассошиэйтс» платит сниженный взнос в качестве некоммерческих организаций; обычно включает академические и исследовательские организации.

Наборы тестов SPEC

Тесты нацелены на тестирование «реальных» ситуаций. Существует несколько тестов для тестирования Java-сценариев, от простых вычислений (SPECjbb) до полной системы с Java EE, базой данных, диском и сетью (SPECjEnterprise).

Тест SPEC CPU suites ЦПУ производительность путем измерения времени выполнения нескольких программ, таких как компилятор GCC, программа по химии игры, и программа погоды WRF. Различные задачи имеют одинаковый вес; не предпринимается попыток взвесить их на основе их предполагаемой важности. Общий балл основан на среднем геометрическом.

Облако

Измерение и сравнение ресурсов выделения, вычислений, хранения и сетевых ресурсов IaaS облачные платформы.

  • SPEC Cloud IaaS 2018
  • SPEC Cloud IaaS 2016

ЦПУ

Текущий ПоддерживаетсяБыли на пенсии
Самый последнийБудет на пенсии
  • SPEC CPU2017
  • SPEC CPU2000
  • SPEC CPU95
  • SPEC CPU92

Измерение и сравнение совокупной производительности процессора, памяти и компилятора.

  • SPEC CPU2006 содержит два набора:
    • CINT2006 ("SPECint ") - тестирование целое число арифметика с такими программами, как компиляторы, интерпретаторы, текстовые процессоры, шахматные программы и т. д.
    • CFP2006 ("SPECfp ") - тестирование плавающая точка производительность, с физическим моделированием, трехмерной графикой, обработкой изображений, вычислительной химией и т. д.
  • Пакет SPEC CPU 2017 содержит четыре набора.
    • Наборы SPECspeed 2017 Integer и SPECspeed 2017 Floating Point используются для сравнения времени, в течение которого компьютер выполняет отдельные задачи.
    • Наборы SPECrate 2017 Integer и SPECrate 2017 Floating Point измеряют пропускную способность или работу в единицу времени.

Портативный

Графика и производительность рабочей станции

Измерение производительности OpenGL Система 3D-графики, протестированная с различными задачами рендеринга из нескольких популярных реальных приложений, интенсивно использующих 3D, в данной системе.

Benchmark SuiteТекущая версияСтарые релизы
SPECviewperfSPECviewperf 2020
  • SPECviewperf 13
  • SPECviewperf 12
  • SPECviewperf 11
SPECwpcSPECwpc v2.1
SPECapcSM
SPECapcSM для 3ds Max ™SPECapcSM для 3ds Max ™ 2015
  • SPECapc для 3ds Max ™ 2011
SPECapcSM для майиSPECapcSM для Maya 2017
  • SPECapcSM для Maya 2012
SPECapcSM для PTC CreoSPECapcSM для PTC Creo 3.0
  • SPECapcSM для PTC Creo 2.0
SPECapcSM для Siemens NXSPECapcSM для Siemens NX 9.0 и 10.0
  • SPECapcSM для Siemens NX 8.5
SPECapcSM для SolidWorksSPECapcSM для SolidWorks 2017
  • SPECapcSM для SolidWorks 2013

SPECwpc

Высокопроизводительные вычисления, OpenMP, MPI, OpenACC, OpenCL

Benchmark SuitesТекущий ПоддерживаетсяБыли на пенсии
HPC(никто)
  • SPEC HPC2002
  • SPEC HPC96
OMP
  • SPEC OMP2012
  • SPEC OMP2001 V3.2
MPI
  • SPEC MPI2007
(никто)
ACCEL
  • SPEC ACCEL
(никто)
OMP

SPEC OMP (OpenMP ) является первым для оценки производительности на основе приложений OpenMP, для измерения производительности SMP (Multi-Processor с общей памятью, т.е. UMA ) системы.

Клиент / Сервер Java

Benchmark SuiteТекущий ПоддерживаетсяБыли на пенсии
Самый последнийБудет на пенсии
jAppServer(никто)(никто)
  • SPECjAppServer2004
  • SPECjAppServer2002
  • SPECjAppServer2001
JBB
  • SPECjbb2015
(никто)
  • SPECjbb2013
  • SPECjbb2005
  • SPECjbb2000
jEnterprise
  • Веб-профиль SPECjEnterprise 2018
  • SPECjEnterprise 2010
(никто)(никто)


JMS
  • SPECjms2007
(никто)(никто)
JVM
  • SPECjvm2008
(никто)
  • SPECjvm98

JBB

оценивает производительность Java на стороне сервера, эмулируя трехуровневую систему клиент / сервер (с акцентом на средний уровень).

jEnterprise

Многоуровневый тест для измерения производительности серверов приложений на базе технологии Java 2 Enterprise Edition (J2EE).

Почтовые серверы

Текущий ПоддерживаетсяБыли на пенсии
(никто)
  • SPECmail2009
  • SPECmail2008
  • SPECmail2001

Место хранения

Текущий ПоддерживаетсяБыли на пенсии
  • SPEC SFS 2014
  • SPECsfs2008
  • SPEC SFS97_R1 (3.0)
  • SPEC SFS97 (2.0)
  • SPEC SFS93 (LADDIS)

SPEC SFS предназначен для измерения пропускной способности файлового сервера и времени отклика, поддерживая как NFS и SMB доступ по протоколу.

Мощность

Текущий ПоддерживаетсяБыли на пенсии
  • SPECpower_ssj 2008
(никто)


Виртуализация

Текущий ПоддерживаетсяБыли на пенсии
  • SPEC virt_sc2010

Веб-серверы

Текущий ПоддерживаетсяБыли на пенсии
(никто)
  • SPECweb2009
  • SPECweb2005
  • SPECweb96
  • SPECweb99
  • SPECweb99_SSL

Инструменты SPEC

  • Инструмент оценки эффективности сервера (SERT). Предназначен для измерения эффективности серверов, первоначально как часть второго поколения программы ENERGY STAR для компьютерных серверов Агентства по охране окружающей среды США (EPA).
  • Инструмент SPEC Chauffeur WDK. Разработан для упрощения разработки рабочих нагрузок для измерения энергоэффективности и производительности.
  • PTDaemon. Программное обеспечение SPEC PTDaemon используется для управления анализаторами мощности в тестах, которые содержат компонент измерения мощности.

Программа сравнительного поиска

  • SPEC CPUv6, Программа поиска ЦП направлена ​​на то, чтобы побудить тех, кто не входит в SPEC, помочь им найти приложения, которые можно было бы использовать в следующем наборе тестов, интенсивно использующем ЦП, который в настоящее время обозначается как SPEC CPUv6. Устарело сейчас.

Устаревшие контрольные показатели (без преемника)

  • SPEC SDM91
  • SPECsip_infrastructure2011 - эталонный тест все еще доступен для покупки, но никакие дополнительные результаты не принимаются, и поддержка больше не предлагается.

Устаревшие контрольные показатели (больше не документированы)

  • SPECapcSM для Lightwave 3D 9.6, программное обеспечение для оценки производительности систем, на которых работает программное обеспечение NewTek LightWave 3D v9.6.
  • SPEC 2001
  • SPEC CPU89

Портативность

Тесты SPEC написаны на переносимом языке программирования (обычно C, C #, Ява или же Фортран ), а заинтересованные стороны могут компилировать код, используя любой компилятор, который они предпочитают для своей платформы, но не может изменять код. Известно, что производители оптимизируют свои компиляторы для повышения производительности различных тестов SPEC. В SPEC есть правила, которые пытаются ограничить такую ​​оптимизацию.

Лицензирование

Для использования эталонного теста необходимо приобрести лицензию у SPEC; Стоимость варьируется от теста к тесту и составляет обычно от нескольких сотен до нескольких тысяч долларов. Эта модель оплаты за лицензию может показаться нарушением GPL поскольку тесты включают программное обеспечение, такое как GCC это лицензировано GPL. Однако GPL не требует, чтобы программное обеспечение распространялось бесплатно, только чтобы получателям было разрешено распространять любое программное обеспечение под GPL, которое они получают; лицензионное соглашение для SPEC специально исключает элементы, которые относятся к «лицензиям, требующим бесплатного распространения», а сами файлы помещаются в отдельную часть общего программного пакета.

Культура

SPEC пытается создать среду, в которой споры разрешаются путем апелляции к понятиям технической достоверности, репрезентативности или «равных условий игры». Представители SPEC, как правило, являются инженерами, обладающими опытом в исследуемых областях. Тесты включают в себя «правила выполнения», которые описывают условия измерения и требования к документации. Результаты, которые публикуются на веб-сайте SPEC, проходят экспертную оценку инженерами по производительности участников.

Рекомендации

  1. ^ «Часто задаваемые вопросы SPEC». Получено 15 марта 2010.
  2. ^ «Организация СПЭК». Получено 15 марта 2010.
  3. ^ «Членство в SPEC». Получено 15 марта 2010.

внешняя ссылка