Проверка и согласование данных - Data validation and reconciliation

Проверка и согласование данных промышленного процесса, или короче, проверка и согласование данных (DVR), это технология, которая использует информацию о процессе и математические методы для автоматического обеспечения проверка данных и согласование путем корректировки измерений в промышленных процессах. Использование цифрового видеорегистратора позволяет извлекать точную и надежную информацию о состоянии промышленных процессов из исходных данных. данные и производит единый согласованный набор данных, представляющих наиболее вероятную операцию процесса.

Модели, данные и погрешности измерений

Промышленные процессы, например химические или термодинамические процессы на химических заводах, нефтеперерабатывающих заводах, объектах добычи нефти или газа или электростанциях, часто представлены двумя основными способами:

  1. Модели, выражающие общую структуру процессов,
  2. Данные, отражающие состояние процессов в заданный момент времени.

Модели могут иметь разные уровни детализации, например, можно включать простые массовые или составные балансы сохранения, или более продвинутые термодинамические модели, включая законы сохранения энергии. Математически модель может быть выражена нелинейная система уравнений в переменных , который включает в себя все вышеупомянутые системные ограничения (например, баланс массы или тепла вокруг устройства). Переменной может быть температура или давление в определенном месте на заводе.

Типы ошибок

Данные обычно происходят из измерения сделанные в разных местах на промышленной площадке, например, измерения температуры, давления, объемного расхода и т. д. Чтобы понять основные принципы DVR, важно сначала признать, что заводские измерения никогда не бывают на 100% правильными, т.е. не является решением нелинейной системы . При использовании измерений без поправок для расчета заводских балансов, как правило, возникают неточности. Погрешности измерения можно разделить на два основных типа:

  1. случайные ошибки из-за внутреннего датчик точность и
  2. систематические ошибки (или грубые ошибки) из-за датчика калибровка или неправильная передача данных.

Случайные ошибки означает, что измерение это случайная переменная с участием значить , где истинное значение, которое обычно неизвестно. А систематическая ошибка с другой стороны, характеризуется измерением которая является случайной величиной с значить , что не равно истинному значению . Для простоты получения и реализации оптимального решения для оценки и на основе аргументов, что ошибки являются суммой многих факторов (так что Центральная предельная теорема имеет некоторый эффект), сверка данных предполагает, что эти ошибки нормально распределенный.

К другим источникам ошибок при расчете балансов предприятия относятся сбои технологического процесса, такие как утечки, немоделированные тепловые потери, неправильные физические свойства или другие физические параметры, используемые в уравнениях, и неправильная структура, такая как немоделированные байпасные линии. Другие ошибки включают немоделированную динамику предприятия, такую ​​как изменения задержек, и другие нестабильности в работе предприятия, которые нарушают устойчивые (алгебраические) модели. Дополнительные динамические ошибки возникают, когда измерения и образцы не берутся одновременно, особенно лабораторные анализы.

Обычная практика использования средних значений времени для ввода данных частично снижает динамические проблемы. Однако это не полностью устраняет несоответствия по времени для нечасто отбираемых данных, таких как лабораторные анализы.

Это использование средних значений, например скользящая средняя, действует как фильтр нижних частот, поэтому высокочастотный шум в основном устраняется. В результате на практике сверка данных в основном заключается в корректировке систематических ошибок, таких как систематические ошибки.

Необходимость устранения ошибок измерения

ISA-95 - международный стандарт для интеграции корпоративных систем и систем управления.[1] Он утверждает, что:

Согласование данных - серьезная проблема для интеграции системы управления предприятием. Данные должны быть действительными, чтобы быть полезными для корпоративной системы. Данные часто необходимо определять на основе физических измерений, которые связаны с факторами погрешности. Обычно это необходимо преобразовать в точные значения для корпоративной системы. Это преобразование может потребовать ручного или интеллектуального согласования преобразованных значений [...]. Необходимо настроить системы, обеспечивающие отправку точных данных в производство и из производства. Непреднамеренные ошибки оператора или технические ошибки могут привести к слишком большому объему производства, слишком низкому производству, неправильному производству, неправильному инвентарю или отсутствию инвентаря.

История

Цифровые видеорегистраторы становятся все более и более важными из-за того, что промышленные процессы становятся все более и более сложными. DVR начался в начале 1960-х годов с приложений, направленных на закрытие материальный баланс в производственных процессах, где необработанные измерения были доступны для всех переменные.[2] В то же время проблема грубая ошибка выявление и устранение.[3] В конце 1960-х и 1970-х годах неизмеряемые переменные учитывались в процессе согласования данных.[4][5] DVR также стал более зрелым благодаря рассмотрению общих систем нелинейных уравнений, происходящих из термодинамических моделей.,[6],[7][8] Квазистационарная динамика для фильтрации и одновременной оценки параметров во времени была введена в 1977 году Стэнли и Махом.[7] Динамический DVR был сформулирован как задача нелинейной оптимизации Либманом и др. в 1992 г.[9]

Согласование данных

Согласование данных - это метод, направленный на исправление ошибок измерения, вызванных шумом измерения, т. Е. случайные ошибки. Со статистической точки зрения основное предположение состоит в том, что нет систематические ошибки присутствуют в наборе измерений, так как они могут смещать результаты согласования и снижать надежность согласования.

Данный измерения , сверку данных математически можно выразить как проблема оптимизации следующего вида:

где согласованное значение -е измерение (), измеренное значение -е измерение (), это -я неизмеряемая переменная (), и стандартное отклонение -е измерение (), являются ограничения равенства процессов и - границы измеряемых и неизмеряемых переменных.

Период, термин называется штраф измерения я. Целевая функция - это сумма штрафов, которая в дальнейшем будет обозначаться как .

Другими словами, нужно минимизировать общую поправку (измеряемую методом наименьших квадратов), которая необходима для удовлетворения требований системные ограничения. Кроме того, каждый член наименьших квадратов взвешивается по среднеквадратичное отклонение соответствующего измерения. Стандартное отклонение связано с точностью измерения. Например, при уровне достоверности 95% стандартное отклонение составляет примерно половину точности.

Резервирование

Согласование данных в значительной степени опирается на концепцию избыточности, позволяющую как можно меньше корректировать измерения, чтобы удовлетворить ограничения процесса. Здесь избыточность определяется иначе, чем избыточность в теории информации. Вместо этого избыточность возникает из-за объединения данных датчика с моделью (алгебраические ограничения), иногда более конкретно называемого «пространственной избыточностью»,[7] «аналитическая избыточность» или «топологическая избыточность».

Избыточность может быть связана с резервирование датчика, где датчики дублируются, чтобы иметь более одного измерения одной и той же величины. Избыточность также возникает, когда одну переменную можно оценить несколькими независимыми способами из отдельных наборов измерений в заданное время или период усреднения по времени с использованием алгебраических ограничений.

Избыточность связана с концепцией наблюдаемость. Переменная (или система) является наблюдаемой, если модели и измерения датчиков могут использоваться для однозначного определения ее значения (состояния системы). Датчик считается избыточным, если его удаление не приводит к потере наблюдаемости. Строгое определение наблюдаемости, вычислимости и избыточности, а также критерии для ее определения были установлены Стэнли и Ма,[10] для этих случаев с заданными ограничениями, такими как алгебраические уравнения и неравенства. Далее проиллюстрируем некоторые частные случаи:

Топологическая избыточность тесно связана с степени свободы () математической системы,[11] то есть минимальное количество единиц информации (т. е. измерений), которые необходимы для расчета всех системных переменных. Например, в приведенном выше примере для сохранения потока требуется, чтобы . Чтобы вычислить третью, нужно знать значения двух из трех переменных. Степень свободы модели в этом случае равна 2. Для оценки всех переменных необходимо минимум 2 измерения, а для избыточности - 3.

Говоря о топологической избыточности, мы должны различать измеряемые и неизмеряемые переменные. В дальнейшем обозначим через неизмеряемые переменные и измеряемые переменные. Тогда система ограничений процесса принимает вид , которая является нелинейной системой в и .Если система вычисляется с помощью данных измерений, то уровень топологической избыточности определяется как , т. е. количество дополнительных измерений, которые доступны поверх тех измерений, которые необходимы для того, чтобы просто рассчитать систему. Другой способ увидеть уровень избыточности - использовать определение , который представляет собой разницу между количеством переменных (измеряемых и неизмеряемых) и количеством уравнений. Тогда получается

т.е. избыточность - это разница между количеством уравнений и количество неизмеряемых переменных . Уровень полного резервирования складывается из резервирования датчика и топологического резервирования. Мы говорим о положительной избыточности, если система вычислима, а полная избыточность положительна. Можно видеть, что уровень топологической избыточности зависит только от количества уравнений (чем больше уравнений, тем выше избыточность) и количества неизмеряемых переменных (чем больше неизмеряемых переменных, тем ниже избыточность), а не от количества измеряемых переменных. .

Простой подсчет переменных, уравнений и измерений неадекватен для многих систем, ломаясь по нескольким причинам: (a) Части системы могут иметь избыточность, а другие нет, а некоторые части могут быть даже невозможны для расчета и ( б) Нелинейность может привести к разным выводам в разных рабочих точках. В качестве примера рассмотрим следующую систему с 4 потоками и 2 модулями.

Пример вычислимой и невычислимой систем

Мы включаем только ограничения сохранения потока и получаем и . Возможно, что система не поддается расчету, хотя .

Если у нас есть измерения для и , но не для и , то система не может быть рассчитана (зная не дает информации о и ). С другой стороны, если и известны, но не и , то система может быть рассчитана.

В 1981 году критерии наблюдаемости и избыточности были доказаны для такого рода потоковых сетей, включающих только ограничения баланса массы и энергии.[12] После объединения всех входов и выходов объекта в «узел среды» потеря наблюдаемости соответствует циклам неизмеряемых потоков. Это видно во втором случае выше, когда потоки a и b находятся в цикле неизмеренных потоков. Далее следует классификация избыточности путем тестирования пути неизмеренных потоков, поскольку это привело бы к неизмеряемому циклу, если бы измерение было удалено. Измерения c и d избыточны во втором случае, описанном выше, даже если часть системы ненаблюдаема.

Льготы

Резервирование можно использовать как источник информации для перекрестной проверки и корректировки измерений. и повысить их точность и точность: с одной стороны, они согласовали. Далее, проблема согласования данных, представленная выше, также включает неизмеряемые переменные. . На основе избыточности информации можно рассчитать оценки этих неизмеряемых переменных, а также их точность. В промышленных процессах эти неизмеряемые переменные, которые обеспечивает согласование данных, называются мягкие датчики или виртуальные датчики, где аппаратные датчики не установлены.

Проверка данных

Проверка данных означает все действия по проверке и проверке до и после этапа согласования.

Фильтрация данных

Фильтрация данных означает процесс обработки измеренных данных таким образом, чтобы значения стали значимыми и лежали в диапазоне ожидаемых значений. Фильтрация данных необходима перед процессом согласования, чтобы повысить надежность этапа согласования. Есть несколько способов фильтрации данных, например, средний нескольких измеренных значений за четко определенный период времени.

Подтверждение результата

Проверка результатов - это набор действий по проверке или проверке, предпринимаемых после процесса согласования, который учитывает измеренные и неизмеренные переменные, а также согласованные значения. Проверка результатов охватывает, но не ограничивается этим, анализ штрафов для определения надежности согласования или связанные проверки, чтобы гарантировать, что согласованные значения лежат в определенном диапазоне, например температура должна быть в разумных пределах.

Обнаружение грубых ошибок

Валидация результатов может включать статистические тесты для проверки надежности согласованных значений путем проверки того, грубые ошибки существуют в наборе измеренных значений. Эти тесты могут быть например

  • тест хи-квадрат (глобальный тест)
  • индивидуальный тест.

Если в наборе измеренных значений нет грубых ошибок, то каждый штрафной член в целевой функции является случайная переменная которая нормально распределена со средним значением 0 и дисперсией, равной 1. Следовательно, целевая функция представляет собой случайную величину, которая следует за распределение хи-квадрат, поскольку это сумма квадрата нормально распределенных случайных величин. Сравнение значения целевой функции с данным процентиль функции плотности вероятности распределения хи-квадрат (например, 95-й процентиль для 95% достоверности) дает указание на то, существует ли грубая ошибка: , то с вероятностью 95% грубых ошибок не существует. Тест хи-квадрат дает лишь приблизительное указание на наличие грубых ошибок, и его легко провести: нужно только сравнить значение целевой функции с критическим значением распределения хи-квадрат.

В индивидуальном тесте каждый штрафной член целевой функции сравнивается с критическими значениями нормального распределения. Если -й штрафной член находится за пределами 95% доверительного интервала нормального распределения, тогда есть основания полагать, что это измерение имеет грубую ошибку.

Расширенная проверка и согласование данных

Расширенная проверка и согласование данных (DVR) - это интегрированный подход, объединяющий методы согласования и проверки данных, который характеризуется:

  • сложные модели, включающие, помимо баланса массы, также термодинамику, баланс импульса, ограничения равновесия, гидродинамику и т. д.
  • методы устранения грубых ошибок для обеспечения достоверности согласованных значений,
  • робастные алгоритмы решения проблемы согласования.

Термодинамические модели

Простые модели включают только весы. При добавлении термодинамических ограничений, таких как энергетические балансы модели, ее масштабу и уровню избыточность увеличивается. В самом деле, как мы видели выше, уровень избыточности определяется как , где - количество уравнений. Включение энергетических балансов означает добавление уравнений в систему, что приводит к более высокому уровню избыточности (при условии, что доступно достаточное количество измерений или, что эквивалентно, не слишком много неизмеряемых переменных).

Устранение грубых ошибок

Рабочий процесс расширенного процесса проверки и согласования данных.

Грубые ошибки - это систематические ошибки измерения, которые могут предвзятость результаты сверки. Следовательно, важно выявить и устранить эти грубые ошибки в процессе сверки. После примирения статистические тесты могут применяться, чтобы указать, существует ли грубая ошибка где-то в наборе измерений. Эти методы исправления грубых ошибок основаны на двух концепциях:

  • устранение грубых ошибок
  • устранение грубых ошибок.

Устранение общей ошибки определяет одно измерение, которое подвержено систематической ошибке, и исключает это измерение из набора данных. Определение отбрасываемого измерения основано на различных видах штрафных терминов, которые выражают, насколько измеренные значения отклоняются от согласованных значений. Как только обнаруживаются грубые ошибки, они исключаются из измерений, и согласование может быть выполнено без этих ошибочных измерений, которые портят процесс согласования. При необходимости исключение повторяют до тех пор, пока в наборе измерений не исчезнет грубая ошибка.

Снижение общей погрешности направлено на ослабление оценки неопределенности подозрительных измерений так, чтобы согласованное значение находилось в доверительном интервале 95%. Расслабление обычно находит применение, когда невозможно определить, какое измерение около одной единицы отвечает за грубую ошибку (эквивалентность грубых ошибок). Тогда погрешности измерений увеличиваются.

Важно отметить, что устранение грубых ошибок снижает качество согласования, либо уменьшается избыточность (устранение), либо увеличивается неопределенность измеренных данных (ослабление). Следовательно, его можно применять только тогда, когда начальный уровень избыточности достаточно высок, чтобы гарантировать, что согласование данных все еще может быть выполнено (см. Раздел 2,[11]).

Рабочий процесс

Современные решения DVR предлагают интеграцию упомянутых выше методов:

  1. сбор данных из архиватора данных, базы данных или ручного ввода
  2. проверка данных и фильтрация необработанных измерений
  3. сверка данных отфильтрованных измерений
  4. проверка результата
    • проверка диапазона
    • устранение грубых ошибок (и вернитесь к шагу 3)
  5. сохранение результатов (необработанные измерения вместе с согласованными значениями)

Результатом расширенной процедуры DVR является согласованный набор проверенных и согласованных данных процесса.

Приложения

DVR находит применение в основном в отраслях промышленности, где измерения неточны или вообще отсутствуют, например, в сектор добычи где расходомеры сложно или дорого позиционировать (см. [13]); или если точные данные имеют большое значение, например, по соображениям безопасности в атомные электростанции (увидеть [14]). Еще одна область применения: мониторинг производительности и процессов (увидеть [15]) в нефтепереработке или в химической промышленности.

Поскольку DVR позволяет надежно рассчитывать оценки даже для неизмеряемых переменных, Немецкое инженерное общество (VDI Gesellschaft Energie und Umwelt) приняло технологию DVR в качестве средства замены дорогостоящих датчиков в атомной энергетике (см. Норму VDI 2048,[11]).

Смотрите также

использованная литература

  1. ^ «ISA-95: международный стандарт интеграции предприятия и систем управления». isa-95.com.
  2. ^ D.R. Куен, Х. Дэвидсон, Компьютерное управление II. Математика управления, Chem. Англ. Процесс 57: 44–47, 1961.
  3. ^ В. Вацлавек, Исследования по системной инженерии I. О применении исчисления наблюдений при расчетах химико-технических балансов, Сб. Czech Chem. Commun. 34: 3653, 1968.
  4. ^ В. Вацлавек, М. Луцка, Выбор измерений, необходимых для достижения многокомпонентного массового баланса на химическом предприятии, Chem. Англ. Sci. 31: 1199–1205, 1976.
  5. ^ Р.С.Х. Мах, Г. Стэнли, Д.В. Даунинг, Выверка и корректировка данных технологического процесса и инвентаризации, Ind. & Eng. Chem. Proc. Des. Dev. 15: 175–183, 1976.
  6. ^ J.C. Knepper, J.W. Горман, Статистический анализ ограниченных наборов данных, AiChE Journal 26: 260–164, 1961.
  7. ^ а б c Г. Стэнли и Р.С.Х. Ма, Оценка потоков и температур в технологических сетях, AIChE Journal 23: 642–650, 1977.
  8. ^ П. Йорис, Б. Калитвенцефф, Анализ и проверка технологических измерений, Proc. CEF’87: Use Comput. Chem. Eng., Италия, 41–46, 1987.
  9. ^ М.Дж. Либман, Т.Ф. Эдгар, Л. Ласдон, Эффективное согласование и оценка данных для динамических процессов с использованием методов нелинейного программирования, Computers Chem. Англ. 16: 963–986, 1992.
  10. ^ Стэнли Г. и Мах, Р.С.Х., "Наблюдаемость и избыточность в оценке данных процесса", Chem. Engng. Sci. 36, 259 (1981)
  11. ^ а б c VDI-Gesellschaft Energie und Umwelt, "Рекомендации - VDI 2048 Blatt 1 - Погрешности измерений при приемочных испытаниях для преобразователей энергии и электростанций - Основы", Ассоциация немецких инженеров, 2000.
  12. ^ Стэнли Г.М. и Мах Р.С.Х., "Классификация наблюдаемости и избыточности в технологических сетях", Chem. Engng. Sci. 36 января 1941 (1981)
  13. ^ П. Делава, Э. Марешаль, Б. Вриелинк, Б. Калитвенцефф (1999), Моделирование установки перегонки сырой нефти в условиях согласования данных с кривыми ASTM или TBP в качестве прямого ввода - Применение: линия предварительного нагрева сырой нефти, Труды конференции ESCAPE-9, Будапешт, 31 мая - 2 июня 1999 г., дополнительный том, стр. 17-20.
  14. ^ М. Лангенштейн, Дж. Янски, Б. Ляппл (2004), Обнаружение мегаватт на атомных электростанциях с проверкой данных процесса, Труды ICONE12, Арлингтон, США, 25–29 апреля 2004 г.
  15. ^ Чт. Аманд, Г. Хейен, Б. Калитвенцефф, Мониторинг предприятия и обнаружение неисправностей: синергия между согласованием данных и анализом основных компонентов, Комп. and Chem, Eng. 25, стр. 501-507, 2001.
  • Александр, Дэйв, Таннар, Дэйв и Васик, Ларри «Информационная система комбината использует динамическое согласование данных для точного учета энергии», Конференция TAPPI Fall 2007.[1][постоянная мертвая ссылка ]
  • Ранкин, Дж. И Васик, Л. «Динамическое согласование данных процессов серийного производства целлюлозы (для онлайн-прогнозирования)» Весенняя конференция PAPTAC 2009 г.
  • С. Нарасимхан, К. Джордаш, Согласование данных и обнаружение грубых ошибок: интеллектуальное использование данных процесса, Издательство Golf Publishing Company, Хьюстон, 2000.
  • В. Веверка, Ф. Мадрон, «Материальный и энергетический баланс в обрабатывающих производствах», Elsevier Science BV, Амстердам, 1997.
  • J. Romagnoli, M.C. Санчес, Обработка и сверка данных для химических технологических операций, Академик Пресс, 2000.