BatchPipes - BatchPipes

На Мэйнфреймы IBM, BatchPipes это пакетная обработка заданий утилита, работающая под МВС / ЕКА операционная система и более поздние версии -OS / 390 и z / OS.[1]

Основная функция

При традиционной обработке, если записи данных записываются в последовательную (QSAM и BSAM ) набор данных на диске или на ленте, они не могут быть прочитаны одновременно другим заданием. «Писатель» и «читатель» не могут работать одновременно. Это называется блокировка на уровне файлов или же блокировка на уровне набора данных.

С помощью BatchPipes установка может организовать передачу данных между двумя заданиями. Преимущество состоит в том, что задания могут выполняться одновременно, и можно, и очень часто, избежать времени на запись данных в вторичное хранилище и прочитать его. Комбинация этих двух характеристик, при разумном использовании, приводит к сокращению совокупного истекшего времени двух заданий, измеряемого от начала задания записи до конца задания чтения.

BatchPipes поддерживает короткая очередь записей, передаваемых между писателем и читателем. Писатель добавляет записи в конец очереди, а читатель берет их спереди. Это считается блокировка на уровне записи и позволяет читателю и писателю работать одновременно.

А Сортировать это особый случай: все входные записи должны быть прочитаны до того, как будет записана первая выходная запись. Следовательно, не может быть перекрытия между входной и выходной фазами сортировки. Но входная фаза может перекрываться с фазой вывода предыдущего задания. Точно так же фаза вывода сортировки может перекрываться нижележащим заданием, которое считывает отсортированные данные.

Продвинутая топология труб

Возможны более сложные топологии, чем «один читатель - один писатель».

  • «Два читателя - один писатель» - хороший пример попытки уравновесить скорость читателя и скорость писателя. Поскольку очередь короткая, более быстрый модуль записи часто будет вынужден ждать, пока более медленный модуль чтения снимет записи из очереди, прежде чем модуль записи сможет продолжить обработку. Использование двух считывателей помогает использовать возможности писателей.
  • «Одна работа как читатель от одной трубы и писатель к другой» часто встречается там, где эта работа редактирует записи. Хотя традиционные пакетные потоки часто содержат такие задания, такой вид обработки может быть реализован, например, с помощью IBM с DFSORT product или BatchPipeWorks (часть BatchPipes).

Критика

Одним из ключевых аспектов реализации является планирование совместного выполнения заданий чтения и записи. В практических графиках партий это может оказаться невозможным. Кроме того, если любой сбой задания в конвейере, действия по восстановлению будут шире, чем просто восстановление этого отдельного задания. По этим причинам в некоторых установках было сложно реализовать BatchPipes.

BatchPipePlex

BatchPipes может использовать мэйнфрейм IBM Сцепное устройство для передачи данных между разными членами Параллельный сисплекс, используя средство BatchPipePlex.

BatchPipeWorks

BatchPipes включает в себя набор этапов конвейера на основе IBM с Конвейеры CMS продукт, разработанный для ВМ / ЕКА Операционная система. Эти этапы обеспечивают дополнительную обработку без необходимости дополнительных пакетных заданий в конвейере.

История

Версия 1 BatchPipes была разработана в конце 1980-х - начале 1990-х годов просто как метод ускорения МВС / ЕКА пакетная обработка. В 1997 году функциональность BatchPipes была интегрирована в более крупный продукт IBM - SmartBatch (который включал два BMC Характеристики продуктов корпорации: DataAccelerator и BatchAccelerator). Однако выпуск SmartBatch был прекращен в апреле 2000 года.

APT International, базирующаяся в Монако, произвела конкурентоспособный продукт под торговой маркой WARP. Через несколько месяцев после запуска этого продукта IBM переименовала свою OS / 2 товар OS / 2 Warp 4, что противоречит маркетингу высокопроизводительного продукта, который был единственным конкурентом BatchPipes. Это привело к 7-летнему судебному разбирательству в Tribunal de grande instance de Paris[2][3]

Впоследствии была выпущена BatchPipes версии 2, включающая BatchPipes версии 1 и некоторые дополнительные функции из SmartBatch: BatchPipePlex и BatchPipeWorks. BatchPipes Version 2 по-прежнему продается на рынке IBM.

Смотрите также

Рекомендации

  1. ^ http://www-01.ibm.com/common/ssi/cgi-bin/ssialias?infotype=an&subtype=ca&appname=Demonstration&htmlfid=897/ENUS200-093
  2. ^ https://www.doctrine.fr/d/CA/Paris/2002/INPIM20020065
  3. ^ 1994–2000 [16.5.1997, 77 Rev. Право собственности на Industrielle (1997), 46 - Сте ПАНЕК против Сте IBM Corp. http://cyber.law.harvard.edu/ilaw/Jurisission/Geller_Full.html