Временная классификация коннекционистов - Википедия - Connectionist temporal classification

Коннекционистская временная классификация (CTC) - это тип вывода нейронной сети и связанная с ней функция оценки для обучения повторяющиеся нейронные сети (RNN), такие как LSTM сети для решения проблем с последовательностью, когда время варьируется. Его можно использовать для таких задач, как онлайн распознавание почерка^[1] или распознавание фонем в звуковой речи. CTC относится к выходным данным и оценке и не зависит от базовой структуры нейронной сети. Он был представлен в 2006 году.^[2]

Входными данными является последовательность наблюдений, а выходными данными - последовательность меток, которые могут включать пустые выходные данные. Сложность обучения возникает из-за того, что наблюдений гораздо больше, чем ярлыков. Например, в звуковой речи может быть несколько отрезков времени, соответствующих одной фонеме. Поскольку мы не знаем совпадения наблюдаемой последовательности с целевыми метками, мы прогнозируем распределение вероятностей на каждом временном шаге.^[3] Сеть CTC имеет непрерывный выход (например, softmax ), который настраивается путем обучения для моделирования вероятности метки. CTC не пытается узнать границы и время: последовательности меток считаются эквивалентными, если они отличаются только выравниванием, игнорируя пробелы. Эквивалентные последовательности меток могут возникать по-разному - что делает оценку нетривиальной задачей, но есть эффективный вперед-назад алгоритм для этого.

Затем оценки CTC можно использовать с алгоритмом обратного распространения для обновления весов нейронной сети.

Альтернативные подходы к нейронной сети с CTC включают: скрытая марковская модель (ХМ).

Рекомендации