Хеширование с кукушкой - Википедия - Cuckoo hashing

Пример хеширования с кукушкой. Стрелки показывают альтернативное расположение каждой клавиши. Новый элемент будет вставлен в местоположение A путем перемещения A в его альтернативное местоположение, которое в настоящее время занимает B, и перемещения B в его альтернативное местоположение, которое в настоящее время является пустым. Вставка нового элемента в местоположение H не будет успешной: поскольку H является частью цикла (вместе с W), новый элемент будет снова удален.

Кукушка хеширования это схема в компьютерное программирование для решения хеш-коллизии ценностей хэш-функции в стол, с худший случай постоянный время поиска. Название происходит от поведения некоторых видов кукушка, когда птенец кукушки выталкивает остальные яйца или детенышей из гнезда, когда вылупляется; аналогично, вставка нового ключа в хеш-таблицу с кукушкой может подтолкнуть старый ключ к другому месту в таблице.

История

Кукушечное хеширование было впервые описано Расмус Паг и Флемминг Фриче Родлер в 2001.^[1]

Операция

Хеширование с кукушкой - это форма открытая адресация в котором каждая непустая ячейка хеш-таблица содержит ключ или же пара "ключ-значение". А хэш-функция используется для определения местоположения каждого ключа, и его присутствие в таблице (или значение, связанное с ним) можно найти, исследуя эту ячейку таблицы. Однако открытая адресация страдает от столкновения, что происходит, когда более одного ключа сопоставлено с одной и той же ячейкой. Основная идея хеширования с кукушкой состоит в том, чтобы разрешать конфликты с помощью двух хэш-функций вместо одной. Это обеспечивает два возможных места в хеш-таблице для каждого ключа. В одном из часто используемых вариантов алгоритма хеш-таблица разделена на две меньшие таблицы равного размера, и каждая хеш-функция предоставляет индекс в одну из этих двух таблиц. Обе хеш-функции также могут предоставлять индексы в одну таблицу.

Поиск требует проверки всего двух мест в хеш-таблице, что в худшем случае занимает постоянное время. Это контрастирует со многими другими алгоритмами хэш-таблиц, которые могут не иметь постоянной границы наихудшего случая на время выполнения поиска. Удаление также может быть выполнено путем гашения ячейки, содержащей ключ, в постоянное время наихудшего случая, что проще, чем в некоторых других схемах, таких как линейное зондирование.

Когда вставлен новый ключ и одна из двух его ячеек пуста, он может быть помещен в эту ячейку. Однако, когда обе ячейки уже заполнены, необходимо будет переместить другие ключи на их вторые места (или обратно в их первые места), чтобы освободить место для нового ключа. А жадный алгоритм используется: новый ключ вставляется в одно из двух возможных мест, «выбивая», то есть вытесняя любой ключ, который уже мог находиться в этом месте. Затем этот смещенный ключ вставляется в его альтернативное место, снова выбивая любой ключ, который может там находиться. Процесс продолжается таким же образом до тех пор, пока не будет найдена пустая позиция, завершая алгоритм. Однако этот процесс вставки может завершиться неудачно, если ввести бесконечный цикл или найдя очень длинную цепочку (длиннее предварительно установленного порога, логарифмический в размере таблицы). В этом случае хеш-таблица перестраивается. на месте используя новые хэш-функции:

Нет необходимости выделять новые таблицы для повторного хеширования: мы можем просто пройтись по таблицам для удаления и выполнить обычную процедуру вставки для всех ключей, обнаруженных не в предполагаемой позиции в таблице.
— Паг и Родлер, "Кукушечка"^[1]

Теория

Вставки выполняются в ожидаемое постоянное время,^[1] даже учитывая возможность перестроения таблицы, пока количество ключей не превышает половины емкости хеш-таблицы, т. е. коэффициент нагрузки ниже 50%.

Один из методов доказательства этого использует теорию случайные графы: можно сформировать неориентированный граф называется «граф кукушки», который имеет вершину для каждого местоположения хеш-таблицы и ребро для каждого хешированного значения, причем конечные точки ребра являются двумя возможными местоположениями значения. Затем алгоритм жадной вставки для добавления набора значений в хеш-таблицу с кукушкой будет успешным тогда и только тогда, когда граф с кукушкой для этого набора значений является псевдолес, граф с не более чем одним циклом в каждом из связанные компоненты. Любой индуцированный вершинами подграф с большим количеством ребер, чем вершин, соответствует набору ключей, для которого недостаточно слотов в хеш-таблице. Когда хеш-функция выбирается случайным образом, график с кукушкой представляет собой случайный граф в Модель Эрдеша – Реньи. С большой вероятностью для случайного графа, в котором отношение количества ребер к количеству вершин ограничено ниже 1/2, граф является псевдолесом, и алгоритм хеширования с кукушкой успешно размещает все ключи. Более того, та же теория также доказывает, что ожидаемый размер связный компонент графа с кукушкой мал, поэтому каждая вставка занимает постоянное ожидаемое время.^[2]

Упражняться

На практике хеширование с кукушкой происходит примерно на 20–30% медленнее, чем линейное зондирование, который является самым быстрым из распространенных подходов.^[1]Причина в том, что хеширование с кукушкой часто вызывает два промаха кеша за поиск, чтобы проверить два места, где может храниться ключ, в то время как линейное зондирование обычно вызывает только один промах кеша за поиск. Однако из-за его худшего случая гарантии времени поиска, Хеширование с кукушкой все еще может быть полезным, когда скорость ответа в реальном времени необходимы. Одним из преимуществ хеширования с кукушкой является свойство отсутствия списка ссылок, которое хорошо подходит для обработки на GPU.

Пример

Даны следующие хэш-функции:

${ Displaystyle ч влево (к вправо) = к { bmod {1}} 1}$
${ displaystyle h ' left (k right) = left lfloor { frac {k} {11}} right rfloor { bmod {1}} 1}$

В следующих двух таблицах показана вставка некоторых примеров элементов. Каждый столбец соответствует состоянию двух хэш-таблиц во времени. Возможные места вставки для каждого нового значения выделены.

1. таблица для h (k)
		Ключ вставлен
k		20	50	53	75	100	67	105	3	36	39
h (k)		9	6	9	9	1	1	6	3	3	6
Записи в хеш-таблице	0
	1					100	67	67	67	67	100
	2
	3								3	36	36
	4
	5
	6		50	50	50	50	50	105	105	105	39
	7
	8
	9	20	20	20	75	75	75	53	53	53	75
	10

2. таблица для h ′ (k)
		Ключ вставлен
k		20	50	53	75	100	67	105	3	36	39
h ′ (k)		1	4	4	6	9	6	9	0	3	3
Записи в хеш-таблице	0									3	3
	1				20	20	20	20	20	20	20
	2
	3
	4			53	53	53	53	50	50	50	53
	5
	6							75	75	75	67
	7
	8
	9						100	100	100	100	105
	10

Цикл

Если вы сейчас попытаетесь вставить элемент 6, вы войдете в цикл и потерпите неудачу. В последней строке таблицы мы снова находим ту же исходную ситуацию, что и в начале.

${ Displaystyle ч влево (6 вправо) = 6 { bmod {1}} 1 = 6}$
${ displaystyle h ' left (6 right) = left lfloor { frac {6} {11}} right rfloor { bmod {1}} 1 = 0}$

Таблица 1	Таблица 2
6 заменяет 50 в ячейке 6	50 заменяет 53 в ячейке 4
53 заменяет 75 в ячейке 9	75 заменяет 67 в ячейке 6
67 заменяет 100 в ячейке 1	100 заменяет 105 в ячейке 9
105 заменяет 6 в ячейке 6	6 заменяет 3 в ячейке 0
3 заменяет 36 в ячейке 3	36 заменяет 39 в ячейке 3
39 заменяет 105 в ячейке 6	105 заменяет 100 в ячейке 9
100 заменяет 67 в ячейке 1	67 заменяет 75 в ячейке 6
75 заменяет 53 в ячейке 9	53 заменяет 50 в ячейке 4
50 заменяет 39 в ячейке 6	39 заменяет 36 в ячейке 3
36 заменяет 3 в ячейке 3	3 заменяет 6 в ячейке 0
6 заменяет 50 в ячейке 6	50 заменяет 53 в ячейке 4

Вариации

Было изучено несколько вариантов хеширования с кукушкой, в первую очередь с целью улучшения использования пространства за счет увеличения коэффициент нагрузки что он может выдерживать число больше 50% порога базового алгоритма. Некоторые из этих методов также можно использовать для уменьшения частоты отказов хеширования с кукушкой, в результате чего перестройки структуры данных будут происходить гораздо реже.

Можно ожидать, что обобщения хеширования с кукушкой, использующие более двух альтернативных хэш-функций, будут эффективно использовать большую часть емкости хэш-таблицы, при этом жертвуя некоторой скоростью поиска и вставки. Использование всего трех хеш-функций увеличивает нагрузку до 91%.^[3]Другое обобщение хеширования с кукушкой, называемое заблокировано хеширование с кукушкой заключается в использовании более одного ключа на ведро. Использование всего 2 ключей на ведро обеспечивает коэффициент загрузки более 80%.^[4]

Другой вариант хеширования с кукушкой, который был изучен, это кукушка хеширование с тайником. Тайник в этой структуре данных представляет собой массив постоянного количества ключей, используемых для хранения ключей, которые не могут быть успешно вставлены в основную хеш-таблицу структуры. Эта модификация снижает частоту отказов хеширования с кукушкой до функции обратного полинома с показателем, который можно сделать произвольно большим, увеличив размер тайника. Однако большие тайники также означают более медленный поиск ключей, которых нет или которые находятся в тайнике. Тайник можно использовать в сочетании с более чем двумя хеш-функциями или с заблокированным хешированием с кукушкой для достижения как высоких коэффициентов нагрузки, так и небольшой частоты отказов.^[5] Анализ хеширования с кукушкой с помощью тайника распространяется на практические хеш-функции, а не только на модель случайной хеш-функции, обычно используемую в теоретическом анализе хеширования.^[6]

Некоторые люди рекомендуют упрощенное обобщение хеширования кукушки, называемое асимметричный кэш в некоторых Кеши процессора.^[7]

Другой вариант хеш-таблицы с кукушкой, называемый кукушка фильтр, заменяет сохраненные ключи хэш-таблицы с кукушкой гораздо более короткими отпечатками пальцев, вычисленными путем применения к клавишам другой хеш-функции. Чтобы позволить этим отпечаткам пальцев перемещаться внутри фильтра кукушки, не зная ключей, из которых они были получены, два местоположения каждого отпечатка пальца могут быть вычислены относительно друг друга побитовым методом. Эксклюзивный или работа с отпечатком пальца или с хешем отпечатка пальца. Эта структура данных формирует приблизительную структуру данных членства в множестве с теми же свойствами, что и Фильтр Блума: он может хранить элементы набора ключей и проверять, является ли ключ запроса членом, с некоторой вероятностью ложные срабатывания (запросы, которые неверно указаны как часть набора), но нет ложные отрицания. Тем не менее, он улучшает фильтр Блума во многих отношениях: его использование памяти меньше на постоянный коэффициент, он лучше местонахождение ссылки, и (в отличие от фильтров Блума) позволяет быстро удалять элементы набора без дополнительных затрат на хранение.^[8]

Сравнение с родственными конструкциями

Исследование Zukowski et al.^[9] показал, что хеширование с кукушкой происходит намного быстрее, чем цепное хеширование для маленьких, тайник -резидентные хеш-таблицы на современных процессорах. Кеннет Росс^[10] показал, что варианты хеширования с кукушкой (варианты, в которых используются сегменты, содержащие более одного ключа) быстрее, чем обычные методы, также для больших хеш-таблиц, когда используется много места. Производительность хеш-таблицы с кукушкой в виде папок исследовалась далее Аскитисом.^[11]с его производительностью по сравнению с альтернативными схемами хеширования.

Опрос Митценмахер^[3] представляет открытые проблемы, связанные с хешированием кукушки по состоянию на 2009 год.

Смотрите также

внешняя ссылка

Классная и практичная альтернатива традиционным хеш-таблицам, У. Эрлингссон, М. Манассе, Ф. Макшерри, 2006.
Кукушка для студентов, 2006, Р. Паг, 2006.
Хеширование кукушки, теория и практика (Часть 1, Часть 2 и Часть 3 ), Михаэль Митценмахер, 2007.
Наор, Мони; Сегев, Гил; Видер, Уди (2008). "Хеширование кукушки, не зависящее от истории". Международный коллоквиум по автоматам, языкам и программированию (ICALP). Рейкьявик, Исландия. Получено 2008-07-21.
Алгоритмические улучшения для быстрого одновременного хеширования с кукушкой, X. Ли, Д. Андерсен, М. Каминский, М. Фридман. EuroSys 2014.

Примеры

[Cuckoo-1] а ^б ^c ^d Паг, Расмус; Родлер, Флемминг Фриче (2001). «Кукушка хеширования». Алгоритмы - ESA 2001. Конспект лекций по информатике. 2161. С. 121–133. CiteSeerX 10.1.1.25.4189. Дои:10.1007/3-540-44676-1_10. ISBN 978-3-540-42493-2.

[2] Куцельнигг, Рейнхард (2006). Двудольные случайные графы и хеширование с кукушкой (PDF). Четвертый коллоквиум по математике и информатике. Дискретная математика и теоретическая информатика. AG. С. 403–406.

[mitzenmacher2009survey-3] а ^б Митценмахер, Майкл (2009-09-09). "Некоторые открытые вопросы, связанные с хешированием кукушки | Материалы ESA 2009" (PDF). Получено 2010-11-10. Цитировать журнал требует | журнал = (помощь)

[4] Дицфельбингер, Мартин; Weidling, Christoph (2007), «Сбалансированное размещение и словари с плотно упакованными ячейками постоянного размера», Теорет. Comput. Sci., 380 (1–2): 47–68, Дои:10.1016 / j.tcs.2007.02.054, МИСТЕР 2330641.

[5] Кирш, Адам; Митценмахер, Майкл Д .; Видер, Уди (2010), «Более надежное хеширование: хеширование с кукушкой с тайником», SIAM J. Comput., 39 (4): 1543–1561, Дои:10.1137/080728743, МИСТЕР 2580539.

[6] Аумюллер, Мартин; Дицфельбингер, Мартин; Вельфель, Филипп (2014), «Явных и эффективных семейств хешей достаточно для хеширования кукушки с тайником», Алгоритмика, 70 (3): 428–456, arXiv:1204.4431, Дои:10.1007 / s00453-013-9840-x, МИСТЕР 3247374.

[7] «Микроархитектура».

[8] Вентилятор, Бин; Андерсен, Дэйв Дж .; Каминский, Михаил; Митценмахер, Майкл Д. (2014), «Фильтр кукушки: Практически лучше, чем Блум», Proc. 10-й ACM Int. Конф. Новые сетевые эксперименты и технологии (CoNEXT '14), стр. 75–88, Дои:10.1145/2674005.2674994

[9] Жуковски, Марцин; Хеман, Сандор; Бонц, Питер (июнь 2006 г.). «Хеширование с учетом архитектуры» (PDF). Материалы международного семинара по управлению данными на новом оборудовании (DaMoN). Получено 2008-10-16. Цитировать журнал требует | журнал = (помощь)

[10] Росс, Кеннет (2008-11-08). «Эффективные хеш-зонды на современных процессорах» (PDF). Отчет об исследованиях IBM RC24100. RC24100. Получено 2008-10-16. Цитировать журнал требует | журнал = (помощь)

[11] Аскитис, Николай (2009). Быстрые и компактные хеш-таблицы для целочисленных ключей (PDF). Материалы 32-й Австралазийской конференции по компьютерным наукам (ACSC 2009). 91. С. 113–122. ISBN 978-1-920682-72-9. Архивировано из оригинал (PDF) на 2011-02-16. Получено 2010-06-13.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]