Сравнение численных реализаций алгоритма расчёта взаимной информации на основе учёта ближайших соседей

Цель. Сравнить эффективность реализации различных подходов к оцениванию функции взаимной информации на основе учёта ближайших соседей.
Метод. Численно реализованы два подхода к вычислению функции взаимной информации: лобовой, основанный на поиске ближайших соседей перебором, и сортировочный, основанный на сортировке одного из наблюдаемых рядов.
Результаты. Показано, что алгоритмическая сложность сортировочного метода ниже, чем лобового, но выше, чем алгоритмическая сложность самой сортировки, реализованной любым из методов быстрой сортировки.
Обсуждение. Реализация сортировочного алгоритма оправдана в случае, если приходится иметь дело с выборками большой длины, в то время как для сравнительно небольших выборок (порядка сотен отсчётов) можно ограничиться лобовым подходом.