Революционные подходы к анализу дистрибутивов с длинным хвостом: машинное обучение и статистика. Час...

Разработки в области дистрибутивов с длинным хвостом. Часть 1: Машинное обучение, статистика

Введение

Дистрибутивы с длинным хвостом, характеризующиеся большим количеством редких событий и небольшим количеством распространенных событий, являются обычным явлением в реальном мире. Они встречаются в различных областях, таких как лингвистика, финансы и социальные сети. Понимание и моделирование дистрибутивов с длинным хвостом имеет решающее значение для многих приложений машинного обучения и статистики, включая:

• Классификация текстов
• Предсказание редко встречающихся событий
• Моделирование социальных сетей
• Анализ финансовых данных

В этой двухчастной статье мы рассмотрим最近の достижения в области дистрибутивов с длинным хвостом. В этой первой части мы сосредоточимся на перспективах машинного обучения и статистики, а во второй части - на нейронных сетях и глубоком обучении.

Машинное обучение

Традиционные алгоритмы машинного обучения, такие как логистическая регрессия и дерево решений, часто плохо работают с дистрибутивами с длинным хвостом. Это связано с тем, что эти алгоритмы полагаются на предположение, что данные распределены нормально, что не соответствует действительности для дистрибутивов с длинным хвостом.

В последние годы было разработано несколько новых алгоритмов машинного обучения, которые специально предназначены для работы с дистрибутивами с длинным хвостом. Эти алгоритмы включают:

• Деревья дискретного разбиения (PART): алгоритм, который использует нелинейное преобразование для создания дерева решений, которое лучше подходит для дистрибутивов с длинным хвостом.
• Индуцированная модель деревьями и правилами (JRip): алгоритм, который объединяет методы деревьев решений и правил для создания модели, которая может обрабатывать как непрерывные, так и категориальные данные с длинным хвостом.
• Случайное лесное дерево (RT): алгоритм, который создает случайный лес деревьев решений и использует его для предсказания. RT был показан как эффективный для дистрибутивов с длинным хвостом.

Статистика

Статистические модели также могут быть использованы для понимания и моделирования дистрибутивов с длинным хвостом. Некоторые статистические модели, которые часто используются для этой цели, включают:

• Распределение Парето: однопараметрическое распределение, которое характеризуется длинным хвостом. Оно часто используется для моделирования доходов, размеров городов и других данных, которые имеют логнормальное распределение.
• Распределение Ципфа: однопараметрическое распределение, которое характеризуется степенной функцией. Оно часто используется для моделирования частоты слов в языке и других данных с длинным хвостом.
• Распределение Тьюки-Ламберта: трехпараметрическое распределение, которое является обобщением распределения Парето и Ципфа. Оно предоставляет большую гибкость при моделировании дистрибутивов с длинным хвостом.

Заключение

Дистрибутивы с длинным хвостом требуют особых методов анализа и моделирования. За последние годы были достигнуты значительные успехи в разработке алгоритмов машинного обучения и статистических моделей, которые специально предназначены для работы с такими дистрибутивами. Эти методы могут быть использованы для решения различных задач, включая классификацию текстов, прогнозирование редко встречающихся событий и моделирование социальных сетей. Во второй части этой статьи мы рассмотрим вклад нейронных сетей и глубокого обучения в наше понимание дистрибутивов с длинным хвостом.