Использование распределения Бета-Бернулли: полезное сопряженное априорное распределение в машинном о...

Как сопряженные априорные распределения используются в машинном обучении. Часть 8

В этой серии статей мы обсудим, как сопряженные априорные распределения используются в машинном обучении. В этой статье мы рассмотрим распределение Бета-Бернулли.

Распределение Бета-Бернулли является сопряженным априорным распределением для распределения Бернулли.

Распределение Бернулли является дискретным распределением вероятностей, принимающее значения 0 или 1. Оно часто используется для моделирования результатов бинарных событий, таких как бросок монеты или результат эксперимента "да-нет".

Распределение Бета-Бернулли является непрерывным распределением вероятностей, определенным на интервале [0, 1]. Оно имеет два гиперпараметра, \[ \alpha \) и \[ \beta \) , которые контролируют форму распределения.

Если [ \alpha = \beta = 1 ) , распределение Бета-Бернулли является равномерным распределением на интервале [0, 1].

Если [ \alpha > \beta ) , распределение Бета-Бернулли будет иметь положительный перекос, что означает, что оно будет больше сконцентрировано вокруг 1.

Если [ \alpha < \beta ) , распределение Бета-Бернулли будет иметь отрицательный перекос, что означает, что оно будет больше сконцентрировано вокруг 0.

Распределение Бета-Бернулли сопряжено с распределением Бернулли, что означает, что при наблюдении новых данных апостериорное распределение также будет распределением Бета-Бернулли.

Пусть \[ X \) - случайная величина, распределенная согласно распределению Бернулли с вероятностью успеха \[ p \) . Пусть \[ \alpha \) и \[ \beta \) - гиперпараметры распределения Бета-Бернулли.

Тогда апостериорное распределение \[ p \) после наблюдения \[ n \) успехов и \[ m \) неудач задается следующим образом:

p ~ Beta(\alpha + n, \beta + m)

Апостериорное среднее значение \[ p \) задается следующим образом:

E[p | x] = \frac{\alpha + n}{\alpha + \beta + n + m}

Апостериорная дисперсия \[ p \) задается следующим образом:

Var[p | x] = \frac{(\alpha + n)(\beta + m)}{(\alpha + \beta + n + m)^2(\alpha + \beta + n + m + 1)}

Распределение Бета-Бернулли является полезным сопряженным априорным распределением для распределения Бернулли. Оно позволяет легко обновлять апостериорное распределение по мере наблюдения новых данных.