Глубокое погружение в DNN для прогнозирования кликов на Reddit

Глубокое погружение в **DNN**, питающие прогнозирование кликов следующего поколения на **Reddit**

Reddit — одна из самых популярных в мире онлайн-платформ для новостей и дискуссий. Каждый день на сайте размещаются миллионы новых сообщений. Чтобы предоставить пользователям максимально персонализированный опыт, Reddit использует множество глубоких нейронных сетей (DNN) для прогнозирования, какие сообщения будут иметь наибольший интерес для каждого пользователя.

В этой статье мы углубимся в архитектуру и методологию обучения DNN Reddit следующего поколения, используемых для прогнозирования кликов. Мы обсудим, как эти DNN применяются к массивным данным Reddit в реальном времени и как их производительность оценивается и улучшается с течением времени.

Архитектура **DNN**

DNN Reddit следующего поколения основаны на квантованном NLP Transformer с самовниманием. Эта архитектура позволяет модели «научиться» отношений между различными частями данных (например, заголовков и текста сообщений) и эффективно преобразовывать входные данные в эмбеддинги, представляющие их семантическое содержание.

DNN состоит из нескольких блоков самовнимания, каждый из которых применяет механизм самовнимания для вычисления взвешенного среднего всех эмбеддингов в последовательности. Это позволяет модели уделять больше внимания важным частям входных данных и игнорировать ненужную информацию.

Выходные данные последнего блока самовнимания передаются в финальный классификатор, который предсказывает вероятность того, что пользователь нажмет на сообщение. Классификатор реализован как многослойный персептрон (MLP), который состоит из нескольких слоев полностью связанных нейронов.

Методология обучения

DNN Reddit обучаются на массивном наборе данных из исторических данных кликов пользователей. Набор данных маркирован бинарными метками, указывающими, нажал ли пользователь на сообщение или нет.

Обучение проводится с использованием оптимизатора Adam с задачей минимизации функции потерь бинарной кросс-энтропии. Функция потерь измеряет, насколько близко прогнозы модели соответствуют фактическим данным кликов.

Для обработки массивного набора данных Reddit используются методы параллелизации. Обучение распределяется по нескольким графическим процессорам (GPU), и градиенты обновляются синхронно. Это позволяет значительно ускорить процесс обучения.

Оценивание и улучшение

Производительность DNN оценивается с использованием метрик AUC-ROC и F1-score на тестовом наборе данных, отделенном от обучающего набора данных. Эти метрики измеряют способность модели отличать сообщения, на которые нажимают от тех, на которые не нажимают.

Чтобы улучшить производительность DNN, используются различные техники регуляризации, такие как отсев, Dropout и L2-регуляризация. Эти техники помогают предотвратить переобучение и повысить обобщающую способность модели.

Кроме того, команда Reddit постоянно исследует новые архитектуры и методы обучения для дальнейшего улучшения производительности DNN. Эти исследования направлены на повышение точности прогнозирования, сокращение времени обучения и уменьшение вычислительных ресурсов, необходимых для развертывания DNN в реальном времени.

Вывод

DNN Reddit следующего поколения играют решающую роль в персонализации опыта пользователей на платформе. Благодаря своей передовой архитектуре и методологии обучения эти DNN эффективно предсказывают, какие сообщения получат наибольший отклик от каждого пользователя.

Постоянное совершенствование этих DNN является свидетельством приверженности Reddit внедрению инновационных технологий для улучшения сервиса для своих пользователей. В будущем можно ожидать дальнейших улучшений в производительности и применении этих DNN, что позволит Reddit еще лучше настраивать опыт своих пользователей.