Принцип работы и обучения автостратегий

Автостатегии — это инструмент, который позволяет управлять рекламными кампаниями с помощью нейронных сетей. Они подстраиваются под определенный проект в зависимости от результатов, которая получила кампания. Пройдя период самообучения, приводит лиды по указанной цене конверсии, на сколько это возможно.

Автостратегии Яндексе обучаются по тем же принципам, что все нейросети. Между сигналом и решением образуется нейронная сеть, между нейронами возникают связи.

• Сигнал в данном случае – ключевой запрос, пользователь, вариант объявления, геофактор, время суток, устройство и так далее.
• Решение – это результат, который мы получили в итоге. Например, сконвертировали пользователя или нет.

Система считается обученной, когда построены все основные варианты связей. И от каждого сигнала получается заранее известное решение, которое нам и нужно. То, что отвечает цели выбранной стратегии Яндекса.

Чем больше времени – тем больше данных. Больше новых связей и прочнее существующие. Стабильнее и предсказуемее результат.

Приведем пример. Мы рекламируем дилерский центр Haval.  Пользователь сидит в торговом центре рядом с дилерским центром, заходит с мобильного телефона и вводит запрос «цены на хавал». Его сигнал – поисковой запрос – проходит через нейронную сеть. Система генерирует решение – считает, насколько высоки шансы на то, что пользователь совершит конверсию. Нейросеть анализирует данные и видит – люди по запросам «цены на хавал» ранее уже конвертировались и звонили в отдел продаж узнать цену. Более того, пользователь уже находится в торговом центре, рядом с дилерским центром. А значит, если цель рекламной кампании – конверсии – нужно срочно поднять ставку на аукционе и во что бы то ни стало обойти конкурентов, чтобы пользователь увидел именно ваше объявление и пришел к вам.

Решение по автостратегии формируется на основе поведения других пользователей, со схожими характеристиками. Результат также зависит от конкурентов. Например, если раньше вы получали много конверсий по низкой цене, а теперь вдруг цена резко выросла – возможно, в вашем регионе и нише появился сильный конкурент. Автостратегия здесь не виновата.

Итак, умные стратегии умны настолько, насколько они успели обучиться. В самом начале рекламной кампании у них будет мало данных, нейронные связи могут сложиться случайным образом – и стратегия будет работать неэффективно. Но со временем исправится.

Не все рекламодатели готовы долго ждать, когда же нейросеть обучится, и рисковать своими деньгами. Есть более выгодное решение, чем тратить деньги на «обучение». Сначала запустить новую кампанию на ручной стратегии и первое время управлять ставками самостоятельно. А когда накопится статистика, перейти на автостратегию. Системе все равно понадобится время, чтобы адаптироваться, но уже меньше.

3 определения нейросетей:

1. Нейронная сеть — попытка с помощью математических моделей воспроизвести работу человеческого мозга для создания машин, обладающих искусственным интеллектом.
2. Нейронная сеть — последовательность нейронов, соединенных между собой синапсами.
3. Нейросеть сеть — машинная интерпретация мозга человека, в котором находятся миллионы нейронов передающих информацию в виде электрических импульсов.

Нейросети основаны на специальном математическом алгоритме, который прогнозирует вероятность перехода по объявлению и достижения целевого действия на сайте.

2.1 Нейроны

Нейрон — это вычислительная единица, которая получает информацию, производит над ней простые вычисления и передает ее дальше. Они делятся на три основных типа: входной (зеленый), скрытый (синий) и выходной (желтый).

Синапс — это связь между двумя нейронами, через которые они обмениваются информацией

Веса нейронной сети — это своеобразный мозг всей системы. Именно благодаря этим весам, входная информация обрабатывается и превращается в результат. Во время обучения нейронной сети, веса расставляются в случайном порядке. Когда веса подобраны верно – нейронная сеть обучена.

Посмотри на картинке толщину синапса у зеленого нейрона, она намного больше толщины синего нейрона. Мужчина 28-45 (зеленый нейрон) интересующийся покупкой авто с большей вероятностью совершит звонок в отдел продаж, чем мальчик до 18 лет (синий нейрон). Следовательно автостратения будет увеличивать ставки (укреплять синапс) на мужчин 29-45 лет и уменьшать на мальчиков меньше 18 лет.

Или еще 1 пример по площадкам. Dsp площадки не приносят конверсии (синий нейрон) толщина синапса маленькая, а площадки (зеленый нейрон): дзен, автору, авито, приносят конверсии и толщина их синапса больше. Но чтобы еще улучшить показатели мы отключаем Dsp площадки - полностью обрубаем не нужную связь, не нужный синапс с ненужным трафиком.

Таким образом, обучение автостратегий - это процесс расставления весов в нейросети и укрепление правильный синапсов.

Обучение кампаний - это формирование портрета клиента (долгосрочные, краткосрочные интересы, принадлежность к различным группам по возрасту, платежеспособности, семейному положению, поведенческие паттерны) + подбор оптимальных ставок для выдерживания заданных стоимостей цели.

Нейросеть обычно обучается с учителем. Это означает наличие обучающего набора данных (датасета), который содержит примеры с правильными результатами решений: достижений целей, профиль, и признаки пользователя который совершил конверсию, наиболее конверсионные площадки. Так же ей необходим человек для корректировок, если не достигается необходимая цена звонка. Нейронная сеть пытается воспроизвести результат самостоятельно на новом наборе данных (трафике).

В идеальном мире, после обучения, нейронная сеть ведет нужный трафик по нужному CPL, но мы находимся в реальном мире. Есть интересы яндекса для своего заработка - они льют трафик с DSP площадок и приложений, хоть конверсионность площадок очень низкая. Есть владельцы приложений и сайтов, которые заинтересованы в своем заработке с кликов из их площадок. Они могут подключать ботов, которые скликивают рекламу имитировав поведения пользователя, тем самым искажая набор данных для обучения автостратегий.

Раньше люди генерировали признаки вручную. Увеличивали ставки на те или иные ключевые слова, отключали часть ключевых слов. Оптимизация на таком уровне осталась в 2019 году. Нейронная сеть автоматизировала этот процесс. Сейчас основная суть - скормить как можно больше правильных данных автостратегиям, что ведет к укреплению кампаний. Раньше представить, что ведем трафик из поиска и сетей в 1 кампании было бы невозможно - сейчас это обычная практика. Чем больше данных и точнее подобраны нужные связи с нужным трафиком, тем лучше результаты. Нам остается только: отключать неправильные площадки, следить за фродовым трафиком и придерживаться правильного принципов обучения автостратегий.

Если сравнивать автостратегии Директа с ручным управлением, можно выделить ряд преимуществ автоматизации:

1. Тратим меньше времени на оптимизацию, что позволяет увеличить количество проектов.
2. Учитывается больше данных для оптимизации, что улучшает показатели.
3. Автоматика вносит корректировки постоянно, изменяя трафик. Менеджер не сможет так часто корректировать кампании.

Минусы автоматизации:

1. Бюджет на неделю может неравномерно тратиться в разрезе по дням. Из-за этого часто можем наблюдать слив средств в понедельник.
2. Есть риск ухода на переобучение, если вносить слишком много корректировок.

3 основных этапа обучения автостратегий:

3.3.1 Поисковые кампании

Нужно понимать, что обучение поисковых и РСЯ кампаний проходит немного по разному.

Процесс бучения поисковых автостратегий

3.3.2 РСЯ кампании

В РСЯ ключевое слово не является основным видом таргетинга - это один из множество таргетингов. Существует несколько видов таргетинга: поведенческий, тематический и ретаргетинг.

Поведенческий использует «следы» потенциального клиента в интернете: что искал, куда заходил, чем интересовался. Отсюда же — сведения о возрасте, геолокации, увлечениях.

Тематический — это преобладающая тематика интересов краткосрочных и долгосрочных пользователя. Например, если человек искал в интернете автомобиль, то ему покажут объявление о разных марок машин.

Более подробно о профиле пользователя можно почитать в этот статье.

Из-за большого объема пользователей в РСЯ и разных условий таргетинга, процесс обучения автостратегий можно представить как гору с несколькими возможными спусками. Кампания может обучиться под 1 или 2 спуск. Спуск - это категория пользователей с определенным профилем пользователя.

Представь, что когда кампания обучилась под 1 спуск, внизу расположены пользователи из автору, преимущественно мужчины 32-35 лет. А внизу другого спуска больше пользователей из авито и преимущественно женщины 25-32 лет.

Именно из-за этого можем наблюдать, когда кампания, которая является полной копией другой кампании (с одинаковыми настройками, объявлениями и т.д.) в РСЯ может давать абсолютно разные результаты. В этом заключается смысл перезапуска - попробовать обучить кампанию под другой спуск. Но с этим не стоит частить. Обычно хватает 1 перезапуска, если кампанию не получается обучить. В редких случаях может понадобиться 2 перезапуска, если не помогает - нужно искать причину дальше, перезапускать бесконечно не имеет смысла. 

Анимация процесса обучения трех одинаковых кампаний на автостратегиях. Внизу синим цветом отображен самый конверсионный трафик, зеленый менее конверсионный, а коричневый самый плохой трафик с которого кампания начинает обучение.

Анимация процесса обучения трех одинаковых кампани

Если приблизится к более реальной картине распределения трафика в РСЯ, его можно представить в виде такого распределения. Где синий - самый конверсионный трафик, красный наименее конверсионный. А сверху спускается лыжник (автостратегия), который пытается попасть в самый низ (выкупить самый конверсионный трафик). 

3.4.1 Что значат первые лиды?

Первые лиды для кампании - это основной индикатор, который позволяет нам понять, что кампания достигла нужного трафика (опустилась на необходимый уровень в нужную низину).

Если промасштабировать кампанию, которая еще не дала лидов, допустим на 3 день. Нас откинет в плохой трафик и кампании нужно будет еще 2 дня, чтобы вернуть прежнее качество трафика и получить первые лиды. По итогу мы не получаем лиды 5 дней. 

Если дождаться 4 дня и кампания получит первый лид, то при при масштабировании, откинет не в такой плохой трафик, и кампания продолжит приносить лиды, но более дорогие.

Градиентный спуск, метод градиентного спуска — численный метод нахождения локального минимума. (метод нахождения пути лыжника с вершины вниз).

Градиент - это вектор с направлением. Когда вектор направлен вниз, это значит кампания приводит все более хороший трафик, по более низкой цене. Кампании обучаются.

Если вектор направлен вниз, трафик все улучшается - она работает корректно. Австостратегиям все равно на пики и провалы в трафике, она оценивает показатели вектором. Даже более того, она сама создает пики, ухудшая трафик, чтобы нормально обучиться.

Чтобы понять почему обученные кампании проливают средства в понедельник и дают плохой результат, нужно разобраться в этом методе. 

Представь что лыжника забрасывают, с помощью вертолета, на гору. На сколько высоко или низко зависит от случая (аналогично тому, как при новом запуске автостртатегии трафик начинает выкупаться в случайном порядке по случайным признакам).

Теперь лыжнику нужно спуститься вниз, с помощью градиента. Если склон будет с 1 минимумом, то после n-ого количества спусков мы доберемся до низины. Это хорошо видно в анимации обучения поисковых кампаний. Но в большинстве случаев склон (график функции) будет волнистый с несколькими минимумами и наш лыжник столкнется с очень серьезной проблемой — локальный минимум.

Локальный минимум - хороший трафик, но не лучший.
Глобальный минимум - лучший трафик, к которому стремится автостратегия.
Бугорок (холм) - препятствие между локальным и глобальным минимумом, из-за которого лыжник может запутаться и принять локальный минимум за глобальный. 

Попадание в локальный минимум чревато тем, что наш лыжник навсегда останется в этой низине и никогда не скатиться с горы в самый низ, следовательно мы никогда не сможем получить наилучший трафик. Но мы можем избежать этого, снарядив нашего лыжника реактивным ранцем под названием момент (momentum).

Представим что мы установили определенное значение высоты ранца, на которую он нас поднимает. Без труда смогли преодолеть все локальные минимумы, и добраться до глобального минимума. Так как мы не можем просто отключить реактивный ранец, из-за этого можем проскочить глобальный минимум, если рядом с ним есть еще низины. В конечном случае это не так важно, так как рано или поздно мы все равно вернемся обратно в глобальный минимум (лучший трафик). Этот ранец - расширение и выкуп более плохой аудитории, чтобы понять действительно мы выкупаем хороший трафик или есть трафик лучше, и мы находимся не в глобальном, а в локальном минимуме.

Склейка домена влияет на:

1. Поисковой трафик: могли занимать 3 места выдачи по 3 ДЦ. Сейчас занимаем 1 место. Меньше поискового трафика на 3 ДЦ в 3 раза. Имеем инструментарий, чтобы выкупать хороший трафик на ручных стратегиях.
2. РСЯ: кампании не могут обучится корректно. Главная проблема т.к. основной трафик в GAC - сети. Нет инструментария, который поможет корректно обучить автостратегии со склейкой. Обученные стратегии всегда будут перебивать ставки новых кампаний на качественный трафик и из-за склейки новые кампании не смогут обучиться.

Нужно разделять домены как можно скорее, обучать сети на старый домен не имеет смысла т.к. при замене домена кампании уходят на полное переобучение.Объяснить что происходит при склейке доменов и почему не получится обучить РСЯ трафик.