Amazon Payments опубликовала результаты семинедельного A/B-теста персонализации в воронке привлечения клиентов. Команда сравнивала статическую страницу с системой на основе контекстного многорукого бандита, развёрнутой с использованием Amazon SageMaker AI. Это отчёт о внутреннем эксперименте, а не запуск нового сервиса AWS.
По данным Amazon, у одной группы клиентов система дала относительный прирост финальной конверсии на высокое однозначное число процентов. У второй группы улучшения не было: показатели оказались отрицательными, а снижение доли одобренных заявок — статистически значимым. Компания объясняет этот результат качеством доступных вариантов контента: алгоритм перебрал большую часть набора, но не нашёл вариант лучше контрольной страницы. Независимой проверки этих выводов в публикации нет.
Система использует LinUCB — алгоритм, который оценивает ожидаемый результат для каждого варианта и добавляет поправку на неопределённость. Модель учитывает поведенческие признаки, включая платежное поведение и состав транзакций. Непрозрачный идентификатор клиента нужен только для доставки готовой рекомендации и не передаётся модели как входной признак.
Amazon Payments оптимизировала сразу три этапа: начало заявки, её отправку и одобрение. Для каждого этапа работала отдельная модель LinUCB, а итоговый выбор определялся суммой их оценок с примерно равными весами. Рекомендации рассчитывались пакетно, сохранялись в хранилище и выдавались по идентификатору; при их отсутствии страница возвращалась к стандартному варианту. AWS также опубликовала код для проверки метода на синтетических данных.
