Кто ни будь занимался A/B – тестированием своих проектов?

Тема в разделе "Юзабилити в дизайне", создана пользователем setevoi, 28 янв 2014.

  1. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    Думаю, что большинство тех кто работает над юзабилити своих проектов знает что такое вебвизер.
    Он позволяет нам выработать версию, что же такого улучшить в сайте, но любая версия нуждается в проверке.
    Ну а проверку версии можно сделать только через A/B тестирование.

    Какие инструменты и сервизы вы используете для A/B тестирования ?
    Какие результаты были достигнуты?

    делитесь опытом :)
     
  2. BACZ

    BACZ

    Регистр.:
    18 июн 2008
    Сообщения:
    608
    Симпатии:
    381
    Инет-магаз + корп. сайт СДЛ, розница и опт
    Скорее не А/В а "вот поменяли что то, люди отреагируют как то, если что накатим бекап обратно"
    а) Если поменяли с хорошего на фигню резко увеличивается количество отказов на эту страницу (до +10%)
    б) Иногда они удивительно откликаются на минимальные перемены - переименовали раздел "Дисконт" в раздел "Распродажа" - количество просмотров в день для раздела увеличилось вдвое
    в) Им (посетителям) почти пофиг вырвиглазная графика - если они протоптали дорожку к любимым популярным товарам то не мешает даже реклама с отрицательной художественной ценностью (например от региональных партнеров которые за размещение их рекламы что то там в продажах делают важное - закупают и продают больше например в ихних розничных магазинах)
    г) Офигенно любят слова "распродажа", жмут на любые баннеры и реально раскупают то что распродается.

    а вообще решает директ, а не дизайн :dk:
     
    latteo нравится это.
  3. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    Ну именно так у многих и происходит.
    Поменяли какую то фигнюну например: увеличили размеры картинок на карточке товара.
    % отказов не изменился по остальным критериям тоже не оч понятно.
    Конверсия в заказы на коротком промежутке тоже не всегда явный показатель.
    Тоесть мы что то сделали, но на
    Вопрос: Какой результат мы получили?
    Ответ: А хрен его знает

    Вот это утверждение совсем спорно.
    если графика вырви глаз это смертельно для маленького и среднего интернет-магазина.

    Такую графигу могут простить только магазинам и известным именем
    Например Юлмарту или Розетке, если они перекрасят свой сайт в ядовито зеленый или розовый то люди не перестанут там покупать.
    Они будут материться, ругаться и кричать какой звездец у них сайт, но будут покупать
     
  4. jDony

    jDony Создатель

    Регистр.:
    25 янв 2014
    Сообщения:
    41
    Симпатии:
    40
    Во-первых:
    - A/B тестирование надо проводить только если у вас есть стабильно-большой поток трафика. На маленьком трафике(<1000 в день) ни о каком тестировании речи быть не может. Да, оно даст результаты, но эти результаты будут недостоверные.

    Во-вторых:
    - Для проведения A/B тестирования необходимо отслеживать посетителя ОТ и ДО. Т.е, отслежнивание посетителя начинается сразу как только он попадает на страницу, и заканчивается только ПОСЛЕ совершения конечного действия (покупки\ввода email\etc...)

    Общее:
    - Отдельный тест(например: смена цвета ссылок) может показать увеличение продаж на 10%(допустим), но в совокупности с другим тестом(перемещение блока ссылок в другое место) кол-во продаж может снизиться на 50%.
    Для отслеживания всех этих показателей - необходимо иметь довольно таки сложную систему аналитики, что для обычного сайт дикий оверхед.


    Для мелких сайтов существуют готовые решения, как на PHP, так и на остальных языках(Split на ruby например).
    Я сейчас не вспомню названия готовых решений, но они есть на хабре, в хабе "Тестирование", там можно поискать.

    Так же на хабре была небольшая статья-перевод про оптимизацию лендинга с помощью тепловой карты.

    Быстрым поиском нашел только http://habrahabr.ru/company/eurostudio/blog/109010/ эту статью с подборкой инструментов для юзабилити тестирования.

    Вот небольшая статья анализ тепловой карты http://habrahabr.ru/post/120235/

    Можно так же глянуть эти ролики, там описывается имеено сама реализация A/B тестирования.
     
    Jusper1, noxxxxx, latteo и ещё 1-му нравится это.
  5. setevoi

    setevoi Создатель

    Регистр.:
    10 апр 2013
    Сообщения:
    44
    Симпатии:
    14
    Поэтому я думаю хорошим тоном будет тестировать не более одного изменения за раз.
     
  6. jDony

    jDony Создатель

    Регистр.:
    25 янв 2014
    Сообщения:
    41
    Симпатии:
    40
    Это само собой.

    Так же я забыл упомянуть про то, что итоговую конверсию(по результатам тестирования) необходимо смотреть не только по общему соотношению посетители\конверсии, но и по отдельным показателям, таким как: пол, возраст, время.
    Чем больше дополнительных данных есть на каждого посетителя - тем лучше.

    Как пример:
    Предмет тестирования: главный баннер.
    ТестА - текст на баннере "Купите товары с сумашедшой СКИДКОЙ 50%".
    ТестБ - текст на баннере "РАСПРОДАЖА товаров со скидкой 50%".

    По итогам тестиорвания у вас может сложиться такая ситуация:
    - ТестА показал увеличение конверсии на 15%
    - ТестБ показал рост на 5%.

    Можно сделать вывод что ТестА показал себя лучше, и следует использовать его.

    Но если посмотреть результаты тестирования по отдельным параметрам(например пол:(
    - ТестА показал что кол-во продаж мужчинам было 80%, женщинам 20%
    - ТестБ показал что кол-во продаж мужчинам было 30%, женщинам 70%

    Таким образом у нас есть четкий вывод:
    Для мужчин и для посетителей у которых мы не можем определить пол - мы будем показывать баннер из тестаА
    Для женщин будем показывать баннер из тестаБ.

    Такое разделение позволит эффективно использовать результаты теста, и охватить всю аудиторию сайта.

    Разумеется после этого стоит провести еще несколько этапов тестирования, для подтвержения наших догадок, и для более полного анализа.
     
    noxxxxx, latteo и Maybe нравится это.
  7. balck

    balck Создатель

    Регистр.:
    16 мар 2007
    Сообщения:
    42
    Симпатии:
    11
    Вот мое мнение:
    1. Ab тестирование оправдано даже на сайтах с посещаемостью 10-60 человек - это первое. Проверено неоднократно.

    2. Сервис например http://abtest.ru/ этот. Но считаю, что сервисы это не для каждого: мы смотри. Сами и меняем страницы сами.

    3. Считаю что при небольшой посещаемости вполне реально менять по одному элементу как по расположению блоков лендинга так и по дизайну

    4. При массовом а/б тестировании мы заметили (что крайне удобно) по тепловизору yandex на что больше внимание. Отсюда и пляшем: усиливаем блок/кеопку и толкаем к клику эмоциями (графикой) или текстом

    Вот и вся тема.

    Хотя, смысл имеет, скорее только при комплексной работе с воронкой продаж сайта. Сам по себе в/б тест почти бесполезен
     
  8. dandandan

    dandandan

    Регистр.:
    7 авг 2008
    Сообщения:
    975
    Симпатии:
    255
  9. Vyrd2014

    Vyrd2014 Создатель

    Регистр.:
    18 апр 2014
    Сообщения:
    32
    Симпатии:
    8
    Сколько по времени (примерно) вы анализируете, чтоб принять решение, что нужно что-то добавить / изменить?
     
  10. ivanoff12

    ivanoff12 Создатель

    Регистр.:
    22 окт 2008
    Сообщения:
    41
    Симпатии:
    12
    полностью согласен. дизайнер должен управлять что на первом плане, что на втором, что первым бросается в глаза, что потом и так далее.
    тестировать можно только мультивариантность - именно то самое одно изменение; один баннер; одно сообщение и так далее.
    все остальное должно быть хорошо и правильно :)