+4
Under review

Упрощение проведения сплит-тестирования

Дмитрий 2 years ago • updated by Максим 2 years ago 3

Ваш сервис тем отличается, что он простой. Но когда залезаешь в дебри, настроек больше и больше, таким образом повышается уровень детализации, но остается комфортным для человека исходя из его знаний.

В тоже время видно, что сервис достаточно молод и где-то только базовый минимум, но хорошо реализованный.


В плане сплит тестов, сделайте проще. Чем проще тем лучше для нас, а значит нас станет больше. (но для вас сложнее в плане реализации)

Вплоть до того, что уже установленный счетчик roistat поддерживал бы а/б тесты и пользователь бы выбирал, какой текст подменять в редакторе роистата, указав ссылку на тестируемую страницу.

http://yagla.ru/ посмотрите как подмена реализована здесь, механизм похожий.

Посмотрите как АБ тесты сделаны в гугле.


Если мне нужно сранить элементы на странице, то пусть роистат одним подсовывает оригинал, а других замененный элемент, без всякого кода.

Если хочется сравнить 2 страницы целых, то просто указать линки на 2 страницы разных, чтобы динамически давал то одну то другую.

И уж для каких-то спецефических задач можно лезть в код.


Сплит тесты многие не проводят из-за того, что порой сложно. Если сделать это очень легко, то это превратится в повседневные дела и вообще повысить ценность как сервиса.

Сплит-тестирование

Answer

Answer

Дмитрий, в нашем представлении А/Б тесты должны быть визуально редактируемыми, то есть зайти, изменить в редакторе вариант и запустить тест. Этот вариант самый долгий в реализации.

Вы также предлагаете вариант без визуального интерфейса - через замену содержимого элементов. Да, это проще, чем запрограммировать тест, но нам кажется, что это тоже сложно для использования.


Поэтому дальнейшее развитие сервиса сплит-тестирования мы видим в визуальном редакторе, чтобы тест можно было запустить за несколько минут.


Если мы увидим большой спрос на подобный сервис, то, конечно, это ускорит наши планы по его разработке.

Under review

Дмитрий, ваш пост я перенес в отдельное предложение, так как оно того заслуживает.

Могу прокомментировать, что, конечно, мы знаем, как сплит-тестирование реализовано в различных системах. Мы решили реализовать в виде, понятном для технически грамотных специалистов (программируемые тесты). После этого, естественно, сразу возникла проблема, что они сложны для большинства. Поэтому появились тесты стилей (через CSS).


Поверьте, тема развития инструмента сплит-тестирования неоднократно поднималась на обсуждение. Пока что мы думаем, как его упрощать дальше.


Yagla - это замена заголовков. Конечно, сделать это можно, но по сути мы говорим про разработку нового сервиса.


Подскажите, какие тесты вам было бы интересно проводить (меня заголовки, кнопки, что-то еще), и мы вместе подумаем, как вам это было бы удобно делать в рамках нашей системы.

Я честно еще детально не вникал в ваши сплит тесты, но сразу понял, что там не все так просто =)

Новый сервис конечно не стоит делать да и никто не просит. Yagla меняет не только заголовки, можно менять картинки в принципе любой блок.


Как мне было бы удобно в данный момент, и чтобы не разрабатывать новый сервис:

Ваш код стоит на всех наших страницах.

Я включаю доступность сплит теста, я понимаю что из-за этого режима на мой сайт будет загружаться больше кода, а значит я могу отключать этот режим, когда не нужно, ускоряя работу сайта.


Для тех, кто не хочет грузить весь сайт - пожалуйста, можно вставить отдельный код для сплит теста на нужные страницы. Тут от объемов сайта зависит.


Затем, если я хочу тестировать какой-то элемент, а это в принципе всегда HTML+CSS я выбираю его через ваш сервис, так, как это работает скажем в дебагере хрома, тоесть выделив теги выделяю кнопку/картинку и что-то еще. Можно прям по выбору тегов, можно просто визуально это сделать, в принципе такое реализовано в яндекс метрике, она понимает где кнопка, а где иной элемент и его можно выделить, много где есть реализация так или иначе.


Короче выделил элемент и могу указать, что показать вместо этого элемента в отдельном окошке. картинку, другой HTML, надпись другую.


Таким образом, надписи тестировать вообще ерунда и сможет любая домохозяйка.

Выделила кнопку визуально, получила код этого элемента, заменила своим кодом/текстом/картинкой и нажала подтвердить.

И все.

Ну чем сложнее элемент, тем больше знаний надо.


Это чисто мое представление, очень простое как по мне.


Я знаю, что вы сделаете лучше.

Answer

Дмитрий, в нашем представлении А/Б тесты должны быть визуально редактируемыми, то есть зайти, изменить в редакторе вариант и запустить тест. Этот вариант самый долгий в реализации.

Вы также предлагаете вариант без визуального интерфейса - через замену содержимого элементов. Да, это проще, чем запрограммировать тест, но нам кажется, что это тоже сложно для использования.


Поэтому дальнейшее развитие сервиса сплит-тестирования мы видим в визуальном редакторе, чтобы тест можно было запустить за несколько минут.


Если мы увидим большой спрос на подобный сервис, то, конечно, это ускорит наши планы по его разработке.