Apibrėžti konfliktą
Pradinis scenarijus sąmoningai konkretus: pagrindinis rodiklis gerėja, tačiau konversija mažėja.
Produkto analitika · Interaktyvus modelis
Prieštaringų A/B testo rezultatų vertinimo asistentas
Interaktyvus sprendimų medis, padedantis įvertinti eksperimentus, kai pagrindinis rodiklis gerėja, tačiau konversijos rodiklis mažėja.
Apžvalga
Nuo statinio modelio iki interaktyvaus sprendimų asistento
A/B testų rezultatai ne visada pateikia aiškų atsakymą. Naujas variantas gali pagerinti pagrindinį sėkmės rodiklį, tačiau kartu sumažinti konversiją, todėl tenka įvertinti kompromisą tarp atskiro pagerėjimo ir bendrų verslo rezultatų.
Šį projektą sukūriau tam, kad tokios diskusijos būtų nuoseklesnės. Vietoje viso modelio peržiūros vienu metu naudotojas seka vieną šaką ir pagal pasirinktus atsakymus gauna aiškią rekomendaciją.
Procesas
Kaip vystėsi projektas
Galutinė versija sujungia eksperimentavimo principus ir paprastą sąsają, kurioje rodoma tik tuo metu aktuali sprendimo dalis.
Perkelti modelio logiką
Kiekvieną klausimą ir rekomendaciją paverčiau aiškiai išrikiuotais mazgais ir atsakymų keliais.
Sukurti sąveiką
JavaScript atvaizduoja pasirinktą šaką, paslepia nereikalingus kelius ir leidžia pradėti iš naujo.
Sprendimų logika
Vertinamas ne vienas rodiklis
Kiekviena šaka suteikia daugiau konteksto prieš pateikiant rekomendaciją, todėl sprendimas nepriimamas remiantis tik vienu rezultatu.
Statistinis reikšmingumas
Pirmasis žingsnis padeda atskirti reikšmingą konversijos sumažėjimą nuo įprasto testo triukšmo.
Poveikio dydis
Nedidelis sumažėjimas vertinamas kitaip negu daugiau kaip penkių procentų konversijos kritimas.
Klientų kontekstas
Vertinami atskiri segmentai, papildoma trintis, neaiškus tekstas ir galimas pasitikėjimo sumažėjimas.
Verslo vertė
Pagrindinio rodiklio augimas lyginamas su bendra konversija ir ilgalaikiais produkto tikslais.
Sąsaja
Aiškus kelias per sudėtingą sprendimų modelį
Pasirinkus atsakymą, sąsaja plečiasi žemyn. Nepasirinkti keliai tampa mažiau ryškūs, o pasirinkta šaka vizualiai sujungiama su kitu klausimu.
Rezultatas
Aiškios rekomendacijos prieštaringiems eksperimentų rezultatams
Priklausomai nuo surinktų atsakymų, asistentas pateikia kelis praktinius sprendimus.
Diegti ir stebėti
Kai sumažėjimas nėra statistiškai reikšmingas, rekomenduojamas diegimas ir konversijos stebėjimas po paleidimo.
Pataisyti ir testuoti dar kartą
Kai problema aiški ir išsprendžiama, rekomenduojama pakoreguoti variantą ir pakartoti eksperimentą.
Nediegti
Kai rizika konversijai yra didesnė už naudą, prioritetas teikiamas bendrai konversijai, o įžvalgos panaudojamos naujam sprendimui.
Veikiantis projektas
Išbandykite sprendimų medį
Pasirinkite skirtingas šakas, palyginkite rekomendacijas ir pradėkite iš naujo, kad išbandytumėte kitą kelią.