English
A Datart, amely a HP TRONIC csoport portfóliójának tagja, az egyik vezető szereplő a fogyasztói elektronikai cikkek kiskereskedelmi értékesítésében Csehországban és Szlovákiában. Akár fizikai üzletekben, akár e-shop értékesítésekben, a Datart 32 éve van velünk. Nyertese a Mastercard Merchant of the Year 2021 díjnak az elektrotechnikai kategóriában, valamint a Most Trusted Brand 2020 és 2021 díjnak. 2022-ben a HP TRONIC csoport, beleértve a DATART-ot, 5%-kal növelte árbevételét 25,3 milliárd CZK-ra. Az EBITDA nyereség 942 millió CZK volt.
Ebben a cikkben megtudhatod, hogy:
- mindig van oka a tesztelésnek
- a teszt telepítésének tökéletesnek kell lennie
- egy A/B teszt nagyszerű kezdet lehet
- lehetséges jelentős eredményeket elérni viszonylag rövid idő alatt
- az alkalmi tesztelés meglepő lehet
Az elején az analitika, a kíváncsiság vagy az intuíció volt?
Néhány kiemelkedő ügyfél ugyanabból a helyzetből indult a Luigi’s Box-szal, mint a Datart. Kezdetben telepítették az Luigi’s Box Analytics-ot az e-shopjukban. Mivel az analitika már sok információt szolgáltatott, a kérdés az volt, hogy a Luigi’s Box ugyanolyan megbízható partner lehetne-e a keresésben vagy az automatikus kitöltésben, amikor a Luigi’s Box Search-öt használta, mint az analitikával.
A Datart felismeri, mennyire fontos a keresés az e-shopjaihoz és mi befolyásolhatja annak helyes vagy helytelen beállítását. A költségek mellett más fontos mutatók is vannak, például a generált bevétel, a konverziós arány, a befejezett vásárlások száma. A felelős megközelítés természetesen magában foglalja az hipotézisek tesztelését és ellenőrzését. A Datart innovál, amit több területen is lehet látni. Mindent megtesz az felhasználói élmény javítására, és érthető módon olyan jobb megoldásokat keresnek, amelyek egyszerre segítik a felhasználókat és növelik a nyereséget.
Belsőleg fejlesztették a keresésüket, és egy ponton szükséges volt annak ellenőrzése, hogy a külső keresés ugyanolyan jó, vagy még jobb lehet-e, mint a belső.
A teszt telepítése nem néhány kattintásra való
Bármit is szeretnénk tesztelni, döntő fontosságú, hogy mindent előre átgondoljunk. Például a módszertant, az összehasonlított értékeket, a teszt megvalósíthatóságát vagy az értékelési módszert. Másrészről a technikai megvalósítást, a nehézséget és a fejlesztőkre vagy bármely technikai szakterületre vagy specifikációra vonatkozó követelményeket. A teszt a frontend és a backend integrációban egyaránt futhat. A Datart esetében ez volt a bonyolultabb és összetettebb backend integráció. A legtöbb kliens professzionálisan és személyesen felkészült a hasonló tesztelésre, így az ilyen feladatok kezelése általában nem okoz komplikációkat.
Fortunátlan módon a Datartnak van egy olyan szakemberekből álló csapata, akik nem alábecsültek semmilyen aspektust, lépésről lépésre információkat és specifikációkat biztosítottak, valamint beállítottak a szükséges értékeket az API-n keresztüli kommunikációhoz.
Még az A/B teszt futtatása előtt tesztkészletre van szükség a lehetséges hibák kiküszöbölésére, amelyek jelentősen befolyásolhatják az ilyen teszt eredményét.
Miért A/B teszt?
Sok módja van valaminek a kipróbálására vagy tesztelésére. Az első lehetőség az egyik megoldás helyettesítése egy másikkal és annak vizsgálata, hogy az új megoldás hatékonyabb-e. Azonban itt egy alapvető kockázat merül fel. Egy olyan ügyféllel, mint a Datart, még a kis százalékos eltérés is jelentős nyereségcsökkenésként nyilvánulhat meg, ami egyik vállalat számára sem elfogadható.
De a biztonságosabb lehetőség az úgynevezett offline A/B teszt használata. A meglévő keresési eredmények, például idővel, összehasonlítódnak a tesztelt eszköz által kínált eredményekkel. Ezt a tesztelési módszert mi fejlesztettük ki és hosszú ideje használjuk, amelynek köszönhetően alapvetően kiküszöböljük a kockázatot, hogy egy új keresés egyes kifejezésekhez rosszabb vagy nincs eredmény. Ez még a nagyobb kiemelkedő ügyfelek számára is biztonságosabbá teszi a tesztelést, ahol az egyes kifejezések keresésének száma miatt még egy kis eltérés is jelentős hatással lehet.
Egy offline A/B teszt után az ügyfelek zökkenőmentesen áttérnek egy “élő” online A/B tesztre. Az alapja az a módszertan, amelyben egyes látogatók egy verziót kapnak, mások pedig másikat. Az egyik és a másik megoldás megjelenési aránya választható, amely 50:50 lehet. De kezdetben például csak 80:20, hogy az ügyfél megbizonyosodhat arról, hogy a tesztelt változat jobb vagy ugyanolyan, mint az eredeti változat. Végül mindkét eredmény relatív módon összehasonlítódik, és ha a bemeneti értékek, például a munkamenetek száma, szignifikánsak voltak, akkor az értékeléshez léphetünk.
Az eredmény kevesebb mint két hét alatt
Ha bizonyos eseteket tesztelünk volna, vagy ha alacsony forgalmú e-shopunk lenne, a teszt túl sokáig tartana, mivel az alacsony látogatások száma nem lenne elég szignifikáns. Egyszerűen nem lehetne megállapítani, hogy az összehasonlított megoldások közül melyik a teszt győztese.
Egyes ügyfelek egy hetet tesztelnek, mások hónapokat. A forgalom nagysága és az átváltások száma alapján megbecsülhetjük, hogy mennyi ideig tart a teszt. Ezt követően a statisztikai szignifikancia révén ellenőrizzük az eredményt, hogy csökkentsük a váratlan eredmény kockázatát. Mindent mindig előre meghatároznak. Hogy a teszt kezdete és vége, valamint az összehasonlított mutatók és az értékelési módszer világos legyen. A szabályokat nem szabad “a játék közben” megváltoztatni.
Ebben az esetben elegendő bemeneti adat, jó időzítés és a teszt pontos értékelése állt rendelkezésünkre. A Datart-teszt 2022. szeptember 1-12. között zajlott. Kevesebb mint két hét alatt az szükséges adatok összegyűjtésre kerültek – és lehetőges volt a teszt értékelése és a győztes meghatározása.
Luigi’s Box mint A/B teszt győztes
A komparatív A/B tesztet az e-shop cseh és szlovák verzióira telepítették. Mindkét teszt bizonyos értékekben eltér, mivel az egyes országok minden piaca másképpen működik a keresésben.
Mindkét tesztelt e-shopban az telepítési arány 50:50 volt. Ahol a felhasználók 50%-a az eredeti keresési verziót kapta, 50%-a pedig a Luigi’s Box Search verziót.
Mindkét teszt eredménye szignifikáns volt a választott módszertan szerint.
A fő komparatív metrika a “Konverziós arány” volt – a keresési felhasználók konverziós aránya.
A tesztek kiértékelése után azt találtuk, hogy az eredeti keresési verzióhoz képest a Luigi’s Box Search egyértelműen jobb volt az e-shop mindkét nyelvi változatán.
Egy másik érdekes információ, hogy a megoldásunk kiküszöbölte a helytelen eredményeket és a kereséseket, eredmények nélkül bizonyos kategóriák számára. A Luigi’s Box megbízható válasz lehet, ha hasonló problémával küzdsz a relevanciával kapcsolatban.
Összegzés
A választott mutatók azt mutatták, hogy a Luigi’s Box által használt mesterséges intelligencia és gépi tanulás a konverziós arány növelésére képes, ebben az esetben 14-19%-kal. Az egyes szegmensenként és keresési státuszfüggően a konverziós arány különbsége még magasabb is lehet. A konverziós arány növekedésével természetesen az értékesítés is nőtt – amely a kívánt állapot. Az ilyen tesztergebnysek után nem meglepő, hogy a Datart a Luigi’s Box Search-öt fogja használni keresési és automatikus kitöltési eszközként mindkét tesztelt e-shopban.
Ez a példa egyértelműen mutatja, hogy az eszközünk sok éves kutatási és fejlesztési munkája magas hozzáadott értéket jelent az ügyfélnek.
