Menu

Polski e-commerce i zarządzanie e-firmą

Nazywam się Paweł Fornalski. Jestem założycielem i prezesem IAI S.A., dostawcy rozwiązań e-commerce dla sklepów internetowych i rezerwacji noclegów dla właścicieli apartamentów i hoteli. Na tym blogu piszę, w oderwaniu od oficjalnych poglądów innych właścicieli i pracowników IAI o tym co mnie prywatnie porusza. Gdybyś chciał się skontaktować pisz na pawel(a)fornalski.pl

Wpisy otagowane : testowanie

Testy A/B, czyli jak poprzez awersję do ściemy powstał inteligentny system rekomendacji IAI RS

pfornalski

Jedna z rozmów w ostatnim czasie z człowiekiem „z branży” i w momencie gdy moje argumenty stały się dla tej osoby niewygodne usłyszałem: „Bo ty Paweł to jesteś dobry w logistyce, komputerach ale nie masz smykałki do marketingu”. Przez chwilę mnie przytkało i dopiero w drodze powrotnej do Szczecina, zastanowiłem się na spokojnie i doszedłem do wniosku, że w zasadzie ten ktoś chyba jednak powiedział mi komplement. Bo w rozumieniu potocznym, „smykałka do marketingu” tzn. smykałka do ściemniania. Oczywiście dla mnie to wysublimowana nauka o wielu aspektach, w tym logistyce ;) ale rzeczywiście dla potocznego Kowalskiego, to właśnie tego dotyczy marketing. Skoro więc, w ocenie tej osoby, nie mam smykałki do ściemniania, to czy jestem właściwą osobą na właściwym miejscu, tzn. Głównym architektem systemu do prowadzenia sprzedaży internetowej, przez który obecnie przechodzi ponad 2 miliardy złotych w samej Polsce?

Hmm. Jako były naukowiec i z wykształcenia informatyk - jestem racjonalnym, zimnym draniem i wcalę się tego nie wstydzę. We wszelkich technikach marketingowych uznaję tylko twarde dowody. W e-marketingu w 95% przypadków takie dowody dostarczają Testy A/B. Dla tych, którzy nie wiedzą o co chodzi, krótko wyjaśnię, że chodzi o test na dużej grupie klientów, w której połowa otrzymuje jedno rozwiązanie (A), druga grupa rozwiązanie B. Następnie porównuje się wyniki obu grup. Dokładnie tą samą techniką sprawdza się i dowodzi skuteczności i szkodliwości chociażby leków, które później kupujesz w aptece. Możemy więc uznać, że ta metoda to absolutne ABC dowodów. Ważne aby była zrobiona solidnie i populacje klientów oddzielić od początku do końca eksperymentu.

I tak docieramy do ciekawej anegdoty, jak powstał IAI RS – system inteligentnych rekomendacji? Historia za nim stojąca jest dosyć przewrotna. Nie czułem wcale potrzeby pisania takiego systemu, ale początkowo szukaliśmy wystarczająco ambitnego zastosowania dla napisanego wtedy modułu testów A/B w IAI-Shop.com. Od jakiegoś czasu współpracowaliśmy z naukowcami ze Szczecińskiej uczelni, którzy w swojej pracy naukowej zajmowali się systemem rekomendacji. W tym czasie byłem sceptyczny do takiego systemu, z uwagi na pewną firmę która była praktycznie jedynym dostawcą tego typu rozwiązania. Jej produkt zdobył pewną popularność wizerunkową i firma za nim stojąca, wspierana wizerunkiem pewnego gwiazdora e-commerce (nie mylić z tym gwiazdorem co przynosi prezenty), stała się w zasadzie synonimem produktu do inteligentnych rekomendacji. Przedstawiciele tej firmy chcieli abym poparł ich i polecał klientom IAI. Niestety poza czysto hipotetycznymi wynikami, że komuś tam wzrosło a komuś innemu też, nie przedstawiono wyników żadnych Testów A/B. Mimo próśb o nie, nie otrzymałem tych wyników. Wiedziałem, że firma ta za niemałe pieniądze sprzedaje niektórym klientom ten system. Ale nie potrafiłem polecać tego narzędzia moim klientom, mimo nawet oferowania prowizji od przychodów z tych klientów. Nie pozwalała na to moja etyka.

Postanowiłem więc, że wykorzystam wiedzę o systemach rekomendacji naukowców i plan by prosty: doprowadzimy do testu A/B i sprawdzimy czy w skali komercyjnej i produkcyjnej, inteligentne systemy rekomendacji to ściema, czy mogą zarobić więcej niż kosztują. Niestety tak się złożyło, że nie mieliśmy okazji i możliwości wdrożenia u jakiegoś konkretnego klienta systemu G (G jak Gwiazdor) i aby ten klient pozwolił jeszcze się pobawić  ustawieniami aby sprawdzić czy system przynosi realne zyski (ponad standardowe rekomendacje i jeszcze koszt systemu). Przeanalizowaliśmy zatem jak zbudowany jest system G. Wykorzystałem przy tym doświadczenie naszego eksperta, któremu wystarczyło to co widać gołym okiem w kodzie źródłowym strony, jakie informacje pobiera ten system i odpowiedziach z systemu. Udało nam się ostatecznie zbudować coś co było porównywalnie dobre jak produkt G. A mimo to nadal nie polecieliśmy z tym do klientów. Chcieilśmy zacząć od Testów A/B.

Podkreślam, że mieliśmy już w tym momencie system dający takie same wyniki jak konkurencja, czyli teoretycznie mogliśmy już na nim zarobić. Jednak moja natura „nie-marketingowa” i awersja do ściemy, sprawiła że absolutnie pod czymś takim podpisać się nie mogłem. Postanowiliśmy więc zaprząc tęgie umysły IAI i wypracowaliśmy algorytmy, które na początek dał 50% lepsze efekty, a po roku pracy o 100% lepsze. A to oznaczało, że zwiększaliśmy klientom sprzedaż nawet o 15%, co dawało niezaprzeczalną wartość dodaną. Niezły wynik prawda? I gdy szukaliśmy okazji do przetestowania systemu w rzeczywistych warunkach, nadarzyła się okazja: Jeden z naszych klientów chciał wdrożyć system G, więc zgodził się na test A/B, w którym A=System G, B=IAI RS. Sam test był bardzo ciekawy, bo firma G zorientowała się chyba co się dzieje i zaczęła ręcznie pomagać algorytmom. Nie pomogło im to i tak przegrać testu A/B z kompletnie zautomatyzowanym narzędziem. Mieliśmy więc ultymatywne potwierdzenie, że powstał lepszy produkt i tak prawie rok temu, 16 sierpnia 2013r. IAI zaprezentowało na swoim blogu IAI RS, czyli inteligentny system rekomendacji dla sklepów internetowych, ściśle zintegrowany z IAI-Shop.com. I aby pokazać „nie-marketingowe” podejście, klientom chętnym do jego wdrożenia zawsze dajemy możliwość sprawdzenia jego działania w Teście A/B ze standardowymi rekomendacjami jakie ma w swoim sklepie.

Kolejną narzędziem marketingowym, któremu się przyglądam od dawna są reklamy sklepów internetowych wyświetlane na innych stronach poprzez tzw. sieć RTB kwadraciki z ikonami towarów, które oglądałem wcześniej i co ciekawe nabyłem.

Przykład reklamy produktowej w sieci RTB od sklepu internetowego

Przykład formy reklamowej w sieci RTB o której piszę.

Niestety ciągle nie widziałem Testów A/B skuteczności takich działań. Widziałem wyniki skuteczności samego remarketingu, ale nie tej konkretnej formy reklamowej. Więc skoro nie udało mi się do nich dotrzeć, to może komuś z czytelników uda się to zrobić lub przeprowadzi porządny test A/B razem ze mną? Póki co mam otwarty umysł i bardzo chcę uwierzyć, prawie tak bardzo jak agent Fox Mulder.

A żeby spiąć klamrą moją opowieść, wspomnę tylko, że firma G od czasu tworzenia IAI RS zmieniła nazwę i oferuje obok systemu rekomendacji, system jak wyżej. Więc jak widać, jest to po prostu potencjalnie kolejna faza oferowania narzędzi, których skuteczności nikt nie udowadnia. A gdy okaże się, że to narzędzie jest jedynie marketingową ściemą, zaproponuje jeszcze coś nowego, co będzie miało na celu wyciągnięcie pieniędzy z kieszeni sprzedawców internetowych. Pisałem w listopadzie 2011r. w poście „Czym jest firma, czyli reputacja przede wszystkim”. Nie rozumiem, jak można wierzyć, że dane nazwisko, stojące za N-tym produktem z rzędu, przy czym w N-1 poprzednich produktów okazało się ściemą, reprezentuje coś co tym razem będzie inne? Ludzie to system wartości, którego nie da się zmienić. Jeżeli zatem ktoś jest w stanie oferować Ci ściemę, będzie ją oferował do grobowej deski, jeżeli będzie miał okazję. Mój system wartości nie pozwala klientom oferować nieskutecznych rozwiązań, mimo iż mógłbym im przecież wmówić że dana rzecz działa. Wystarczy błysnąć na 30 konferencjach w roku, pokazać jakieś statystyki których za bardzo nikt nie sprawdzi, rzucić parę linków do zagranicznych blogów na których ktoś twierdzi, że nowy trend to jest hit i konieczność i ściema gotowa.

I będę nudny, bo opowiadam o tym jak sprawniej zorganizować logistykę, stronę techniczną, użyteczność strony i jak sprawić aby klient chciał wrócić do sklepu. To jest takie „nie-seksi” i ogólnie mało ciekawe. Tylko, że na większości konferencji opowiada się jak „ściemnić” klienta, podczas gdy nie widziałem ani jednego badania rynku, w którym klienci pisali by, że nie kupują przez Internet, bo są za mało ściemnieni. Za to wskazują, że główną przeszkodą są problemy z przesyłkami, wyborem oferty, cenami i zwrotami zakupionego towaru. Jeżeli więc, zależy Ci nie na tym, aby wyrwać się z firmy na kolejną konferencję, a rzeczywiście zwiększeniu sprzedaży – zastanów się na jaką konferencję następnym razem warto pojechać?

Wracając więc do mojego rozmówcy, który mam nadzieję rozpozna się wśród czytelników bloga, to tak – jestem dobry w logistyce i liczeniu. Nie mam smykałki do ściemniania ludzi, w tym klientów. Dzięki temu stanowię świetne uzupełnienie ich biznesów, w których muszą oczarować i zaczarować konsumenta aby mu coś sprzedać. A to sprawia, że klienci IAI rosną w dynamice prawie 100% rocznie, podczas gdy średnia dla rynku to obecnie 25%.

© Polski e-commerce i zarządzanie e-firmą
Blox.pl najciekawsze blogi w sieci