Menu

Polski e-commerce i zarządzanie e-firmą

Nazywam się Paweł Fornalski. Jestem założycielem i prezesem IAI S.A., dostawcy rozwiązań e-commerce dla sklepów internetowych i rezerwacji noclegów dla właścicieli apartamentów i hoteli. Na tym blogu piszę, w oderwaniu od oficjalnych poglądów innych właścicieli i pracowników IAI o tym co mnie prywatnie porusza. Gdybyś chciał się skontaktować pisz na pawel(a)fornalski.pl

Testy A/B, czyli jak poprzez awersję do ściemy powstał inteligentny system rekomendacji IAI RS

pfornalski

Jedna z rozmów w ostatnim czasie z człowiekiem „z branży” i w momencie gdy moje argumenty stały się dla tej osoby niewygodne usłyszałem: „Bo ty Paweł to jesteś dobry w logistyce, komputerach ale nie masz smykałki do marketingu”. Przez chwilę mnie przytkało i dopiero w drodze powrotnej do Szczecina, zastanowiłem się na spokojnie i doszedłem do wniosku, że w zasadzie ten ktoś chyba jednak powiedział mi komplement. Bo w rozumieniu potocznym, „smykałka do marketingu” tzn. smykałka do ściemniania. Oczywiście dla mnie to wysublimowana nauka o wielu aspektach, w tym logistyce ;) ale rzeczywiście dla potocznego Kowalskiego, to właśnie tego dotyczy marketing. Skoro więc, w ocenie tej osoby, nie mam smykałki do ściemniania, to czy jestem właściwą osobą na właściwym miejscu, tzn. Głównym architektem systemu do prowadzenia sprzedaży internetowej, przez który obecnie przechodzi ponad 2 miliardy złotych w samej Polsce?

Hmm. Jako były naukowiec i z wykształcenia informatyk - jestem racjonalnym, zimnym draniem i wcalę się tego nie wstydzę. We wszelkich technikach marketingowych uznaję tylko twarde dowody. W e-marketingu w 95% przypadków takie dowody dostarczają Testy A/B. Dla tych, którzy nie wiedzą o co chodzi, krótko wyjaśnię, że chodzi o test na dużej grupie klientów, w której połowa otrzymuje jedno rozwiązanie (A), druga grupa rozwiązanie B. Następnie porównuje się wyniki obu grup. Dokładnie tą samą techniką sprawdza się i dowodzi skuteczności i szkodliwości chociażby leków, które później kupujesz w aptece. Możemy więc uznać, że ta metoda to absolutne ABC dowodów. Ważne aby była zrobiona solidnie i populacje klientów oddzielić od początku do końca eksperymentu.

I tak docieramy do ciekawej anegdoty, jak powstał IAI RS – system inteligentnych rekomendacji? Historia za nim stojąca jest dosyć przewrotna. Nie czułem wcale potrzeby pisania takiego systemu, ale początkowo szukaliśmy wystarczająco ambitnego zastosowania dla napisanego wtedy modułu testów A/B w IAI-Shop.com. Od jakiegoś czasu współpracowaliśmy z naukowcami ze Szczecińskiej uczelni, którzy w swojej pracy naukowej zajmowali się systemem rekomendacji. W tym czasie byłem sceptyczny do takiego systemu, z uwagi na pewną firmę która była praktycznie jedynym dostawcą tego typu rozwiązania. Jej produkt zdobył pewną popularność wizerunkową i firma za nim stojąca, wspierana wizerunkiem pewnego gwiazdora e-commerce (nie mylić z tym gwiazdorem co przynosi prezenty), stała się w zasadzie synonimem produktu do inteligentnych rekomendacji. Przedstawiciele tej firmy chcieli abym poparł ich i polecał klientom IAI. Niestety poza czysto hipotetycznymi wynikami, że komuś tam wzrosło a komuś innemu też, nie przedstawiono wyników żadnych Testów A/B. Mimo próśb o nie, nie otrzymałem tych wyników. Wiedziałem, że firma ta za niemałe pieniądze sprzedaje niektórym klientom ten system. Ale nie potrafiłem polecać tego narzędzia moim klientom, mimo nawet oferowania prowizji od przychodów z tych klientów. Nie pozwalała na to moja etyka.

Postanowiłem więc, że wykorzystam wiedzę o systemach rekomendacji naukowców i plan by prosty: doprowadzimy do testu A/B i sprawdzimy czy w skali komercyjnej i produkcyjnej, inteligentne systemy rekomendacji to ściema, czy mogą zarobić więcej niż kosztują. Niestety tak się złożyło, że nie mieliśmy okazji i możliwości wdrożenia u jakiegoś konkretnego klienta systemu G (G jak Gwiazdor) i aby ten klient pozwolił jeszcze się pobawić  ustawieniami aby sprawdzić czy system przynosi realne zyski (ponad standardowe rekomendacje i jeszcze koszt systemu). Przeanalizowaliśmy zatem jak zbudowany jest system G. Wykorzystałem przy tym doświadczenie naszego eksperta, któremu wystarczyło to co widać gołym okiem w kodzie źródłowym strony, jakie informacje pobiera ten system i odpowiedziach z systemu. Udało nam się ostatecznie zbudować coś co było porównywalnie dobre jak produkt G. A mimo to nadal nie polecieliśmy z tym do klientów. Chcieilśmy zacząć od Testów A/B.

Podkreślam, że mieliśmy już w tym momencie system dający takie same wyniki jak konkurencja, czyli teoretycznie mogliśmy już na nim zarobić. Jednak moja natura „nie-marketingowa” i awersja do ściemy, sprawiła że absolutnie pod czymś takim podpisać się nie mogłem. Postanowiliśmy więc zaprząc tęgie umysły IAI i wypracowaliśmy algorytmy, które na początek dał 50% lepsze efekty, a po roku pracy o 100% lepsze. A to oznaczało, że zwiększaliśmy klientom sprzedaż nawet o 15%, co dawało niezaprzeczalną wartość dodaną. Niezły wynik prawda? I gdy szukaliśmy okazji do przetestowania systemu w rzeczywistych warunkach, nadarzyła się okazja: Jeden z naszych klientów chciał wdrożyć system G, więc zgodził się na test A/B, w którym A=System G, B=IAI RS. Sam test był bardzo ciekawy, bo firma G zorientowała się chyba co się dzieje i zaczęła ręcznie pomagać algorytmom. Nie pomogło im to i tak przegrać testu A/B z kompletnie zautomatyzowanym narzędziem. Mieliśmy więc ultymatywne potwierdzenie, że powstał lepszy produkt i tak prawie rok temu, 16 sierpnia 2013r. IAI zaprezentowało na swoim blogu IAI RS, czyli inteligentny system rekomendacji dla sklepów internetowych, ściśle zintegrowany z IAI-Shop.com. I aby pokazać „nie-marketingowe” podejście, klientom chętnym do jego wdrożenia zawsze dajemy możliwość sprawdzenia jego działania w Teście A/B ze standardowymi rekomendacjami jakie ma w swoim sklepie.

Kolejną narzędziem marketingowym, któremu się przyglądam od dawna są reklamy sklepów internetowych wyświetlane na innych stronach poprzez tzw. sieć RTB kwadraciki z ikonami towarów, które oglądałem wcześniej i co ciekawe nabyłem.

Przykład reklamy produktowej w sieci RTB od sklepu internetowego

Przykład formy reklamowej w sieci RTB o której piszę.

Niestety ciągle nie widziałem Testów A/B skuteczności takich działań. Widziałem wyniki skuteczności samego remarketingu, ale nie tej konkretnej formy reklamowej. Więc skoro nie udało mi się do nich dotrzeć, to może komuś z czytelników uda się to zrobić lub przeprowadzi porządny test A/B razem ze mną? Póki co mam otwarty umysł i bardzo chcę uwierzyć, prawie tak bardzo jak agent Fox Mulder.

A żeby spiąć klamrą moją opowieść, wspomnę tylko, że firma G od czasu tworzenia IAI RS zmieniła nazwę i oferuje obok systemu rekomendacji, system jak wyżej. Więc jak widać, jest to po prostu potencjalnie kolejna faza oferowania narzędzi, których skuteczności nikt nie udowadnia. A gdy okaże się, że to narzędzie jest jedynie marketingową ściemą, zaproponuje jeszcze coś nowego, co będzie miało na celu wyciągnięcie pieniędzy z kieszeni sprzedawców internetowych. Pisałem w listopadzie 2011r. w poście „Czym jest firma, czyli reputacja przede wszystkim”. Nie rozumiem, jak można wierzyć, że dane nazwisko, stojące za N-tym produktem z rzędu, przy czym w N-1 poprzednich produktów okazało się ściemą, reprezentuje coś co tym razem będzie inne? Ludzie to system wartości, którego nie da się zmienić. Jeżeli zatem ktoś jest w stanie oferować Ci ściemę, będzie ją oferował do grobowej deski, jeżeli będzie miał okazję. Mój system wartości nie pozwala klientom oferować nieskutecznych rozwiązań, mimo iż mógłbym im przecież wmówić że dana rzecz działa. Wystarczy błysnąć na 30 konferencjach w roku, pokazać jakieś statystyki których za bardzo nikt nie sprawdzi, rzucić parę linków do zagranicznych blogów na których ktoś twierdzi, że nowy trend to jest hit i konieczność i ściema gotowa.

I będę nudny, bo opowiadam o tym jak sprawniej zorganizować logistykę, stronę techniczną, użyteczność strony i jak sprawić aby klient chciał wrócić do sklepu. To jest takie „nie-seksi” i ogólnie mało ciekawe. Tylko, że na większości konferencji opowiada się jak „ściemnić” klienta, podczas gdy nie widziałem ani jednego badania rynku, w którym klienci pisali by, że nie kupują przez Internet, bo są za mało ściemnieni. Za to wskazują, że główną przeszkodą są problemy z przesyłkami, wyborem oferty, cenami i zwrotami zakupionego towaru. Jeżeli więc, zależy Ci nie na tym, aby wyrwać się z firmy na kolejną konferencję, a rzeczywiście zwiększeniu sprzedaży – zastanów się na jaką konferencję następnym razem warto pojechać?

Wracając więc do mojego rozmówcy, który mam nadzieję rozpozna się wśród czytelników bloga, to tak – jestem dobry w logistyce i liczeniu. Nie mam smykałki do ściemniania ludzi, w tym klientów. Dzięki temu stanowię świetne uzupełnienie ich biznesów, w których muszą oczarować i zaczarować konsumenta aby mu coś sprzedać. A to sprawia, że klienci IAI rosną w dynamice prawie 100% rocznie, podczas gdy średnia dla rynku to obecnie 25%.

Komentarze (8)

Dodaj komentarz
  • Gość: [Adam Potrzebowski] *.internetdsl.tpnet.pl

    Panie Pawle,

    Mam pytanie. Czy system rekomendacji IAI jest instalowany jedynie w sklepach autorstwa IAI? Czy jest możliwość integracji tego systemu z oprogramowaniem 'autorskim'?

    Pozdrawiam
    Adam

  • pfornalski

    Aktualnie jest on ściśle zintegrowany z IAI-Shop.com dzięki czemu działa skuteczniej. Zwykła integracja na zasadzie osadzenia kodów JavaScript dawała za małe możliwości. W razie jednak zainteresowania klienta spoza IAI-Shop.com istnieje możliwość wykonania takiej integracji. Jej koszt będzie jednak znacznie wyższy niż kupienie tego przez naszego klienta, stąd będzie to opłacalne jedynie przy dużym sklepie internetowym.

  • directcode

    Panie Pawle, bez ściemy - to jeden z najciekawszych blogów jakie ostatnio miałem przyjemność czytać; takie publikacje sporo potrafią nauczyć lub przynajmniej spojrzeć na coś inaczej.
    Respect i pozdrowienia

  • Gość *.google.com

    Z tym brakiem smykałki do marketingu bym nie przesadzał, przykładem tego jest choćby ten blog :)

  • Gość: [Kar] 217.153.60.*

    Czy robił Pan takie testy przed integracja iai shopu z salesmanago? oni tez maja dynamiczne emaile.

  • pfornalski

    Nie, takiego testu nie robiłem. Wynika to z tego, że istnieje wiele testów dla samego e-mail marketingu i wiadomości triggerowanych (które generuje także wewnętrznie IAI-Shop.com). SALESmanago jest systemem podobnym jak wiadomości triggerowane, z bardziej rozbudowanymi możliwościami, tagowaniem itd. Dodatkowo samo narzędzie daje relatywnie niewiele, bez zastosowania odpowiedniej taktyki i konfiguracji. Dlatego SM sporo tłumaczy i wysyła klientom materiały z gotowymi poradnikami. Na tym polega ich siła i dlatego zostali partnerem IAI. Gdyby jednak ktoś zrobił taki test u siebie, to bardzo chętnie zapoznam się z jego wynikami.

  • Gość: [Paweł Szymoniak] *.dynamic.chello.pl

    Witam,
    korzystamy z quarticonu, zastanawiam sie jak sie to ma do zwyklych rekomendacji standardowych iai. Aktualnie trapi mnie bardziej skutecznosc rtb właśnie i chętnie przeprowadze testy A/B w naszych sklepach na iai. Prosze o info ;-)

    Ta firma rtb jak dowiedziala sie o planie testow a/b powiedziala ze nie bardzo moga sie na to zgodzic na podstawie aktualnej naszej umowy :P
    oraz nie ma case study ze jakas firma takie testy przeprowadzila i ze to faktycznie wplywa na zakupy wsrod osob ktore opuscily sklep bez zamowienia, szczegolnie ze oni remarketing wysweitlaja od razu po wyjsciu ze sklepu:
    - klient musi jeszcze przemyslec zakupy i zapewne wiekszosc wroci do zakupow w przeciagu 12h, nawet bez remarketingu
    - jak klient nie kupil w pierwszej sesji, szczegolnie jak jest powracajacym klientem, to zapewne nie znalazl swojego rozmiaru, fajnego produktu lub najzwyklej na swiecie mial problem z zamowieniem

    To sa moja spostrzezenia, dlatego chetnie bym przetestowal ten caly RTB u nas na sklepach iai ;-)

  • pfornalski

    Pawle,
    Nie oferujemy reklam RTB w ramach usług IAI. Takie usługi świadczą jedynie firmy inne, z którymi klienci IAI sami podpisują umowę. Mój artykuł dotyczył tego, że trudno było mi ocenić ich skuteczność, ponieważ nikt nie publikuje testów A/B które pomogłyby mi wyrobić swoje zdanie. A moje doświadczenia wskazują na to, że to jest raczej nieskuteczne. Informacja jaką otrzymałeś, wskazuje na to, że firma z którą rozmawiałeś również nie jest przekonana, że to pomoże im sprzedać Ci usługę.
    Jeżeli chodzi o Testy A/B to mamy takie dla systemu rekomendacji wewnątrz sklepu (tzw. IAI RS) i tutaj możemy się pochwalić wzrostem obrotów od 2% do 20%, średnio 10%.

© Polski e-commerce i zarządzanie e-firmą
Blox.pl najciekawsze blogi w sieci