Budżety marketingowe ucierpiały pod wpływem kryzysu wywołanego pandemią COVID-19, kolejny istotne zmiany dla marketerów może wywołać zbliżające się spowolnienie w globalnej gospodarce. Chociaż większość płatnych działań marketingowych może nie zapewniać obecnie zwrotu, jedna inwestycja jest kluczowa dla marketerów – optymalizacja cyfrowa. Bez względu na branżę, w której działasz, optymalizacja działań marketingowych w kanałach cyfrowa jest kluczem do generowania konwersji i zwiększenia wartości transakcji. Techniki takie jak testy A/B, dynamiczne rekomendacje czy optymalizacja oferty pozwalają stworzyć wyjątkowe doświadczenia dla klientów, które sprawią, że klient wybierze właśnie Twój sklep. Dlatego personalizacja oferty powinna być najwyższym priorytetem w budżecie marketingowym. W dobie transformacji cyfrowej dojrzałe przedsiębiorstwa rozumieją, że istotnym aspektem zachowania konkurencyjności i atrakcyjności oferty jest podejmowanie strategicznych i operacyjnych decyzji w oparciu o dane. Rozwój zaawansowanej analityki i systemów Big Data otworzył również nowe możliwości w świecie marketingu cyfrowego. Dzięki algorytmom uczenia maszynowego jesteśmy dziś w stanie z niezwykłą dokładnością dopasować ofertę do klienta,  przewidzieć jego skłonność do zakupu lub rezygnacji z oferty.  W ciągu ostatnich lat powstało wiele narzędzi i modeli uczenia maszynowego wspierających optymalizacje działań marketingowych takich jak np. modele upliftowe, churnowe, silniki rekomendacyjne. Narzędzia te w wielu scenariuszach generują pozytywny wzrost w stosunku do rozwiązań opartych o reguły biznesowe,  ale prawdziwym „game changerem” przewyższającym w swojej skuteczności wcześniej wymienione metody okazują się algorytmy uczenia przez wzmocnienie, które są jedną z najnowocześniejszych i najbardziej wszechstronnych metod uczenia maszynowego. Jeśli mielibyśmy porównać dzisiejsze metody uczenie maszynowe z futurystyczną sztuczną inteligencją to zdecydowanie najbliżej niej znajdą się metody uczenia przez wzmocnienie.  

Uczenie przez wzmocnienie  w odróżnieniu od uczenia nadzorowanego, które jest wyposażone w funkcję straty posiada funkcję nagrody. Proces uczenia algorytmu można rozumieć jako przeszukiwanie przestrzeni możliwych strategii. Kolejne strategie badane w trakcie procesu uczenia powstają przez modyfikację istniejących strategii a sam proces uczenia realizowany jest przez interakcję ze środowiskiem w kolejnych krokach działania algorytmu. Algorytm uczenia przez wzmocnienie za każdą podjętą akcje (ofertę prezentowaną klientowi) zgodnie z przyjętą polityką w określonym stanie środowiska (przez środowisko, możemy rozumieć czas prezentacji oferty lub atrybuty klienta) otrzymuje nagrodę (informacja zwrotna klienta np. przejście na stronę produktu lub dokonanie zakupu.  

Poniżej przedstawiono graficzny schemat działania procedury uczenia przez wzmocnienie.

Powyższa grafika przedstawia jeden przebieg iteracyjnego procesu uczenia, który można przedstawić za pomocą pięciu kroków:

1. obserwuj aktualny stan (atrybuty klienta, czas i miejsce prezentacje oferty) S_t,
2. określ akcję a_tdo wykonania w stanie (wybierz spersonalizowaną ofertę dla każdego klienta) S_t,
3. zrealizuj akcję (przedstaw ofertę na stronie) a_t, 
4. monitoruj wzmocnienie r_t i kolejny stan (zweryfikuj informację zwrotną przedstawioną przez klienta) S_t+1,
5. wykorzystaj dotychczasowe doświadczenie (optymalizuj politykę) [s_t, a_t, r_t, s_t+1]

W jaki jednak sposób możemy wykorzystać tą niezwykle skuteczną metodę w marketingu cyfrowym?

1. Personalizacja oferty w oparciu o długoterminowy zysk
   Testy A/B są najprostszą analogią uczenia przez wzmocnienie. Wielu specjalistów ds. marketingu miała styczność z wyżej wymienionymi testami. Zwykle cechuje je jasny, zdefiniowany cel oraz współczynnik definiujący sukces. Istotnym ograniczeniem testów A/B jest jednak możliwość operowania na małym zbiorze dostępnych opcji oraz braku informacji o aktualnym stanie środowiska. Ciężko wyobrazić sobie testy A/B uwzględniające 30 różnych ofert produktowych, kierowane do bazy kilkuset tysięcy różnych od siebie klientów. Na tego typu ograniczenia tradycyjnych testów doskonale odpowiada uczenie przez wzmocnienie.   
   
2. Optymalizacja wydatków marketingowych w czasie rzeczywistym
   Celem większości kampanii marketingowych jest maksymalizacja kluczowych wskaźników efektywności przy założonym budżecie, większość współczesnych narzędzi wspierających optymalizację wydatków marketingowych zakłada, że zachowanie użytkowników w czasie nie ulega zmianie i jest niezależne od środowiska, nie mają na niego wpływ również działania konkurencji. Metody uczenia przez wzmocnienie w czasie rzeczywistym są w stanie przetworzyć działania klienta, ustalone przez marketerów strategie oraz zachowanie konkurencji w celu zaproponowania akcji  maksymalizującej ROI kampanii. 
   
   
3. Dynamiczna oferta cenowa
   Istotnym problemem dla marketerów oraz działów zajmujących się pricingiem jest właściwe dostosowanie cen, zwłaszcza w dobie dynamicznie rosnącej inflacji istotnym pytaniem jest jak powinna wyglądać podwyżka cen? Bez wiarygodnych metod prognozowania reakcji kupujących istnieje ryzyko popełnienia błędu przy wprowadzaniu zmian, co skutkuje utratą klientów. Dzięki uczeniu przez wzmocnienie można modelować działania klientów i odpowiednio przewidywać ich reakcje na zmiany cen. 

Chcesz dowiedzieć się jak uczenie przez wzmocnienie może wspierać działania marketingowe w Twoim biznesie? Skontaktuj się z nami.