Како Мулти-Армед Бандит одређује које огласе и приче видите на мрежи

Замислите да сте коцкар и стојите испред неколико слот машина. Ваш циљ је да максимизирате свој добитак, али заправо не знате ништа о потенцијалним наградама које нуди свака машина. Ви, међутим, схватате да ће полуге које повлачите и учесталост којом то чините утицати на резултате вашег коцкања.

Овај сценарио, са којим се свакодневно сусрећу посетиоци у Лас Вегасу и Атлантиц Цитију (у којој мери људи и даље иду у Атлантиц Цити), такође је класична логичка загонетка названа "Мулти-Армед Бандит" - слот машине се називају "Оне-Армед" Бандити ”старењем Рено-типова јер имају једну полугу и узимају новац људи. Иако не постоји један исправан начин за рјешавање ситуација са више оружаним бандитима - најближи кандидат је Гиттинсов индекс - постоје стратешки приступи рјешавању ових проблема које видите без регистрације сваки дан када идете на интернет. Многи алгоритми који управљају начином на који се садржај појављује кроз Гоогле и на веб страницама изграђени су око МАБ стратегија. Циљ је у скоро свим случајевима повезати учење и резултате и максимизирати потенцијал за оба.

При томе се користи вишеструки приступ бандита Тхе Васхингтон Пост да бисте сазнали које фотографије и наслове ћете највјероватније кликнути, као и бежичне мреже да бисте утврдили који су оптимални, руте које штеде енергију најбоље. Алгоритми који излазе из МБА приступа веома су важни за ове компаније и многе друге, јер у основи одређују када и који се огласи појављују на мрежи.

Сазнати какве огласе да покажемо људима је изазован проблем, јер постоји толико много једноструких бандита који трче около кликом на ствари на мрежи. МАБ алгоритми за рекламе обично користе брзо мијењајући "смртни мулти-оружани проблем бандита", који се примјењује у одређеним временским периодима. Подаци о саобраћају користе се за развој ефикаснијих методологија.

Тешко је повезати МАБс са тачном сврхом, јер је могуће креирати толико варијација формуле. К-наоружани бандити, на пример, имају “оружје” које се такмиче да би добили највећу очекивану награду. Контекстуализирање разбојника ради исто, али са “стручним савјетом” - претходно прикупљени подаци о кориснику - а веб-спреман именом “ИЛОВЕТОЦОНБАНДИТС” ради само на распореду унапријед одређених кругова. Насупрот томе, класични приступ МАБ-а нема могуће стране информације и резултат зависи само од потенцијала одабране акције.

Иако се чини да је до сада најкориснија апликација за МАБ-ове повезана са интернетом, истраживачи раде на проналажењу начина да их примене у сценаријима „стварног живота“ (ака меатспаце). У документу из 2015. године, истраживачи са Универзитета у Британској Колумбији разматрају примјену МАБ-а на медицинска испитивања. Циљ, ако се МАБс покаже да је овде могућ, је да би МАБ алгоритам могао да мери ефекат одређеног лека. Очигледан проблем је да уколико се не створи компјутерски модулирана верзија тога, одлазак са овим приступом би једноставно био превише дуготрајан. Не постоји начин да се дизајн МАБ-а стави у клиничко испитивање.

Идеја је добра, али до сада није изводљива. До будућности, овде ћете углавном осећати присутност вишеструког бандита када очајнички покушавате да кликнете на поп-уп рекламе.