全球速遞！火山引擎A/B測(cè)試：MAB智能調(diào)優(yōu)實(shí)驗(yàn)，企業(yè)活動(dòng)效果提升新利器

2023-05-31 12:54:33來(lái)源：中關(guān)村在線  

618臨近，各大電商APP的預(yù)熱活動(dòng)已然拉開序幕。對(duì)企業(yè)而言，一場(chǎng)活動(dòng)從策劃到上線，中間經(jīng)過效果驗(yàn)證，其業(yè)務(wù)成本很高。一個(gè)好的活動(dòng)創(chuàng)意從策劃、開發(fā)、到最終發(fā)布，至少會(huì)經(jīng)歷幾周實(shí)踐，如果中間還經(jīng)歷A/B實(shí)驗(yàn)的小流量效果驗(yàn)證，會(huì)更加耗時(shí)耗力。但一個(gè)不容忽視的現(xiàn)狀是，很多短期的線上活動(dòng)很可能前幾次的A/B實(shí)驗(yàn)結(jié)果都是不顯著的，但由于活動(dòng)排期緊湊、實(shí)驗(yàn)調(diào)試時(shí)間短，常規(guī)A/B實(shí)驗(yàn)?zāi)転榛顒?dòng)優(yōu)化帶來(lái)的收益常會(huì)收效甚微。


【資料圖】

企業(yè)在短周期的活動(dòng)運(yùn)營(yíng)場(chǎng)景中，如何通過快速、低成本的A/B實(shí)驗(yàn)，獲得更好的收益呢？火山引擎A/B測(cè)試DataTester推出的新功能——MAB智能調(diào)優(yōu)實(shí)驗(yàn)，可以解決企業(yè)短周期活動(dòng)運(yùn)營(yíng)場(chǎng)景的A/B實(shí)驗(yàn)痛點(diǎn)。

傳統(tǒng)A/B實(shí)驗(yàn)依賴于統(tǒng)計(jì)顯著性的經(jīng)典假設(shè)檢驗(yàn)，在實(shí)驗(yàn)期間不能夠變更每個(gè)子版本的流量；因此這類實(shí)驗(yàn)需要至少7天的專門預(yù)留周期、要有足夠的樣本進(jìn)入實(shí)驗(yàn)，并且在實(shí)驗(yàn)開始后不能有任何變動(dòng)，才可能得出顯著結(jié)果。而不同于傳統(tǒng)的A/B實(shí)驗(yàn)，DataTester的MAB智能調(diào)優(yōu)實(shí)驗(yàn)?zāi)苤С?-2天的短期快速A/B實(shí)驗(yàn)，實(shí)驗(yàn)以整個(gè)活動(dòng)收益最優(yōu)為核心目標(biāo)，可實(shí)現(xiàn)動(dòng)態(tài)實(shí)時(shí)的流量調(diào)節(jié)。

以某款游戲APP促活活動(dòng)實(shí)驗(yàn)為例，該APP接入了火山引擎DataTester，希望驗(yàn)證多文案push場(chǎng)景下，MAB智能調(diào)優(yōu)策略能比均勻分流的策略帶來(lái)點(diǎn)擊率更高的收益。

該APP的運(yùn)營(yíng)團(tuán)隊(duì)首先擬定了4款不同的推送文案：

● 標(biāo)題1:巨量元寶限量發(fā)！?。?/p>

● 內(nèi)容1:寶箱已滿，整整300顆元寶待領(lǐng)\n馬上點(diǎn)擊獲得>>

● 標(biāo)題2:@你，有人偷偷給你送元寶啦

● 內(nèi)容2:整整300顆元寶待領(lǐng)\n馬上點(diǎn)擊獲得>>

● 標(biāo)題3:免費(fèi)的元寶福利到啦～～

● 內(nèi)容3:最高可獲得540顆元寶，還不趕緊來(lái)領(lǐng)取>

● 標(biāo)題4:今天的元寶獎(jiǎng)勵(lì)來(lái)啦～～～

● 內(nèi)容4:元寶已經(jīng)溢出來(lái)了！\n點(diǎn)擊領(lǐng)取才能繼續(xù)收集哦>>

在實(shí)驗(yàn)設(shè)計(jì)時(shí)，他們將整個(gè)實(shí)驗(yàn)層的流量（100%）均分為兩組，實(shí)驗(yàn)總時(shí)長(zhǎng)和活動(dòng)時(shí)長(zhǎng)一致，設(shè)為5天。對(duì)照組給50%流量，并在對(duì)照組流量中開設(shè)一個(gè)ABCD實(shí)驗(yàn)。將流量等分為4份，分別分給上述4個(gè)文案。實(shí)驗(yàn)組同樣給50%流量，對(duì)實(shí)驗(yàn)組進(jìn)行MAB智能調(diào)優(yōu)實(shí)驗(yàn)。

在為期5天的實(shí)驗(yàn)結(jié)束后，可以看到對(duì)照組和實(shí)驗(yàn)組的5日累計(jì)指標(biāo)數(shù)據(jù)，發(fā)現(xiàn)基于DataTester MAB智能調(diào)優(yōu)實(shí)驗(yàn)進(jìn)行流量分配的實(shí)驗(yàn)組，在總體點(diǎn)擊率上獲得+9.1%的正向收益，且增長(zhǎng)顯著（p value=0.002）。

通過上述案例可以發(fā)現(xiàn)，在兩組實(shí)驗(yàn)中，實(shí)際觀測(cè)的點(diǎn)擊率（CTR）最高的文案并不太一樣。這意味著，受推送發(fā)布時(shí)間、用戶心理等多種不確定影響因素影響，假設(shè)以對(duì)照組策略（固定均勻分流實(shí)驗(yàn)）作為先導(dǎo)實(shí)驗(yàn)來(lái)選擇文案，最終獲得的實(shí)驗(yàn)結(jié)論并不見得可靠。

而如果采用MAB智能調(diào)優(yōu)實(shí)驗(yàn)，企業(yè)只需接入DataTester并啟動(dòng)所有的標(biāo)題文案，DataTester會(huì)采用智能優(yōu)化能力來(lái)進(jìn)行流量的實(shí)時(shí)的調(diào)整和分配，企業(yè)的轉(zhuǎn)化效率平均可提升10%以上。而除去推送文案實(shí)驗(yàn)場(chǎng)景之外，有多種營(yíng)銷活動(dòng)場(chǎng)景，如落地頁(yè)擇優(yōu)、折扣策略擇優(yōu)等，也都能通過DataTester MAB智能調(diào)優(yōu)實(shí)驗(yàn)實(shí)時(shí)開啟。

DataTester是火山引擎數(shù)智平臺(tái)旗下產(chǎn)品，能夠深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等多種行業(yè)場(chǎng)景需求，為業(yè)務(wù)增長(zhǎng)、轉(zhuǎn)化、產(chǎn)品迭代，運(yùn)營(yíng)提效等各環(huán)節(jié)提供科學(xué)的決策依據(jù)，目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)。

據(jù)了解，火山引擎DataTester目前推出了30天免費(fèi)試用的活動(dòng)，用戶只要在火山引擎A/B測(cè)試官網(wǎng)申請(qǐng)?jiān)囉?，無(wú)需企業(yè)認(rèn)證，一鍵申請(qǐng)即刻開通?。ㄗ髡撸号藰逵樱?/p>

標(biāo)簽：

相關(guān)閱讀

  • 天天觀點(diǎn)：植樹造林、治理石漠化，云南西疇——石山這樣成綠海（美麗中國(guó)·小城看生態(tài)③）
    天天觀點(diǎn)：植樹造林、治理石漠化，云南西疇——石山這樣成綠海（美麗中國(guó)·小城看生態(tài)③）

    西疇縣興街鎮(zhèn)三光片區(qū)。李光聰攝（人民視覺）核心閱讀云南省文山壯族苗族自治州西疇縣，曾經(jīng)石漠化嚴(yán)重

    2023-05-31
  • 信用卡逾期利息太高能不還嗎？信用卡逾期收到律師函嚴(yán)重嗎？-當(dāng)前要聞
    信用卡逾期利息太高能不還嗎？信用卡逾期收到律師函嚴(yán)重嗎？-當(dāng)前要聞

    信用卡逾期利息太高能不還嗎?信用卡逾期收到律師函嚴(yán)重嗎?下面是小編整理的一些相關(guān)信息，一起來(lái)看看吧!

    2023-05-31
  • 金鶴大米亮相SIAL西雅展 聚焦農(nóng)產(chǎn)品未來(lái)
    金鶴大米亮相SIAL西雅展 聚焦農(nóng)產(chǎn)品未來(lái)

    2023年5月18-20日，“SIAL世界三大食品展之一”——SIAL西雅國(guó)際食品展，在上海新國(guó)際博覽中心盛大啟幕...

    2023-05-31

    • 精彩推薦

    相關(guān)詞

    推薦閱讀