通過Python實(shí)現(xiàn)一個(gè)A/B測(cè)試詳解

更新時(shí)間：2023年01月30日 08:47:37 作者：小F

A/B測(cè)試，通過分析兩種不同的營(yíng)銷策略，以此來選擇最佳的營(yíng)銷策略，可以高效地將流量轉(zhuǎn)化為銷售額。本文主要介紹了如何通過Python實(shí)現(xiàn)一個(gè)A/B測(cè)試，感興趣的可以了解一下

/ 01 / AB測(cè)試

舉個(gè)例子，我在短視頻App上購(gòu)買流量推廣我的視頻(掛小黃車買課程)，一共推了兩次，其中兩次的目標(biāo)受眾各不相同。

在分析了兩次活動(dòng)的結(jié)果后，我可能傾向于選擇第二次的活動(dòng)目標(biāo)受眾，因?yàn)樗鹊谝淮位顒?dòng)能夠帶來更好的銷售額或漲粉或播放量。

我們的目標(biāo)可以是提高銷售額、粉絲數(shù)或流量等等。

當(dāng)我們根據(jù)以前的營(yíng)銷活動(dòng)結(jié)果選擇最佳的營(yíng)銷策略時(shí)，這就是A/B測(cè)試。

本次使用的數(shù)據(jù)集是開源數(shù)據(jù)集，?LKER YILDIZ在Kaggle上提交的A/B測(cè)試的數(shù)據(jù)集。

下面是數(shù)據(jù)集中的所有特征：

1. Campaign Name: 活動(dòng)名稱

2. Date: 記錄日期

3. Spend: 活動(dòng)花費(fèi)（單位：美元）

4. of Impressions: 廣告在整個(gè)活動(dòng)中的展示次數(shù)

5. Reach: 廣告在整個(gè)活動(dòng)中的展示人數(shù)(唯一)

6. of Website Clicks: 通過廣告獲得的網(wǎng)站點(diǎn)擊次數(shù)

7. of Searches: 在網(wǎng)站上執(zhí)行搜索的用戶數(shù)量

8. of View Content: 查看網(wǎng)站內(nèi)容產(chǎn)品的用戶數(shù)量

9. of Add to Cart: 將產(chǎn)品添加到購(gòu)物車的用戶數(shù)量

10. of Purchase: 購(gòu)買次數(shù)

一共是進(jìn)行了兩種類型的宣傳營(yíng)銷活動(dòng)：

1. Control Campaign: 對(duì)照活動(dòng)

2. Test Campaign: 測(cè)試活動(dòng)

通過執(zhí)行A/B測(cè)試找到最適合的營(yíng)銷策略，以此來吸引獲得更多的客戶。

下面小F就帶大家一起來學(xué)習(xí)下。

/ 02 / 使用Python進(jìn)行AB測(cè)試

先安裝相關(guān)的Python可視化庫(kù)plotly，在使用的時(shí)候發(fā)現(xiàn)報(bào)錯(cuò)，所以還要安裝statsmodels庫(kù)。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple statsmodels
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple plotly

然后導(dǎo)入Python庫(kù)，讀取兩種活動(dòng)的數(shù)據(jù)文件。

import pandas as pd
import datetime
from datetime import date, timedelta
import plotly.graph_objects as go
import plotly.express as px
import plotly.io as pio
pio.templates.default = "plotly_white"


# 設(shè)置value的顯示長(zhǎng)度為200，默認(rèn)為50
pd.set_option('max_colwidth', 300)
# 顯示所有列，把行顯示設(shè)置成最大
pd.set_option('display.max_columns', None)
# 顯示所有行，把列顯示設(shè)置成最大
pd.set_option('display.max_rows', None)

# 加載數(shù)據(jù)
control_data = pd.read_csv("control_group.csv", sep=";")
test_data = pd.read_csv("test_group.csv", sep=";")

來看看這兩個(gè)數(shù)據(jù)集的情況。

# 打印對(duì)照活動(dòng)數(shù)據(jù)
print(control_data.head())

對(duì)照活動(dòng)數(shù)據(jù)的情況如下。

打印測(cè)試活動(dòng)數(shù)據(jù)。

# 打印測(cè)試活動(dòng)數(shù)據(jù)
print(test_data.head())

測(cè)試活動(dòng)數(shù)據(jù)的情況如下。

/ 03 / 數(shù)據(jù)準(zhǔn)備

發(fā)現(xiàn)數(shù)據(jù)集的列名不太規(guī)范，所以對(duì)列名進(jìn)行修改。

# 更改列名
control_data.columns = ["Campaign Name", "Date", "Amount Spent",
                        "Number of Impressions", "Reach", "Website Clicks",
                        "Searches Received", "Content Viewed", "Added to Cart",
                        "Purchases"]

test_data.columns = ["Campaign Name", "Date", "Amount Spent",
                     "Number of Impressions", "Reach", "Website Clicks",
                     "Searches Received", "Content Viewed", "Added to Cart",
                     "Purchases"]

現(xiàn)在讓我們看看數(shù)據(jù)集是否有空值。

# 查看空值
print(control_data.isnull().sum())
print(test_data.isnull().sum())

發(fā)現(xiàn)對(duì)照活動(dòng)的數(shù)據(jù)集有數(shù)據(jù)缺失，可以用每列的平均值來填充這些缺失值。

# 數(shù)據(jù)清洗
control_data["Number of Impressions"].fillna(value=control_data["Number of Impressions"].mean(),
                                             inplace=True)
control_data["Reach"].fillna(value=control_data["Reach"].mean(),
                             inplace=True)
control_data["Website Clicks"].fillna(value=control_data["Website Clicks"].mean(),
                                      inplace=True)
control_data["Searches Received"].fillna(value=control_data["Searches Received"].mean(),
                                         inplace=True)
control_data["Content Viewed"].fillna(value=control_data["Content Viewed"].mean(),
                                      inplace=True)
control_data["Added to Cart"].fillna(value=control_data["Added to Cart"].mean(),
                                     inplace=True)
control_data["Purchases"].fillna(value=control_data["Purchases"].mean(),
                                 inplace=True)

通過合并兩個(gè)數(shù)據(jù)集來創(chuàng)建一個(gè)新的數(shù)據(jù)集。

# 合并數(shù)據(jù)
ab_data = control_data.merge(test_data,
                             how="outer").sort_values(["Date"])
ab_data = ab_data.reset_index(drop=True)
print(ab_data.head())

查看數(shù)據(jù)集中，兩種活動(dòng)的樣本數(shù)量是否相同。

# 類型計(jì)數(shù)
print(ab_data["Campaign Name"].value_counts())

可以看出，每種活動(dòng)都有30個(gè)樣本數(shù)據(jù)，滿足樣本均衡的條件。

/ 04 / AB測(cè)試找到最佳營(yíng)銷策略

01 展示次數(shù)-活動(dòng)花費(fèi)

首先分析兩種活動(dòng)中「展示次數(shù)」和「活動(dòng)花費(fèi)」之間的關(guān)系。

figure = px.scatter(data_frame = ab_data, 
                    x="Number of Impressions",
                    y="Amount Spent", 
                    size="Amount Spent", 
                    color= "Campaign Name", 
                    trendline="ols")
figure.show()

發(fā)現(xiàn)在花費(fèi)相同的情況下，「對(duì)照活動(dòng)」的展示次數(shù)更多。

02 搜索量

兩種類型活動(dòng)的網(wǎng)站總搜索量對(duì)比。

label = ["Total Searches from Control Campaign",
         "Total Searches from Test Campaign"]
counts = [sum(control_data["Searches Received"]),
          sum(test_data["Searches Received"])]
colors = ['gold', 'lightgreen']
fig = go.Figure(data=[go.Pie(labels=label, values=counts)])
fig.update_layout(title_text='Control Vs Test: Searches')
fig.update_traces(hoverinfo='label+percent', textinfo='value',
                  textfont_size=30,
                  marker=dict(colors=colors,
                              line=dict(color='black', width=3)))
fig.show()

在網(wǎng)站的搜索量上，「測(cè)試活動(dòng)」略多于對(duì)照活動(dòng)。

03 點(diǎn)擊量

兩種類型活動(dòng)的網(wǎng)站總點(diǎn)擊量對(duì)比。

label = ["Website Clicks from Control Campaign",
         "Website Clicks from Test Campaign"]
counts = [sum(control_data["Website Clicks"]),
          sum(test_data["Website Clicks"])]
colors = ['gold', 'lightgreen']
fig = go.Figure(data=[go.Pie(labels=label, values=counts)])
fig.update_layout(title_text='Control Vs Test: Website Clicks')
fig.update_traces(hoverinfo='label+percent', textinfo='value',
                  textfont_size=30,
                  marker=dict(colors=colors,
                              line=dict(color='black', width=3)))
fig.show()

在網(wǎng)站的點(diǎn)擊量上，「測(cè)試活動(dòng)」略多于對(duì)照活動(dòng)。

04 內(nèi)容產(chǎn)品查看量

兩種類型活動(dòng)的網(wǎng)站內(nèi)容和產(chǎn)品的查看量對(duì)比。

label = ["Content Viewed from Control Campaign",
         "Content Viewed from Test Campaign"]
counts = [sum(control_data["Content Viewed"]),
          sum(test_data["Content Viewed"])]
colors = ['gold', 'lightgreen']
fig = go.Figure(data=[go.Pie(labels=label, values=counts)])
fig.update_layout(title_text='Control Vs Test: Content Viewed')
fig.update_traces(hoverinfo='label+percent', textinfo='value',
                  textfont_size=30,
                  marker=dict(colors=colors,
                              line=dict(color='black', width=3)))
fig.show()

可以看出「對(duì)照活動(dòng)」的內(nèi)容產(chǎn)品查看量比測(cè)試活動(dòng)多。

雖然差距不是很大，但是由于對(duì)照活動(dòng)的網(wǎng)站點(diǎn)擊率相對(duì)較低，這便意味著「對(duì)照活動(dòng)」的用戶參與度(粘性)高于測(cè)試活動(dòng)。

05 加購(gòu)物車量

兩種類型活動(dòng)，將產(chǎn)品添加到購(gòu)物車的數(shù)量。

label = ["Products Added to Cart from Control Campaign", 
         "Products Added to Cart from Test Campaign"]
counts = [sum(control_data["Added to Cart"]), 
          sum(test_data["Added to Cart"])]
colors = ['gold','lightgreen']
fig = go.Figure(data=[go.Pie(labels=label, values=counts)])
fig.update_layout(title_text='Control Vs Test: Added to Cart')
fig.update_traces(hoverinfo='label+percent', textinfo='value', 
                  textfont_size=30,
                  marker=dict(colors=colors, 
                              line=dict(color='black', width=3)))
fig.show()

盡管「對(duì)照活動(dòng)」的點(diǎn)擊率相對(duì)較低，但是卻有更多的產(chǎn)品被添加到購(gòu)物車中。

06 活動(dòng)花費(fèi)

兩種類型的活動(dòng)花費(fèi)對(duì)比。

label = ["Amount Spent in Control Campaign", 
         "Amount Spent in Test Campaign"]
counts = [sum(control_data["Amount Spent"]), 
          sum(test_data["Amount Spent"])]
colors = ['gold','lightgreen']
fig = go.Figure(data=[go.Pie(labels=label, values=counts)])
fig.update_layout(title_text='Control Vs Test: Amount Spent')
fig.update_traces(hoverinfo='label+percent', textinfo='value', 
                  textfont_size=30,
                  marker=dict(colors=colors, 
                              line=dict(color='black', width=3)))
fig.show()

在測(cè)試活動(dòng)上的花費(fèi)要高于對(duì)照活動(dòng)。

基于上面的分析，對(duì)照活動(dòng)帶來了更多的內(nèi)容瀏覽量和產(chǎn)品添加到購(gòu)物車，「對(duì)照活動(dòng)」比測(cè)試活動(dòng)更有效。

07 銷售額

兩種類型活動(dòng)的銷售情況對(duì)比。

label = ["Purchases Made by Control Campaign", 
         "Purchases Made by Test Campaign"]
counts = [sum(control_data["Purchases"]), 
          sum(test_data["Purchases"])]
colors = ['gold','lightgreen']
fig = go.Figure(data=[go.Pie(labels=label, values=counts)])
fig.update_layout(title_text='Control Vs Test: Purchases')
fig.update_traces(hoverinfo='label+percent', textinfo='value', 
                  textfont_size=30,
                  marker=dict(colors=colors, 
                              line=dict(color='black', width=3)))
fig.show()

在這兩種廣告活動(dòng)當(dāng)中，消費(fèi)者的購(gòu)買量?jī)H相差1%左右。

由于對(duì)照活動(dòng)能以更少的營(yíng)銷支出獲得了更多的銷售，所以在營(yíng)銷策略上，我們可以選擇對(duì)照活動(dòng)類型。

最后讓我們分析其它指標(biāo)，看看哪種廣告活動(dòng)的轉(zhuǎn)化率更高。

08 內(nèi)容產(chǎn)品查看量和點(diǎn)擊量

兩種類型活動(dòng)網(wǎng)站內(nèi)容查看和點(diǎn)擊量的關(guān)系。

figure = px.scatter(data_frame=ab_data,
                    x="Content Viewed",
                    y="Website Clicks",
                    size="Website Clicks",
                    color="Campaign Name",
                    trendline="ols")
figure.show()

在測(cè)試活動(dòng)中，雖然網(wǎng)站點(diǎn)擊率高，但是內(nèi)容查看量少，所以優(yōu)先選擇「對(duì)照活動(dòng)」。

09 內(nèi)容產(chǎn)品查看量和添加購(gòu)物車

分析網(wǎng)站內(nèi)容查看和添加購(gòu)物車之間的關(guān)系。

figure = px.scatter(data_frame=ab_data,
                    x="Added to Cart",
                    y="Content Viewed",
                    size="Added to Cart",
                    color="Campaign Name",
                    trendline="ols")
figure.show()

再一次的，「對(duì)照活動(dòng)」的效果還是很好，加入購(gòu)物車的意向較高。

10 添加購(gòu)物車和銷售額

分析添加到購(gòu)物車的產(chǎn)品數(shù)量和銷售額之間的關(guān)系。

figure = px.scatter(data_frame=ab_data,
                    x="Purchases",
                    y="Added to Cart",
                    size="Purchases",
                    color="Campaign Name",
                    trendline="ols")
figure.show()