快捷導(dǎo)航

Python使用MapReduce編程模型統(tǒng)計(jì)銷量

更新時(shí)間：2022年04月22日 09:04:28 作者：SAP劍客

MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)，是一種計(jì)算引擎，可以把我們對(duì)大批量數(shù)據(jù)的計(jì)算通過(guò)抽象成map與reduce兩個(gè)子任務(wù)進(jìn)行計(jì)算從而更快的得到想要的結(jié)果

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸約）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

下面就通過(guò)手動(dòng)實(shí)現(xiàn)MapReduce編碼統(tǒng)計(jì)銷售數(shù)量的例子來(lái)模擬。

打開(kāi)Python3在線編程網(wǎng)址：

http://www.dooccn.com/python3/

1、生成模擬數(shù)據(jù)

#!/usr/bin/python
# -*- coding: utf-8 -*-
import random
# 模擬商品
stocks = ["HUAWEI Mate40","Apple iphone13","Apple MacBook Pro 14","ThinkBook 14p","RedmiBook Pro14","飛鶴星飛帆幼兒奶粉","愛(ài)他美 幼兒奶粉","李寧運(yùn)動(dòng)男衛(wèi)褲","小米踏步機(jī)橢圓機(jī)","歐萊雅面膜","御泥坊面膜","歐萊雅男士套裝","金六福白酒","牛欄山42度","茅臺(tái)飛天"]
# 銷售訂單
sales_list = list()
# 生成100個(gè)買家訂單，每個(gè)訂單三個(gè)商品
for i in range(100):
    sstocks = list()
    for j in range(3):
        sstocks.append(stocks[random.randint(0,14)])
    a = "買家" + str(i+1) + ":" + ",".join(sstocks)
    print(a)

2、mapper實(shí)現(xiàn)

將第一步的結(jié)果作為第二步的輸入。

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
#從控制臺(tái)中讀取數(shù)據(jù)，循環(huán)發(fā)送每行數(shù)據(jù)
for line in sys.stdin:
    #對(duì)訂單進(jìn)行拆分
    orders = line.strip().split(":")
    if len(orders) == 2:
        #對(duì)訂單中的商品進(jìn)行拆分
        stocks = orders[1].split(",")
        for stock in stocks:
            #將每一個(gè)商品作為key,value進(jìn)行輸出
            print('%s,%s' % (stock,1))

3、reducer實(shí)現(xiàn)

將第二步的結(jié)果作為第三步的輸入。

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
# 創(chuàng)建一個(gè)空的字典用來(lái)每一個(gè)商品的銷售數(shù)據(jù)
stock_dict = dict()
for line in sys.stdin:
    if len(line.strip()) >= 1:
        # 拆分每一行的商品，銷量
        stock, sales = line.split(',')
        # 判斷當(dāng)前商品是否在字典中有存放
        if stock in stock_dict:
            # 如果有，把字典中的商品和銷量取出來(lái)，追加當(dāng)前銷量再放入
            stock_dict[stock] = stock_dict[stock] + int(sales)
        else:
            # 如果沒(méi)有，直接把商品和銷量數(shù)據(jù)放入字典中
            stock_dict[stock] = int(sales)
# 遍歷字典列表，獲取每一個(gè)商品的銷量
for stock, sales in stock_dict.items():
    print('%s\t%s' % (stock, sales))