快捷導(dǎo)航

Python 稀疏矩陣-sparse 存儲(chǔ)和轉(zhuǎn)換

更新時(shí)間：2017年05月27日 11:47:20 作者：soul_mate

這篇文章主要介紹了Python 稀疏矩陣-sparse 存儲(chǔ)和轉(zhuǎn)換的相關(guān)資料,需要的朋友可以參考下

稀疏矩陣-sparsep

from scipy import sparse

稀疏矩陣的儲(chǔ)存形式

在科學(xué)與工程領(lǐng)域中求解線性模型時(shí)經(jīng)常出現(xiàn)許多大型的矩陣，這些矩陣中大部分的元素都為0，被稱為稀疏矩陣。用NumPy的ndarray數(shù)組保存這樣的矩陣，將很浪費(fèi)內(nèi)存，由于矩陣的稀疏特性，可以通過(guò)只保存非零元素的相關(guān)信息，從而節(jié)約內(nèi)存的使用。此外，針對(duì)這種特殊結(jié)構(gòu)的矩陣編寫運(yùn)算函數(shù)，也可以提高矩陣的運(yùn)算速度。

scipy.sparse庫(kù)中提供了多種表示稀疏矩陣的格式，每種格式都有不同的用處，其中dok_matrix和lil_matrix適合逐漸添加元素。

dok_matrix從dict繼承，它采用字典保存矩陣中不為0的元素：字典的鍵是一個(gè)保存元素(行,列)信息的元組，其對(duì)應(yīng)的值為矩陣中位于(行,列)中的元素值。顯然字典格式的稀疏矩陣很適合單個(gè)元素的添加、刪除和存取操作。通常用來(lái)逐漸添加非零元素，然后轉(zhuǎn)換成其它支持快速運(yùn)算的格式。

a = sparse.dok_matrix((10, 5))
a[2:5, 3] = 1.0, 2.0, 3.0
print a.keys()
print a.values()

[(2, 3), (3, 3), (4, 3)]
[1.0, 2.0, 3.0]

lil_matrix使用兩個(gè)列表保存非零元素。data保存每行中的非零元素，rows保存非零元素所在的列。這種格式也很適合逐個(gè)添加元素，并且能快速獲取行相關(guān)的數(shù)據(jù)。

b = sparse.lil_matrix((10, 5))
b[2, 3] = 1.0
b[3, 4] = 2.0
b[3, 2] = 3.0
print b.data
print b.rows

[[] [] [1.0] [3.0, 2.0] [] [] [] [] [] []]
[[] [] [3] [2, 4] [] [] [] [] [] []]

coo_matrix采用三個(gè)數(shù)組row、col和data保存非零元素的信息。這三個(gè)數(shù)組的長(zhǎng)度相同，row保存元素的行，col保存元素的列，data保存元素的值。coo_matrix不支持元素的存取和增刪，一旦創(chuàng)建之后，除了將之轉(zhuǎn)換成其它格式的矩陣，幾乎無(wú)法對(duì)其做任何操作和矩陣運(yùn)算。

coo_matrix支持重復(fù)元素，即同一行列坐標(biāo)可以出現(xiàn)多次，當(dāng)轉(zhuǎn)換為其它格式的矩陣時(shí)，將對(duì)同一行列坐標(biāo)對(duì)應(yīng)的多個(gè)值進(jìn)行求和。在下面的例子中，(2, 3)對(duì)應(yīng)兩個(gè)值：1和10，將其轉(zhuǎn)換為ndarray數(shù)組時(shí)這兩個(gè)值加在一起，所以最終矩陣中(2, 3)坐標(biāo)上的值為11。

許多稀疏矩陣的數(shù)據(jù)都是采用這種格式保存在文件中的，例如某個(gè)CSV文件中可能有這樣三列：“用戶ID，商品ID，評(píng)價(jià)值”。采用numpy.loadtxt或pandas.read_csv將數(shù)據(jù)讀入之后，可以通過(guò)coo_matrix快速將其轉(zhuǎn)換成稀疏矩陣：矩陣的每行對(duì)應(yīng)一位用戶，每列對(duì)應(yīng)一件商品，而元素值為用戶對(duì)商品的評(píng)價(jià)。

row = [2, 3, 3, 2]
col = [3, 4, 2, 3]
data = [1, 2, 3, 10]
c = sparse.coo_matrix((data, (row, col)), shape=(5, 6))
print c.col, c.row, c.data
print c.toarray()

[3 4 2 3] [2 3 3 2] [ 1 2 3 10]
[[ 0 0 0 0 0 0]
 [ 0 0 0 0 0 0]
 [ 0 0 0 11 0 0]
 [ 0 0 3 0 2 0]
 [ 0 0 0 0 0 0]]

個(gè)人操作中選擇，coo_matrix 選在因?yàn)樯婕跋∈杈仃囘\(yùn)算，但是如果不用其他形式存儲(chǔ)則復(fù)雜度太高（時(shí)間和空間）1000*1000的matrix大約話2h，也是要命了。無(wú)奈想到了Pajek軟件中數(shù)據(jù)的輸入格式三元組：