修改numpy array數(shù)據(jù)類型

1、numpy數(shù)據(jù)類型

2、改變numpy array數(shù)據(jù)類型

用astype()方法改變數(shù)據(jù)類型，如下幾種方式所示（這種方法不會(huì)改變?cè)瓟?shù)組的數(shù)據(jù)類型）：

array_name.astype(int) ?
array_name.astype(np.int16)
array_name.astype('float64')

如果要改變?cè)瓟?shù)組的數(shù)據(jù)類型，用以下方法：

array_name.dtype = np.uint8

numpy數(shù)據(jù)類型說(shuō)明及自動(dòng)轉(zhuǎn)換陷阱

numpy的dtype是一個(gè)很重要的概念，因?yàn)閚umpy為了性能，優(yōu)化了內(nèi)存管理，ndarray的值在內(nèi)存中幾乎是連續(xù)的，同時(shí)其每個(gè)元素的內(nèi)存大小也被設(shè)計(jì)成是一樣的，因此，當(dāng)生成ndarray時(shí)，每個(gè)元素的數(shù)據(jù)類型都會(huì)被轉(zhuǎn)為相同的類型，這時(shí)如果原生的數(shù)據(jù)類型是不一樣的，那么就涉及到一個(gè)數(shù)據(jù)類型轉(zhuǎn)換的問(wèn)題，即data type casting。

明白numpy中的數(shù)據(jù)類型轉(zhuǎn)換可以有效的避免和理解很多的行為，因?yàn)閚umpy中很多的error往往都是有數(shù)據(jù)類型轉(zhuǎn)換引起的，所以理解numpy的數(shù)據(jù)類型轉(zhuǎn)換可以預(yù)防和排查很多的問(wèn)題。首先，在numpy中有很多的數(shù)據(jù)類型，多于python內(nèi)置數(shù)據(jù)類型，具體有哪些類型，可以參看下圖，下圖的columns和index是數(shù)據(jù)類型在numpy中的符號(hào)，具體的釋義可以查看這里。下面，我們重點(diǎn)講一下numpy中關(guān)于數(shù)據(jù)類型以及轉(zhuǎn)換中容易碰到的陷進(jìn)或者需要注意的點(diǎn)。

1、數(shù)據(jù)類型的表示

在numpy中，一個(gè)數(shù)據(jù)類型實(shí)際上是一個(gè)dtype對(duì)象，其有一些重要的屬性，比如字節(jié)順序、數(shù)據(jù)類型、字節(jié)數(shù)大小等，一般的，numpy中的數(shù)據(jù)類型會(huì)表示成類似'<i4'這樣，這個(gè)表示法中，<表示字節(jié)順序，i表示數(shù)據(jù)類型，這里表示整數(shù)，4表示一個(gè)元素占據(jù)的字節(jié)數(shù)，這里4字節(jié)，表示32位整數(shù)。

2、構(gòu)造ndarray時(shí)的dtype

在構(gòu)造ndarray時(shí)，可以指定dtype參數(shù)來(lái)設(shè)置ndarray里面元素的數(shù)據(jù)類型，這個(gè)dtype可以用'i4'這樣的表示方式，也可以用int表示，但是后者沒法指定字節(jié)數(shù)。要注意的是，指定dtype時(shí)，一定要確認(rèn)這個(gè)dtype可以兼容所有元素，防止溢出或者不兼容，對(duì)此我們可以通過(guò)result_type(*array_like)來(lái)判斷我們應(yīng)該設(shè)定的dtype，這個(gè)函數(shù)返回的dtype是可以兼容所有元素的最小size的數(shù)據(jù)類型；或者我們無(wú)需設(shè)定，其會(huì)自動(dòng)進(jìn)行數(shù)據(jù)類型的轉(zhuǎn)換，我們也可以通過(guò)ndarray.dtype屬性查看數(shù)據(jù)類型。Anyway,我們要有這種數(shù)據(jù)類型轉(zhuǎn)換的意識(shí)，因?yàn)檫@會(huì)影響后續(xù)對(duì)ndarray的操作。

3、不同數(shù)據(jù)類型之間的轉(zhuǎn)換兼容性

 numpy的數(shù)據(jù)類型之間能夠?qū)崿F(xiàn)轉(zhuǎn)換，可以通過(guò)np.can_cast(fromtype,totype)這個(gè)函數(shù)來(lái)判斷，更詳細(xì)的可以查看下圖。

4、numpy對(duì)python對(duì)象數(shù)據(jù)類型'O'的處理

 當(dāng)numpy中有python獨(dú)有的原生數(shù)據(jù)類型，比如Decimal，那么ndarray會(huì)被轉(zhuǎn)為object數(shù)據(jù)類型，表示python對(duì)象數(shù)據(jù)類型，當(dāng)然這里也可以轉(zhuǎn)為字符串，但是字符串對(duì)于np.nan往往會(huì)占據(jù)更大的itemsize。

當(dāng)numpy函數(shù)對(duì)dtype位object的ndarray處理時(shí)，會(huì)先把里面的元素再進(jìn)一步轉(zhuǎn)為其他numpy的數(shù)據(jù)類型，這樣才可以操作，所以這里如果函數(shù)沒法或沒有指定類型參數(shù)，那么會(huì)默認(rèn)以第一個(gè)inner loop到的數(shù)據(jù)類型作為所有元素的類型，并以此類型進(jìn)行后續(xù)轉(zhuǎn)換，這時(shí)，對(duì)于object類型的ndarray來(lái)說(shuō)，往往容易出現(xiàn)數(shù)據(jù)無(wú)法轉(zhuǎn)換成功的異常。所以要注意處理時(shí)第一個(gè)inner loop遇到的元素的類型是否可以兼容后面要處理的所有元素，不然會(huì)拋出異常?？聪旅娴睦诱f(shuō)明。

import numpy as np
from decimal import Decimal
 
arr=np.array([[1,2.0,3],['a',3,np.nan],[2,np.nan,Decimal('5')]])
arr1=np.apply_along_axis(lambda x:x[0],arr=arr,axis=1)
arr1
# output:
# ValueError: invalid literal for int() with base 10: 'a'
 
arr2=np.apply_along_axis(lambda x:x[1],arr=arr,axis=1)
arr2
# output:
# array([ 2.,  3., nan])
 
arr2=np.apply_along_axis(lambda x:x[2],arr=arr,axis=1)
arr2
# output:
# array([          3, -2147483648,           5])

從上面的例子中可以看到，arr1中，由于第一個(gè)inner loop遇到的元素是整數(shù)1，所以便會(huì)以整數(shù)類型對(duì)后續(xù)的元素進(jìn)行轉(zhuǎn)換，但是后面的一個(gè)元素是字符'a'，無(wú)法將其轉(zhuǎn)為int，因此就會(huì)報(bào)上述error；arr2中，第一個(gè)遇到的元素是2.0，為float，所以后面的元素都會(huì)被轉(zhuǎn)為float，因此輸出為array([ 2.,  3., nan])，其中都變成了float，要注意的是，由于np.nan本身就是一個(gè)浮點(diǎn)數(shù)，因此這里可以正確的轉(zhuǎn)換，轉(zhuǎn)換之后還是np.nan；但是看arr2，由于第一個(gè)遇到的元素類型為int32，后面的np.nan為float64，會(huì)造成溢出，這樣便無(wú)法正確的轉(zhuǎn)換，從而會(huì)用int32最接近np.nan的值去替換，所以就是-2**31==-2147483648，這里之所以是2**31，而不是2**32-1，是因?yàn)檫@里的int是signed int，即有正負(fù)號(hào)的int，所以其范圍是-2**31~2**31-1；而Decimal('5')被轉(zhuǎn)為了int 5，所以就出現(xiàn)了上述的結(jié)果。

 所以，當(dāng)要被轉(zhuǎn)成ndarray的原始數(shù)據(jù)中有np.nan時(shí)，要特別注意這一點(diǎn)，最好是指定float類型，注意其他數(shù)據(jù)的兼容；而如果同時(shí)又是obejct數(shù)據(jù)類型時(shí)，那么同時(shí)也要注意第一個(gè)inner loop遇到的元素的數(shù)據(jù)類型，注意和后面的數(shù)據(jù)類型保持兼容。

小結(jié)：numpy的dtype有諸多陷進(jìn)，需要小心對(duì)待，謹(jǐn)慎核查，然后靈活運(yùn)用。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論