將string類(lèi)型的數(shù)據(jù)類(lèi)型轉(zhuǎn)換為spark rdd時(shí)報(bào)錯(cuò)的解決方法
更新時(shí)間：2019年02月18日 09:41:56 作者：gavenyeah
今天小編就為大家分享一篇關(guān)于將string類(lèi)型的數(shù)據(jù)類(lèi)型轉(zhuǎn)換為spark rdd時(shí)報(bào)錯(cuò)的解決方法，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
在將string類(lèi)型的數(shù)據(jù)類(lèi)型轉(zhuǎn)換為spark rdd時(shí)，一直報(bào)這個(gè)錯(cuò)，StructType can not accept object %r in type %s” % (obj, type(obj)))
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
查了半天的資料，問(wèn)了不少同事都沒(méi)能解決掉這個(gè)bug。最后終于google到一個(gè)類(lèi)似的case，終于把問(wèn)題解決。記錄一下！
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
上面的問(wèn)題辦法是，將sc.parallelize([list0])中的list0再轉(zhuǎn)成一個(gè)整體list，問(wèn)題即可解決。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
相關(guān)文章
python實(shí)現(xiàn)銀行實(shí)戰(zhàn)系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)銀行實(shí)戰(zhàn)系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-02-02
這篇文章主要介紹了Python編程實(shí)現(xiàn)正則刪除命令功能,涉及Python針對(duì)文件與目錄的正則匹配、刪除等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
Python中非常實(shí)用的Math模塊函數(shù)教程詳解
Math模塊中，有很多基礎(chǔ)的數(shù)學(xué)知識(shí)，我們必須要掌握的，例如：指數(shù)、對(duì)數(shù)、三角或冪函數(shù)等。因此，特意借著這篇文章，為大家講解一些該庫(kù)2021-10-10
如何在Python中自定義異常類(lèi)與異常處理機(jī)制
在Python編程中,異常處理是一種重要的編程范式,它允許我們?cè)诔绦蜻\(yùn)行時(shí)檢測(cè)并處理錯(cuò)誤,本文將介紹如何在Python中編寫(xiě)自定義的異常類(lèi),并詳細(xì)解釋Python的異常處理機(jī)制,感興趣的朋友一起看看吧2024-06-06
python實(shí)現(xiàn)翻譯word表格小程序
這篇文章主要為大家詳細(xì)介紹了python翻譯word表格小程序，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-02-02
這篇文章主要介紹了如何基于Python創(chuàng)建目錄文件夾,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12
pygame.transform模塊允許您對(duì)加載、創(chuàng)建后的圖像進(jìn)行一系列操作，比如調(diào)整圖像大小、旋轉(zhuǎn)圖片等操作，感興趣的可以了解一下2022-08-08
這篇文章主要介紹了Win系統(tǒng)PyQt5安裝和使用教程，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-12-12
使用Python實(shí)現(xiàn)FTP文件自動(dòng)傳輸腳本
這篇文章主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)FTP文件自動(dòng)傳輸腳本,文中的示例代碼講解詳細(xì),具有一定的借鑒價(jià)值,感興趣的小伙伴可以了解下2023-12-12
本文主要介紹了Python中assert函數(shù)的使用(含源代碼)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-04-04