解決sqoop從postgresql拉數(shù)據(jù),報(bào)錯(cuò)TCP/IP連接的問(wèn)題
問(wèn)題：
sqoop從postgresql拉數(shù)據(jù)，在執(zhí)行到mapreduce時(shí)報(bào)錯(cuò)Connection refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections
問(wèn)題定位過(guò)程：
1、postgresql 5432端口已開放，執(zhí)行任務(wù)的節(jié)點(diǎn)能telnet通，并且netcat測(cè)試通過(guò)
2、sqoop list-tables命令可正常執(zhí)行，sqoop import報(bào)錯(cuò)Connection refused. Check that the hostname and port are correct and that the
3、從其它服務(wù)器集群跑同樣腳本正常
解決：
集群中有node不能訪問(wèn)5432，sqoop import命令一定要集群中所有起nodemanager服務(wù)的節(jié)點(diǎn)有訪問(wèn)數(shù)據(jù)庫(kù)端口的權(quán)限，所以保證所有節(jié)點(diǎn)訪問(wèn)5432后解決
備注：
sqoop list-tables能執(zhí)行就說(shuō)明肯定不是postgresql端的問(wèn)題，sqoop list-tables執(zhí)行命令的這臺(tái)服務(wù)器能訪問(wèn)5432即可
補(bǔ)充：使用Sqoop從PostgreSQL向Hive中遷移數(shù)據(jù)遇到的問(wèn)題
postgreSQL的界面
跟mysql不同之處就是，多了一個(gè) 2 ，這也是導(dǎo)致數(shù)據(jù)遷移錯(cuò)誤原因
1.數(shù)據(jù)庫(kù)名稱 2.schema 3.表名
PostgreSQL中的對(duì)象屬于三層模型，即database->schema->table。PostgreSQL中一般包含多個(gè)database，每個(gè)database包含多個(gè)schema，schema下包含多個(gè)表。因此使用sqoop抽取數(shù)據(jù)時(shí)有時(shí)需要指定表是屬于哪個(gè)schema。
解決方案：
在代碼最后指定--schema
-- --schema 上圖2的名稱
整個(gè)代碼如下
./sqoop import --connect jdbc:postgresql://***.***.***.***:38888/bigdata --username test --password test123 --table tb_ecar_gps_zhengzhou_standard --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
PostgreSQL查看正在執(zhí)行的任務(wù)并強(qiáng)制結(jié)束的操作方法
這篇文章主要介紹了PostgreSQL查看正在執(zhí)行的任務(wù)并強(qiáng)制結(jié)束的操作方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
這篇文章主要介紹了淺談PostgreSQL中大小寫不敏感問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
Postgresql 數(shù)據(jù)庫(kù)權(quán)限功能的使用總結(jié)
這篇文章主要介紹了Postgresql 數(shù)據(jù)庫(kù)權(quán)限功能的使用總結(jié)，具有很好的參考價(jià)值，對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-02-02
這篇文章主要介紹了PostgreSQL啟動(dòng)停止命令(重啟)的相關(guān)資料,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2023-11-11
這篇文章主要介紹了postgresql如何兼容MySQL if函數(shù)問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
這篇文章主要介紹了PostgreSQL的中文拼音排序案例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
PostgreSQL數(shù)據(jù)庫(kù)性能調(diào)優(yōu)的注意點(diǎn)以及pg數(shù)據(jù)庫(kù)性能優(yōu)化方式
這篇文章主要介紹了PostgreSQL數(shù)據(jù)庫(kù)性能調(diào)優(yōu)的注意點(diǎn)以及pg數(shù)據(jù)庫(kù)性能優(yōu)化方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
PostgreSQL中使用數(shù)組改進(jìn)性能實(shí)例代碼
這篇文章主要給大家介紹了關(guān)于PostgreSQL中使用數(shù)組改進(jìn)性能的相關(guān)資料，文中通過(guò)示例代碼以及圖文介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-12-12
這篇文章主要給大家介紹了關(guān)于postgresql中l(wèi)tree類型使用的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用postgresql具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
這篇文章主要介紹了PostgreSQL查看版本信息的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01