Python訪問MongoDB,并且轉(zhuǎn)換成Dataframe的方法
如下所示:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site :
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition
import pymongo
import pandas as pd
def _connect_mongo(host, port, username, password, db):
""" A util for making a connection to mongo. """
if username and password:
mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
conn = pymongo.MongoClient(mongo_uri)
else:
conn = pymongo.MongoClient(host, port)
return conn[db]
def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
""" Read from Mongo and Store into DataFrame. """
# Connect to MongoDB
db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)
# Make a query to the specific DB and Collection
cursor = db[collection].find(query).limit(10)
# Expand the cursor and construct the DataFrame
df = pd.DataFrame(list(cursor))
df.to_csv("abc.csv", encoding="utf_8_sig") # 處理中文亂碼問題
if no_id:
del df['_id']
return df
read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")
小結(jié):
1. 解決了pymongo訪問MongoDB的問題
2. 解決了查詢的數(shù)據(jù)轉(zhuǎn)成dataframe的問題
3. 解決了dataframe寫入到csv的問題
4. 解決了中文亂碼問題。
以上這篇Python訪問MongoDB,并且轉(zhuǎn)換成Dataframe的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- Python操作MongoDb數(shù)據(jù)庫流程詳解
- python連接mongodb集群方法詳解
- Python3操作MongoDB增冊(cè)改查等方法詳解
- Python操作redis和mongoDB的方法
- Centos下升級(jí)Python及Mongodb驅(qū)動(dòng)安裝問題
- Python MongoDB 插入數(shù)據(jù)時(shí)已存在則不執(zhí)行,不存在則插入的解決方法
- python連接、操作mongodb數(shù)據(jù)庫的方法實(shí)例詳解
- Python操作Mongodb數(shù)據(jù)庫的方法小結(jié)
- python3 實(shí)現(xiàn)爬取TOP500的音樂信息并存儲(chǔ)到mongoDB數(shù)據(jù)庫中
- Python使用mongodb保存爬取豆瓣電影的數(shù)據(jù)過程解析
- Python爬蟲 scrapy框架爬取某招聘網(wǎng)存入mongodb解析
- 淺析Python與Mongodb數(shù)據(jù)庫之間的操作方法
- Python使用pymongo庫操作MongoDB數(shù)據(jù)庫的方法實(shí)例
- Python操作mongodb數(shù)據(jù)庫的方法詳解
- python連接mongodb密碼認(rèn)證實(shí)例
- Mongodb基本操作與Python連接mongodb并進(jìn)行基礎(chǔ)操作的方法
- Python利用ORM控制MongoDB(MongoEngine)的步驟全紀(jì)錄
- python數(shù)據(jù)庫開發(fā)之MongoDB安裝及Python3操作MongoDB數(shù)據(jù)庫詳細(xì)方法與實(shí)例
相關(guān)文章
python實(shí)現(xiàn)嵌套列表平鋪的兩種方法
今天小編就為大家分享一篇python實(shí)現(xiàn)嵌套列表平鋪的兩種方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-11-11
圖解Python中淺拷貝copy()和深拷貝deepcopy()的區(qū)別
這篇文章主要介紹了Python中淺拷貝copy()和深拷貝deepcopy()的區(qū)別,淺拷貝和深拷貝想必大家在學(xué)習(xí)中遇到很多次,這也是面試中常常被問到的問題,本文就帶你詳細(xì)了解一下2023-05-05
通過celery異步處理一個(gè)查詢?nèi)蝿?wù)的完整代碼
今天小編就為大家分享一篇通過celery異步處理一個(gè)查詢?nèi)蝿?wù)的完整代碼,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-11-11
使用Python實(shí)現(xiàn)插入100萬條數(shù)據(jù)到MySQL數(shù)據(jù)庫
這篇文章主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)插入100萬條數(shù)據(jù)到MySQL數(shù)據(jù)庫,文中的示例代碼講解詳細(xì),有需要的小伙伴可以參考一下2024-04-04
Python時(shí)區(qū)設(shè)置方法與pytz查詢時(shí)區(qū)教程
這篇文章主要介紹了Python時(shí)區(qū)設(shè)置的方法和pytz查詢時(shí)區(qū)的方法,大家參考使用吧2013-11-11
Python入門_淺談數(shù)據(jù)結(jié)構(gòu)的4種基本類型
下面小編就為大家?guī)硪黄狿ython入門_淺談數(shù)據(jù)結(jié)構(gòu)的4種基本類型。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-05-05

