python解析json內(nèi)容存入數(shù)據(jù)庫方式

更新時(shí)間：2025年05月24日 15:41:07 作者：知識倒進(jìn)我腦里

這篇文章主要介紹了python解析json內(nèi)容存入數(shù)據(jù)庫方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

用python寫一個(gè)Github Trending API

由于才開始學(xué)習(xí)python，很多東西都不會，花了好多天來把這個(gè)東西寫好，于是記錄如下。

要求

用requests庫抓取熱門倉庫的信息，并存入數(shù)據(jù)庫

1.用到的庫

import requests
from sqlalchemy import desc, create_engine, Column, Integer, String, Text  # 降序、連接路徑、列、字符串、文本
from sqlalchemy.orm import scoped_session, sessionmaker  # 代理模式、數(shù)據(jù)庫連接的媒（手機(jī)）；engine號碼
from sqlalchemy.ext.declarative import declarative_base  # 聲明類映射類到表的關(guān)系

2.抓取url

url = 'http://132.232.132.144:8009/api?lang=python&since=daily'
response = requests.get(url)

3.解析內(nèi)容

response_dict = response.json()

內(nèi)容大致是這些：字典里面三個(gè)元素，第三個(gè)元素msg是一個(gè)列表，列表里面是各個(gè)熱門倉庫的信息

我們要分析的就是msg里面的內(nèi)容

repositories = response_dict['msg']

遍歷列表字典

for res in repositories:
    language = res['language']
    user = res['user']
    stars = res['stars']
    repo = res['repo']
    forks = res['forks']
    about = res['about']
    link = res['link']
    new_stars = res['new_stars']
    avatars = res['avatars']

    api_info = {
        # 項(xiàng)目名稱
        'repo': repo,
        # 語言
        'language': language,
        # 倉庫擁有者
        'user': user,
        # star數(shù)
        'stars': stars,
        # fork數(shù)
        'forks': forks,
        # 描述
        'about': res['about'],
        # 鏈接
        'link': res['link'],
        # 新增star
        'new_stars': res['new_stars'],
        # 頭像
        'avatars': res['avatars']

    }

4.連接數(shù)據(jù)庫

# 創(chuàng)建連接:'數(shù)據(jù)庫類型+數(shù)據(jù)庫驅(qū)動名稱://用戶名:口令@機(jī)器地址:端口號/數(shù)據(jù)庫名'
engine = create_engine('mysql+pymysql://root:19981010@localhost:3306/oceanlay?charset=utf8mb4')

# 連接數(shù)據(jù)庫的路徑。
# “mysql+mysqldb”指定了使用 MySQL-Python 來連接，
# 聲明類 類到表的關(guān)系
Base = declarative_base()
# 創(chuàng)建數(shù)據(jù)表
Base.metadata.create_all(engine)

#定義python類

class Api(Base):
    __tablename__ = 'api'
    id = Column(Integer, primary_key=True)    #主鍵primary_key必須存在于某個(gè)字段中 
    repo = Column(String(128))  # repository name    #注意字段的數(shù)據(jù)類型與數(shù)據(jù)長度，設(shè)置相對應(yīng)的類型
    language = Column(String(6))  # repository language
    user = Column(String(128))  # user
    stars = Column(String(128))
    forks = Column(String(128))
    link = Column(Text)
    new_stars = Column(String(128))

    def __repr__(self):
        return "<Api(id='%d',repo=%s,language=%s,user=%s,stars=%d,forks=%d,link=%s,new_stars=%s)>" \
               % (self.repo, self.language, self.user, self.stars, self.forks, self.link, self.new_stars,)

# 向表中插入數(shù)據(jù)
DBSession = sessionmaker(bind=engine)  #sessionmaker好比數(shù)據(jù)庫和內(nèi)容聯(lián)系的手機(jī)，engine就是聯(lián)系號碼
session = DBSession()

# 寫入數(shù)據(jù)
session.add(
    Api(repo=api_info['repo'], language=api_info['language'], user=api_info['user'], stars=api_info['stars'],
        forks=api_info['forks'], link=api_info['link'], new_stars=api_info['new_stars'])
        )    #注意添加到哪一個(gè)表里面 就寫那個(gè)表

遍歷輸出：format函數(shù)

for res in repositories:
    print("倉庫名:{repo}\n語言:{language}\n用戶:{user}\nstars:{stars}\nforks:{forks}\n項(xiàng)目描述about:{about}\n網(wǎng)址:{link}\n關(guān)注者頭像:{avatars}".format(repo=res['repo'], language=res['language'],  user=res['user'], stars=res['stars'],forks=res['forks'], about=res['about'], link=res['link'],avatars=res['avatars']))