Python處理JSON數據并導入Neo4j數據庫

更新時間：2024年11月04日 15:31:18 作者：engchina

在數據處理和分析中,JSON是一種常見的數據格式,Neo4j是一個高性能的圖數據庫,能夠存儲和查詢復雜的網絡關系,下面我們就來看看Python如何處理JSON數據并導入Neo4j數據庫吧

引言

在數據處理和分析中，JSON是一種常見的數據格式。Neo4j是一個高性能的圖數據庫，能夠存儲和查詢復雜的網絡關系。本文將通過解析一段Python代碼，詳細介紹如何處理JSON數據并將其導入Neo4j數據庫。

代碼結構概覽

首先，我們來看一下代碼的整體結構：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time     :2022/9/13 10:03
# @File     :handler_person_data.py
# @Description: 處理json數據

import json
import os

from common import constant
from common.conn_neo4j import ConnNeo4j

# 獲得數據文件的路徑
data_path = os.path.join(constant.DATA_DIR, "data-json.json")
# 讀取數據文件的內容
data = json.load(open(data_path, 'r', encoding='utf-8'))
print("人物數目：", len(data))

# 連接Neo4j服務器
neo4j = ConnNeo4j()
# 遍歷數據
for item in data:
    item['name'] = item['中文名']
    # 畢業(yè)于
    school = []
    if '畢業(yè)于' in item.keys():
        school = item['畢業(yè)于']
        item.pop('畢業(yè)于')

    # 作品
    works = []
    if '作品' in item.keys():
        works = item['作品']
        item.pop('作品')

    # 相關人物
    relate_persons = {}
    if '相關人物' in item.keys():
        relate_persons = item['相關人物']
        item.pop('相關人物')

    print(item)
    # 創(chuàng)建人物節(jié)點
    neo4j.create_node("人物", item)
    # 創(chuàng)建學校節(jié)點，人物與學校間的關系
    neo4j.create_node_relations("人物", item, "學校", school, "畢業(yè)于", {'type': '畢業(yè)于'}, False)
    # 創(chuàng)建作品節(jié)點，人物與作品間的關系
    neo4j.create_node_relations("人物", item, "作品", works, "創(chuàng)作", {'type': '創(chuàng)作'}, False)
    # 創(chuàng)建相關人物，人物社會關系
    for key in relate_persons.keys():
        tmp_value = relate_persons[key]
        tmp_rel_type = key
        if key in ['兒子', '女兒', '父親', '母親']:
            neo4j.create_node_relations("人物", item, "人物", tmp_value, tmp_rel_type, {'type': '親子'}, False)
        elif key in ['孫子', '孫女', '爺爺', '奶奶']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '祖孫'}, False)
        elif key in ['哥哥', '妹妹', '弟弟', '姐姐']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '兄弟姐妹'}, False)
        elif key in ['丈夫', '妻子']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '夫妻'}, False)
        elif key in ['女婿', '兒媳']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '婿媳'}, False)
        elif key in ['學生', '老師']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '師生'}, False)
        else:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '其他'}, False)

代碼詳解

1. 導入必要的庫

import json
import os

from common import constant
from common.conn_neo4j import ConnNeo4j

json：用于處理JSON格式的數據。

os：用于處理文件路徑。

constant：從common模塊中導入的常量，可能包含數據目錄等信息。

ConnNeo4j：從common.conn_neo4j模塊中導入的Neo4j連接類。

2. 定義數據文件路徑

# 獲得數據文件的路徑
data_path = os.path.join(constant.DATA_DIR, "data-json.json")

data_path：指向包含數據的JSON文件路徑。

3. 讀取JSON文件內容

# 讀取數據文件的內容
data = json.load(open(data_path, 'r', encoding='utf-8'))
print("人物數目：", len(data))

使用json.load()函數讀取JSON文件的內容，并將其存儲在data變量中。

打印出數據中的人物數目。

4. 連接Neo4j服務器

# 連接Neo4j服務器
neo4j = ConnNeo4j()

創(chuàng)建一個ConnNeo4j對象，用于連接Neo4j數據庫。

5. 遍歷數據并處理

# 遍歷數據
for item in data:
    item['name'] = item['中文名']
    # 畢業(yè)于
    school = []
    if '畢業(yè)于' in item.keys():
        school = item['畢業(yè)于']
        item.pop('畢業(yè)于')

    # 作品
    works = []
    if '作品' in item.keys():
        works = item['作品']
        item.pop('作品')

    # 相關人物
    relate_persons = {}
    if '相關人物' in item.keys():
        relate_persons = item['相關人物']
        item.pop('相關人物')

    print(item)
    # 創(chuàng)建人物節(jié)點
    neo4j.create_node("人物", item)
    # 創(chuàng)建學校節(jié)點，人物與學校間的關系
    neo4j.create_node_relations("人物", item, "學校", school, "畢業(yè)于", {'type': '畢業(yè)于'}, False)
    # 創(chuàng)建作品節(jié)點，人物與作品間的關系
    neo4j.create_node_relations("人物", item, "作品", works, "創(chuàng)作", {'type': '創(chuàng)作'}, False)
    # 創(chuàng)建相關人物，人物社會關系
    for key in relate_persons.keys():
        tmp_value = relate_persons[key]
        tmp_rel_type = key
        if key in ['兒子', '女兒', '父親', '母親']:
            neo4j.create_node_relations("人物", item, "人物", tmp_value, tmp_rel_type, {'type': '親子'}, False)
        elif key in ['孫子', '孫女', '爺爺', '奶奶']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '祖孫'}, False)
        elif key in ['哥哥', '妹妹', '弟弟', '姐姐']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '兄弟姐妹'}, False)
        elif key in ['丈夫', '妻子']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '夫妻'}, False)
        elif key in ['女婿', '兒媳']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '婿媳'}, False)
        elif key in ['學生', '老師']:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '師生'}, False)
        else:
            neo4j.create_node_relations('人物', item, '人物', tmp_value, tmp_rel_type, {'type': '其他'}, False)

遍歷data中的每個JSON對象。

將中文名字段重命名為name。

處理畢業(yè)于、作品和相關人物字段，并將其從JSON對象中移除。

打印處理后的JSON對象。

調用neo4j.create_node()方法創(chuàng)建人物節(jié)點。

調用neo4j.create_node_relations()方法創(chuàng)建學校、作品和相關人物節(jié)點，并建立相應的關系。