python基于Node2Vec實(shí)現(xiàn)節(jié)點(diǎn)分類及其可視化示例詳解
簡(jiǎn)介
Node2vec是一種用于圖嵌入(Graph Embedding)的方法,可用于節(jié)點(diǎn)分類、社區(qū)發(fā)現(xiàn)和連接預(yù)測(cè)等任務(wù)。
實(shí)現(xiàn)過(guò)程
加載數(shù)據(jù)集
首先,讓我們加載所需的Python庫(kù)并執(zhí)行以下代碼以加載Cora數(shù)據(jù)集:
import networkx as nx import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline from sklearn.manifold import TSNE from node2vec import Node2Vec # 加載Cora數(shù)據(jù)集 cora = pd.read_csv('cora/cora.content', sep='\t', header=None) cited_in = pd.read_csv('cora/cora.cites', sep='\t', header=None, names=['target', 'source']) nodes, features = cora.iloc[:, :-1], cora.iloc[:, -1]
其中 cora.content
包含了所有節(jié)點(diǎn)特征信息,一共具有2708個(gè)節(jié)點(diǎn)和1433個(gè)特征;而 cora.cites
通過(guò)引文映射分別針對(duì)所述每個(gè)節(jié)點(diǎn)建立一個(gè)節(jié)點(diǎn)間的有向邊關(guān)系,共有5429個(gè)邊。接下來(lái),我們需要將節(jié)點(diǎn)特征和引用信息合并,構(gòu)建圖結(jié)構(gòu)。
# 定義函數(shù):構(gòu)造基于Cora數(shù)據(jù)集的圖結(jié)構(gòu) def create_graph(nodes, features, cited_in): nodes.index = nodes.index.map(str) graph = nx.from_pandas_edgelist(cited_in, source='source', target='target') for index, row in nodes.iterrows(): node_id = str(row[0]) features = row.drop(labels=[0]) node_attrs = {f'attr_{i}': float(x) for i, x in enumerate(features)} if graph.has_node(node_id) == True: temp = graph.nodes[node_id] temp.update(node_attrs) graph.add_nodes_from([(node_id, temp)]) else: graph.add_nodes_from([(node_id, node_attrs)]) return graph # 構(gòu)建圖 graph = create_graph(nodes, features, cited_in)
該函數(shù)將 cora.content
中的節(jié)點(diǎn)特征與 cora.cites
的有向邊整合,并在圖上標(biāo)記它們?,F(xiàn)在我們已經(jīng)構(gòu)建了一個(gè)圖形視圖,可以按想法可視化。
使用Node2vec嵌入數(shù)據(jù)
為了使用節(jié)點(diǎn)的特征進(jìn)行分類,我們需要從網(wǎng)絡(luò)中提取某些信息,以便將其傳遞給分類器作為輸入。 節(jié)點(diǎn)2矢量方法的一個(gè)示例就是將提取的信息轉(zhuǎn)換為至少每個(gè)節(jié)點(diǎn)一個(gè)維度的向量表達(dá)式。
Node2Vec模型由代表每個(gè)節(jié)點(diǎn)的向量組成,使用起始節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)的隨機(jī)游走樣本來(lái)學(xué)習(xí)它們。 節(jié)點(diǎn)2Vec模型定義隨機(jī)游走過(guò)程中節(jié)點(diǎn)間的轉(zhuǎn)移概率。
我們將使用 node2vec 庫(kù)來(lái)生成圖形的嵌入表示,并采用神經(jīng)網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)分類。
# 定義函數(shù):創(chuàng)建基于Cora數(shù)據(jù)集的嵌入 def create_embeddings(graph): # 初始化node2vec實(shí)例,指定相關(guān)超參數(shù) n2v = Node2Vec(graph, dimensions=64, walk_length=30, num_walks=200, p=1, q=1, weight_key='attr_weight') # 基于指定參數(shù)訓(xùn)練得到嵌入向量表達(dá)式 model = n2v.fit(window=10, min_count=1, batch_words=4) # 獲得所有圖中節(jié)點(diǎn)的嵌入向量 embeddings = pd.DataFrame(model.wv.vectors) ids = list(map(str, model.wv.index2word)) # 將原有的特征和id與新獲取到的嵌入向量按行合并 lookup_table = nodes.set_index(0).join(embeddings.set_index(embeddings.index)) return np.array(lookup_table.dropna().iloc[:, -64:]), np.array(list(range(1, lookup_table.shape[0] + 1))) # 創(chuàng)建嵌入向量 cora_embeddings, cora_labels = create_embeddings(graph)
通過(guò)以上代碼,我們可以獲得每個(gè)節(jié)點(diǎn)的64維節(jié)點(diǎn)嵌入表達(dá)。
訓(xùn)練分類器
接下來(lái)我們將指定一些分類器并在Cora數(shù)據(jù)集上訓(xùn)練它們,以期根據(jù)嵌入進(jìn)行準(zhǔn)確的節(jié)點(diǎn)分類操作。
from sklearn import svm, model_selection, metrics # 使用支持向量機(jī)作為示范的分類器 svm_model = svm.SVC(kernel='rbf', C=1, gamma=0.01) # 進(jìn)行交叉驗(yàn)證和分類訓(xùn)練 scores = model_selection.cross_val_score( svm_model, cora_embeddings, cora_labels, cv=5) print(scores.mean())
使用支持向量機(jī)作為分類器,進(jìn)一步問(wèn)題是分類器本身也要進(jìn)行調(diào)參等相關(guān)操作,以期獲取更好的性能。此處采取了5折交叉驗(yàn)證的方式對(duì)其性能進(jìn)行評(píng)估輸出。
可視化節(jié)點(diǎn)嵌入
對(duì)于人類而言,64維特征表達(dá)并不容易理解,因此我們需要將其降維以便可視化。 在這里我們使用 t-SNE,它專門用于降低高維數(shù)據(jù)的復(fù)雜度。 通過(guò)輸出只包含 2個(gè)元素的概率分布向量,它生成一個(gè)二維圖,其中相似節(jié)點(diǎn)緊密地放在一起。
# 定義函數(shù):可視化Nodes2Vec的結(jié)果 def visualize_results(embeddings, labels): # 使用t-SNE對(duì)數(shù)據(jù)進(jìn)行降維并繪圖 tsne = TSNE(n_components=2, verbose=1, perplexity=40, n_iter=300) tsne_results = tsne.fit_transform(embeddings) plt.figure(figsize=(10, 5)) plt.scatter(tsne_results[:,0], tsne_results[:,1], c=labels) plt.colorbar() plt.show() # 可視化結(jié)果 visualize_results(cora_embeddings, cora_labels)
Node2Vec生成的嵌入向量將被輸入到t-SNE中,其中t-SNE將64維向量表達(dá)進(jìn)行了降維,并輸出我們可以使用 matplotlib 庫(kù)可視化的二維散點(diǎn)圖。 我們可以在圖形界面中檢查大部分相關(guān)節(jié)點(diǎn)是否如預(yù)期那樣緊密聚集。
以上就是python基于Node2Vec實(shí)現(xiàn)節(jié)點(diǎn)分類及其可視化示例詳解的詳細(xì)內(nèi)容,更多關(guān)于Node2Vec節(jié)點(diǎn)分類可視化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
使用Python腳本對(duì)Linux服務(wù)器進(jìn)行監(jiān)控的教程
這篇文章主要介紹了使用Python程序?qū)inux服務(wù)器進(jìn)行監(jiān)控的教程,主要基于Python2.7的版本,需要的朋友可以參考下2015-04-04Keras自定義實(shí)現(xiàn)帶masking的meanpooling層方式
這篇文章主要介紹了Keras自定義實(shí)現(xiàn)帶masking的meanpooling層方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06Python基礎(chǔ)之賦值,淺拷貝,深拷貝的區(qū)別
這篇文章主要介紹了Python基礎(chǔ)之賦值,淺拷貝,深拷貝的區(qū)別,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python基礎(chǔ)的小伙伴們也有非常好的幫助,需要的朋友可以參考下2021-04-04Python3中l(wèi)ambda表達(dá)式與函數(shù)式編程講解
今天小編就為大家分享一篇關(guān)于Python3中l(wèi)ambda表達(dá)式與函數(shù)式編程講解,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧2019-01-01python基于tkinter制作無(wú)損音樂(lè)下載工具(附源碼)
這篇文章主要介紹了python基于tkinter制作無(wú)損音樂(lè)下載工具(附源碼),幫助大家更好的理解和學(xué)習(xí)使用python,感興趣的朋友可以了解下2021-03-03