【Python】相関関係をグラフ（ネットワーク）で可視化する【Pyvis】

こんにちは。

現役エンジニアの”はやぶさ”@Cpp_Learningです。最近は統計的因果推論を勉強中です。

相関関係をインタラクティブなグラフで可視化してみた pic.twitter.com/5pmkV1vPEu

— はやぶさ@技術ノート (@Cpp_Learning) February 6, 2021

本記事では相関関係をグラフ（ネットワーク）で可視化する方法を紹介します。

Contents

1 モチベーション -なぜ相関をインタラクティブなグラフで可視化するのか-
2 実践！相関関係をインタラクティブなグラフで可視化する
3 まとめ
- 3.1 おまけ -因果推論と可視化について-

モチベーション -なぜ相関をインタラクティブなグラフで可視化するのか-

相関の可視化には、ヒートマップがよく使われます（下図参照）。

上図の場合は、変数同士の相関の強さを色の濃さで表現しています。例えば、”RAD”と”TAX”には強い相関があるようです。

すごい！分かりやすい！！

と感じる人もいれば…

くるる

そう？鳥目の”くるる”には分かりにくい…

というフクロウもいるかと。

個人的にはヒートマップ大好きですが、説明変数の数や色彩感覚によっては、ヒートマップによる可視化は分かりにくいケースがあります。

そこで、以下の記事のようにグラフで相関関係を可視化したいと思います。

【構造学習】CausalNexで有向非循環グラフ(DAG)推定 -説明変数(テーブルデータ)の因果推論に挑戦-こんにちは。現役エンジニアの”はやぶさ”@Cpp_Learningです。最近、因果推論・因果探索を勉強してます。今回は有...

上記の記事では、グラフ（ネットワーク）構造を NetworkX で可視化しましたが、今回はPyvisを使ってインタラクティブなグラフを作成します。

インタラクティブなグラフを活用することで、ノードやエッジの色や位置を調整しならがら、関係性やグラフ構造についてのプレゼンができます

実践！相関関係をインタラクティブなグラフで可視化する

機械学習チュートリアルでお馴染みのボストンの住宅価格データセットを採用し、各変数の相関関係を可視化します。

インストール

本記事のソースコードはGoogle Colabで動作確認しました（2021/02/07）。

Google Colabの場合は、以下のコマンドでインストールするだけで環境構築完了です。

pip install pyvis

以降からコード書いていきます。

Import

まずはimportから

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

from sklearn.datasets import load_boston

import networkx as nx
from pyvis.network import Network

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

from sklearn.datasets import load_boston

import networkx as nx

from pyvis.network import Network

データセット

データをダウンロードして、中身（頭の３行）を確認しておきます。

boston = load_boston()

boston_df = pd.DataFrame(boston.data, columns=boston.feature_names) # 説明変数
boston_df['PRICE'] = boston.target # 目的変数を追加
boston_df.head(3)

boston = load_boston()

boston_df = pd.DataFrame(boston.data, columns=boston.feature_names) # 説明変数

boston_df['PRICE'] = boston.target # 目的変数を追加

boston_df.head(3)

ボストン市の住宅価格データセット

相関係数の算出とヒートマップによる可視化

以下のコード１行で相関係数を算出できます。

df_corr = boston_df.corr()
# df_corr

df_corr = boston_df.corr()

# df_corr

本題ではありませんが、よく使うのでヒートマップによる相関関係の可視化も紹介します。

# 相関をヒートマップで可視化
plt.figure(figsize=(14,12))

sns.heatmap(df_corr, # データ
            vmin=-1, vmax=1, # 範囲
            annot=True, fmt='0.2f', # 数値表示
            cmap=sns.color_palette('coolwarm', 100), # 色指定
            # square=True, # ヒートマップを正方形で表示
            );

# 相関をヒートマップで可視化

plt.figure(figsize=(14,12))

sns.heatmap(df_corr, # データ

vmin=-1, vmax=1, # 範囲

annot=True, fmt='0.2f', # 数値表示

cmap=sns.color_palette('coolwarm', 100), # 色指定

# square=True, # ヒートマップを正方形で表示

);

相関係数のヒートマップ

冒頭のヒートマップと同じものです。seaborn使って可視化してます。

以降から、本題のグラフによる相関関係の可視化を実践します。

前処理

ヒートマップの「右上の三角行列」と「左下の三角行列」は同じ情報なので、「右上の三角行列」にマスクをして、Noneに置き換えます。

# 右上の三角行列をマスク
mask_df = df_corr.mask(np.triu(np.ones(df_corr.shape)).astype(bool), None)
# mask_df

# 右上の三角行列をマスク

mask_df = df_corr.mask(np.triu(np.ones(df_corr.shape)).astype(bool), None)

# mask_df

マスクの使い方については、以下の記事で紹介済みなので、参考にしてくださいな。

【Python】pandas.DataFrame.maskの使い方 -条件を満たす値を任意の値に変換-こんにちは。現役エンジニアの”はやぶさ”@Cpp_Learningです。今回はデータ分析などに役立つ Pandas の mask...

エッジリスト作成

以下のコードでエッジリストを作成します。

# エッジリストを生成
edge_lists = mask_df.stack().reset_index().apply(tuple, axis=1).values

# 確認
edge_lists

# エッジリストを生成

edge_lists = mask_df.stack().reset_index().apply(tuple, axis=1).values

# 確認

edge_lists

array([(‘ZN’, ‘CRIM’, -0.20046921966254821),
(‘INDUS’, ‘CRIM’, 0.4065834114062593),
…
(‘PRICE’, ‘B’, 0.33346081965706653),
(‘PRICE’, ‘LSTAT’, -0.7376627261740143)], dtype=object)

エッジリストの中身は上記の通りで、例えば ‘PRICE’ と ‘LSTAT’ の相関係数は約-0.74のようです（ヒートマップでも確認できます）

networkxグラフをpyvisグラフに変換

pyvisグラフを作成する方法がいくつかありますが、以下の手順が簡単でした。

networkxグラフを作成
networkxグラフをPyvisグラフに変換
エッジの太さなどを調整（オプション）
インタラクティブなグラフを出力

順番に実装していきます。

以下のコードでPyvisグラフを作成できました。

# networkxのグラフ作成
G = nx.Graph()
G.add_weighted_edges_from(edge_lists)

# networkxグラフをpyvisグラフに変換
g = Network()
# g = Network(notebook=True, height="750px", width="100%")
g.from_nx(G)

# 確認
g.edges

# networkxのグラフ作成

G = nx.Graph()

G.add_weighted_edges_from(edge_lists)

# networkxグラフをpyvisグラフに変換

g = Network()

# g = Network(notebook=True, height="750px", width="100%")

g.from_nx(G)

# 確認

g.edges

[{‘from’: ‘ZN’, ‘to’: ‘CRIM’, ‘weight’: -0.20046921966254821},
{‘from’: ‘ZN’, ‘to’: ‘INDUS’, ‘weight’: -0.5338281863044747},
…
{‘from’: ‘B’, ‘to’: ‘PRICE’, ‘weight’: 0.33346081965706653},
{‘from’: ‘LSTAT’, ‘to’: ‘PRICE’, ‘weight’: -0.7376627261740143}]

エッジリストのフォーマットが上記のように変換されます。 ‘PRICE’ ⇒ ‘LSTAT’ のweight（相関係数）は約-0.74という定義です。

相関関係からは矢印の向きは分かりません。なので、可視化するときは有向グラフではなく、無向グラフを採用します

weightに応じて、エッジの太さを変更

先ほど作成した、pyvisグラフを出力しても良いのですが、weightに応じてエッジ太さ(width)を調整した方が、相関関係の強弱が際立ちます。

# weightに応じて、エッジの太さを変更
for i, edge in enumerate(g.edges):
    if abs(edge['weight']) > 0.5:
        g.edges[i]['width'] = abs(edge['weight']) * 10.0
    else:
        g.edges[i]['width'] = 0.0

# 確認
g.edges

# weightに応じて、エッジの太さを変更

for i, edge in enumerate(g.edges):

if abs(edge['weight']) > 0.5:

g.edges[i]['width'] = abs(edge['weight']) * 10.0

else:

g.edges[i]['width'] = 0.0

# 確認

g.edges

今回は相関係数の絶対値が0.5以上のエッジを強調してみます。

インタラクティブなグラフをhtmlで保存

作成したグラフをhtmlで保存します。

# ボタンやバーなどのGUIを有効にする
g.show_buttons(filter_=['physics', 'nodes'])  # 一部の機能のみ使用
# g.show_buttons(True)   # 全機能使用

# グラフをhtmlで出力
g.show("boston-corr.html")

# ボタンやバーなどのGUIを有効にする

g.show_buttons(filter_=['physics', 'nodes']) # 一部の機能のみ使用

# g.show_buttons(True) # 全機能使用

# グラフをhtmlで出力

g.show("boston-corr.html")

適当なブラウザ（Chromeなど）で”boston-corr.html”を開けば、以下のようにグラフをぐりぐり動かせます。