機械学習

【構造学習】CausalNexで有向非循環グラフ(DAG)推定 -説明変数(テーブルデータ)の因果推論に挑戦-

CausalNexで因果推論

こんにちは。

現役エンジニアの”はやぶさ”@Cpp_Learningです。最近、因果推論・因果探索を勉強してます。

今回は有向非循環グラフ(DAG:Directed Acyclic Graph)を推定する構造学習(Structure Learning)について勉強しました。

実践としてテーブルデータから説明変数を定義し、変数間の因果関係を推論するソースコード作成にも挑戦たので、備忘録も兼ねて本記事も書きます。

因果ダイアグラム -グラフ表現と因果関係について-

変数間の因果関係をグラフで表現したものを因果ダイアグラムと呼びます。下図は変数xと変数yの因果関係を表現した因果ダイアグラムです。

有向グラフ
有向グラフ
無向グラフ
無向グラフ

変数xが変数yに影響を与えるなど、向きが明確な場合は矢印(有向エッジ)を用います。一方、因果はあるけど、向きが分からない場合は線のみ(無向エッジ)で結合します。

ここでいう変数(青●)をノード、矢印をエッジと呼ぶこともあります。グラフ関連の用語については、以下の記事で紹介しています。

グラフ
PyTorch GeometricでGraph Neural Network(GNN)入門グラフニューラルネットワーク(GNN:graph neural network)とグラフ畳込みネットワーク(GCN:graph convolutional network)について勉強したので、内容をまとめました。PyTorch Geometricを使ったノード分類のソースコードも公開しています。...

循環グラフとは

下図のように、あるノード(変数zなど)を起点としたとき、巡り巡って変数zに戻ってくるグラフのことを循環グラフ(または巡回グラフ)と呼びます。

循環グラフ

有向非循環グラフ(DAG:Directed Acyclic Graph)とは

本記事では代表的な因果ダイアグラムの有向非循環グラフを扱います(下図参照)。

有向非循環グラフ

有向は矢印、非循環はループ無しというの意味です。つまり有向非循環グラフとは、因果関係を有向エッジで表現し、かつ(非循環なので)ループせずに必ずどこかのノードが終点となるグラフのことです。

ベイジアンネットワーク

ノード間の因果関係をグラフと条件付き確率表(CPT:Conditional Probability Table)で表現したものをベイジアンネットワークと呼びます。

ベイズネットワーク

構造学習とは

今まで説明したグラフ構造(またはネットワーク構造)を推定する手法に構造学習があります。

本記事の後半で、構造学習による観測データの因果関係を考慮したネットワーク構造(DAG)推定に挑戦します。

DAG推定後、条件付き確率まで算出することも可能です。つまり構造学習でベイジアンネットワーク推定もできます。

構造学習用のPythonライブラリ CausalNex

今回は構造学習用のPythonライブラリ CausalNex を使います。

CausalNexの特徴
  • 最先端の構造学習手法 DAG with NO TEARS を使用できる
  • ドメイン知識によるグラフ補正機能あり
  • 各変数の因果関係を考慮したグラフ構造を推定できる
  • 推定結果のグラフを簡単に可視化(変数間の因果関係を目視確認)できる
  • 条件付き確率も算出できる

など

公式Githubに書いてありますが、以下のコマンドで簡単にインストールできます。

pip install causalnex

スポンサーリンク

実践!構造学習 -テーブルデータからDAGを推定-

機械学習チュートリアルでお馴染みの ボストンの住宅価格データセット を採用し、目的変数の住宅価格(PRICE)と各説明変数との因果推論に挑戦します。

Import

まずはimportから

データセットをダウンロード

データセットをダウンロードし、テーブルデータの中身を確認しておきます。

ボストン市の住宅価格データセット

構造学習によるDAG推定

CausalNexを使えば、わずか1行でテーブルデータからDAGを推定できます。

DAG(ネットワーク)可視化

推定結果のグラフ(ネットワーク)構造を NetworkX で可視化します。

CausalNexで因果推論

因果関係の強弱をエッジ(矢印)の太さで表現しています。例えば、NOXはB/AGE/TAXと強い因果関係があることが分かります。

因果関係の弱いエッジを削除

因果関係の弱いエッジ(線が細い矢印)を削除してから、再び可視化します。

CausalNexで因果推論

スッキリしたグラフになりました。さてエッジを確認すると、目的変数のPRICEと因果関係のある説明変数がRM/CHAS/NOX/DISだと分かります。

特にRM(部屋数)から伸びるエッジは太いので「部屋数が住宅価格に強い影響を与える」という推定結果です。

そのグラフ推定結果は適切か?

データを活用して何かするとき、手元にある観測データのみから、各種検討している点について、常に意識する必要があります。

例えば、機械学習(本記事では構造学習)などを使う際、観測データのみからモデル生成している点について、注意が必要です。

CausalNexで因果推論

改めて上図のグラフを見ると、CHAS ⇒ PRICE を確認できますが、CHAS(川辺の家か否か)が住宅価格に直接影響を与えるものでしょうか?

美味しい魚が大量にとれる川なら、その土地の価値は高そうですし、川の氾濫などの災害を考慮した丈夫な住宅なら、住宅価格は高そうです。他にも文化的に価値の高い川とか…

要するに 川(特徴的な土地)⇒ ○○ ⇒ 住宅価格 という因果関係が常識的な気がします。

また PRICE ⇒ TAX/B という因果関係も確認できます。今回は住宅価格に影響を与える説明変数を知りたいので、HOGE ⇒ PRICE と逆向きのエッジあるいはノードは削除して良いと思います。

ドメイン知識・常識的な知識・モデル生成に使用しなかった情報なども考慮して、推定結果を考察することが重要です。

私は住宅価格に関するドメイン知識を持っていません(*・ω・)ノ♪

ドメイン知識によるグラフ補正

NetworkX にはドメイン知識によるグラフ補正機能があります。今回は TAXとBのノード削除 CHAS ⇒ PRICE のエッジ削除 をしてみます。

CausalNexで因果推論

今回はエッジやノードを削除する補正をしましたが、追加する補正もできます(例えば AGE ⇒ PRICE のエッジ追加 など)

以上から PRICE(住宅価格)に影響を与える説明変数は RM/NOX/DIS で、特にRM(部屋数)の因果関係が強いという推定結果でした。

つまり RM/NOX/DIS のみから、PRICE を推定できる見込みがあります。

【おまけ】モデル説明性・解釈性と因果推論の紐づけ

実は下記の記事でも、重要な説明変数(特徴量)を把握するために、色々トライしています。

モデル解釈性
機械学習モデルの説明性・解釈性について -SHAPによる実践あり-こんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。仕事でもプライベートでも機械学習で色々やってます。 ...

この記事では LSTAT も重要という結果でしたが、RMとLSTAT に相関関係があるので、最終的には「RMが分かれば、ある程度PRICEを推定できそう」という結論でした。

今回の構造学習でも RM ⇒ LSTAT の因果関係を確認でき、かつ RM ⇒ PRICE の因果関係が強いことも分かったので、「RMさえ分かれば良いかも」という同じ結論を出せます。

各種検討を行い、多角的な視点で考察することが重要です(自論)

まとめ

本記事で以下の内容を説明しました。

  • 有向非循環グラフ(DAG:Directed Acyclic Graph)の概要
  • 構造学習というグラフ(ネットワーク)推定手法について
  • 構造学習用のPythonライブラリ CausalNex の紹介
  • テーブルデータのグラフ推定から可視化までの実践ソースコード
  • データや推定結果を疑うマインド(考え方)について

本記事が少しでも参考になれば嬉しいです。また内容の誤りに気付いた人は、優しく教えて頂けたら嬉しいです。

因果推論は奥が深いので、もっと勉強したいと思いました。

はやぶさ
はやぶさ
以下の本読んで勉強します!

 

PICK UP BOOKS

  • 数理モデル入門
    数理モデル
  • Jetoson Nano 超入門
    Jetoson Nano
  • 図解速習DEEP LEARNING
    DEEP LEARNING
  • Pythonによる因果分析
    Python