・2 min read
【Luigi】【Windows】Central Schedulerを表示する
概要
機械学習とかでデータの前処理を行う時、最近はパイプライン処理フレームワークのLuigiを使っています。
Luigiを使うとデータの流れを把握しやすくなり、Central Schedulerという管理画面を通してバッチ毎の依存関係を把握することができるため大変助かっているのですが、
WindowsでLuigiの管理画面(Central Scheduler)を表示する際には注意が必要なのでここに記しておきます。
Luigiを使うとデータの流れを把握しやすくなり、Central Schedulerという管理画面を通してバッチ毎の依存関係を把握することができるため大変助かっているのですが、
WindowsでLuigiの管理画面(Central Scheduler)を表示する際には注意が必要なのでここに記しておきます。
Luigiのインストール
Powershellかコマンドプロンプトを開いて、
pip install luigi
でインストール
Linuxでインストールした場合は、luigidというコマンドが一緒にインストールされ、このコマンドでCentral Schedulerを起動することができるのですが、Windowsだとなぜかluigidコマンドがないんです。。。
Linuxでインストールした場合は、luigidというコマンドが一緒にインストールされ、このコマンドでCentral Schedulerを起動することができるのですが、Windowsだとなぜかluigidコマンドがないんです。。。
luigid.batを作成
じゃあどうするかと言うと、linuxのluigidコマンドが内部でやっていることをWindowsで実行してあげる必要があります。
luigidの中身は簡単に言うと、
(luigiダウンロード先パス)/server.py
を実行して上げているだけです。
なので、Windowsでもこのpythonスクリプトを叩くbatファイルを作成して上げれば、luigidと同じ事が実現できます。
なので、Windowsでもこのpythonスクリプトを叩くbatファイルを作成して上げれば、luigidと同じ事が実現できます。
というわけで早速、luigiのインストールパスを調べていきます。
# luigiのインストール先フォルダを調べる
pip show luigi
これで色々な情報が出てくると思いますが、その中に「Location:」という欄があると思います。
これがpipでインストールしたluigiのインストール先ディレクトリです。
これがpipでインストールしたluigiのインストール先ディレクトリです。
Location: (pythonパッケージ用ディレクトリ)\site-packages
あとはこの配下に置いてあるserver.pyを叩くbatファイルを作ってあげます。
ファイル名はなんでもいいですが、「luigid.bat」みたいな名前でbatファイルを作って、
以下の二行を書いて保存します。
ファイル名はなんでもいいですが、「luigid.bat」みたいな名前でbatファイルを作って、
以下の二行を書いて保存します。
start chrome http://localhost:8082
python (pythonパッケージ用ディレクトリ)\site-packages\luigi\server.py
二行目だけでも良いんですが、一行目を書いて上げると自動でブラウザアクセスまで完了するので楽です。
以上、WindowsでLuigiのCentral Scheduler立ち上げでしたー。
以上、WindowsでLuigiのCentral Scheduler立ち上げでしたー。
