joblib によって謎のバグが起こる

公開日： 2019/12/27 : Python, 作業メモ

joblib 0.14.1 にて確認．0.13.2 だと起こらない．import joblib を消すと正常に動く．

#! /usr/bin/env python
# -*- coding: utf-8 -*-
# vim:fenc=utf-8

import pandas as pd
import multiprocessing
import os

import numpy as np
import pandas as pd
import joblib


def method(df_path):
    print("starting method")
    df = pd.read_pickle(df_path)
    print("pickle loaded")
    df.copy()
    print("exit method")


def main():
    df = pd.read_pickle("df")
    df.copy()

    print("Starting pool")
    pool = multiprocessing.Pool(1)
    pool.map(method, ['df' for _ in range(10)])


if __name__ == "__main__":
    main()

#! /usr/bin/env python

# -*- coding: utf-8 -*-

# vim:fenc=utf-8

import pandas as pd

import multiprocessing

import os

import numpy as np

import pandas as pd

import joblib

def method(df_path):

print("starting method")

df = pd.read_pickle(df_path)

print("pickle loaded")

df.copy()

print("exit method")

def main():

df = pd.read_pickle("df")

df.copy()

print("Starting pool")

pool = multiprocessing.Pool(1)

pool.map(method, ['df' for _ in range(10)])

if __name__ == "__main__":

main()

このように Main Thread で Pandas のデータフレームの何かしらの操作を行った上で， multiprocessing.Pool.map をすると map 内部の処理がハングする．DataFrame の内部のデータの種類，もしくは量によって起こる起こらないがあるみたいだけど未確認．ここでの pickled data は公開できないため，これでとどめておく．

Issue あげときました．

Joblib makes pandas’ data manipulation hang with multiprocessing.Pool. · Issue #980 · joblib/joblib

GitHub is where people build software. More than 40 million people use GitHub to discover, fork, and contribute to over 100 million proje...

About Fx-Kirin

2009年10月にFXを開始、翌年2010年5月から脱サラをしてFX業界に専念。 2012年10月頃から本格的に勝ち始め、一月で資産を倍にする、2年半月間負けなし等、安定した収支で2013年11月に生涯FX収支が1億を超える。投資スタイルはシステムトレード。プログラミングの知識がほぼない状態から、独学で自分がしたいと思うことであればほぼ実現することが可能なレベルまで成長。好きな言語はRuby, Python。必要となればC++からVBA、Pascal等なんでも行う。MT4/MT5のプログラミングも得意。 2011年にはFXで稼いだ資金をもとにシンガポールに移住し、留学も兼ねて起業をチャレンジするほど、ビジネスを興すことに熱意がある。国内の業者を主に使い始めたことから、2012年に帰国。零細株式会社経営中。