joblib によって謎のバグが起こる
joblib 0.14.1 にて確認.0.13.2 だと起こらない.import joblib
を消すと正常に動く.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
#! /usr/bin/env python # -*- coding: utf-8 -*- # vim:fenc=utf-8 import pandas as pd import multiprocessing import os import numpy as np import pandas as pd import joblib def method(df_path): print("starting method") df = pd.read_pickle(df_path) print("pickle loaded") df.copy() print("exit method") def main(): df = pd.read_pickle("df") df.copy() print("Starting pool") pool = multiprocessing.Pool(1) pool.map(method, ['df' for _ in range(10)]) if __name__ == "__main__": main() |
このように Main Thread で Pandas のデータフレームの何かしらの操作を行った上で, multiprocessing.Pool.map
をすると map
内部の処理がハングする.DataFrame の内部のデータの種類,もしくは量によって起こる起こらないがあるみたいだけど未確認.ここでの pickled data は公開できないため,これでとどめておく.
Issue あげときました.



About Fx-Kirin
2009年10月にFXを開始、翌年2010年5月から脱サラをしてFX業界に専念。 2012年10月頃から本格的に勝ち始め、一月で資産を倍にする、2年半月間負けなし等、安定した収支で2013年11月に生涯FX収支が1億を超える。 投資スタイルはシステムトレード。プログラミングの知識がほぼない状態から、独学で自分がしたいと思うことであればほぼ実現することが可能なレベルまで成長。好きな言語はRuby, Python。必要となればC++からVBA、Pascal等なんでも行う。MT4/MT5のプログラミングも得意。 2011年にはFXで稼いだ資金をもとにシンガポールに移住し、留学も兼ねて起業をチャレンジするほど、ビジネスを興すことに熱意がある。国内の業者を主に使い始めたことから、2012年に帰国。零細株式会社経営中。
- Web |
- More Posts (410)
Adsense
関連記事
-
-
Python での Log 収集
プロジェクトが大きくなるにつれて、プログラムの不備を見つけるのにログの構成、ログデザインを考えることが重要になってく
-
-
How to fix invisible problem of ColorDict.
Do not use .dict.dz files I encountered the problem w
-
-
Vim使いたくなったら読む
http://mattn.kaoriya.net/software/vim/20110902125512.htm
-
-
CPP extension vs Cython vs CPython on calculating the mean of numpy array
I'd like to get any feedback to make cython faster like
-
-
VimでPythonのIDE 環境を一から構築する
追記 これ見ておいたほうがいいかも。 Vimを最強のPython開発環境にする2 - Λlisue's blog
-
-
まだBokehで消耗してるの?これからはPandas-Bokehを使おうぜ
タイトルはあまり気にしないでください。全然、Bokehで消耗する価値があるとは思っています。ただ、最近Pandasの
-
-
wstring,string,wchar,char間の変換(C++)
http://d.hatena.ne.jp/nullnull7/20120626/1340703148http://s
-
-
ctypes で c_char array を c_char_p に変換する
なかなか情報がなかったのでメモ書き。
-
-
How to handle Message Boxes while using webbrowser in C#
http://stackoverflow.com/questions/9770522/how-to-handle-me
Adsense
NEW ENTRY
-
- Linux Mint 20 での日本語の設定について。
フォントの設定とかはいろいろなところで触れられているので、他にない情報だけ。 TL;DR F
-
- joblib によって謎のバグが起こる
joblib 0.14.1 にて確認.0.13.2 だと起こらない.import joblib を消
-
- Fixing kernel error AMD-Vi: Event logged IO_PAGE_FAULT on Ryzen Machine
My pc was periodically shut down on 7:40 am JS
-
- Ubuntu で仮想ディスプレイを使う
雑多な備忘録ですが、せっかくなので残しておきます。 Ubuntu 18.04 の resolv.c
-
- PYPIへの登録を10秒でできるようになる方法
pip 使ってますよね Pythonを使っている人であれば、pip installでライブラリ
Twitter
RSS
カテゴリー
-
人気記事一覧