2017-09-18

【Python】季節性分解実行時のエラーへの対処

季節性分解のやり方を調べていると、seasonal_decomposeメソッドを利用すれば良いことが分かりました。ただ、実行すると

TypeError: ‘numpy.float64’ object cannot be interpreted as an integer

というエラーが出てしまいました。

import statsmodels.api as sm

df = pd.read_csv('time_series_data.csv', index_col=0)
df = df.reset_index()
df['datetime'] = pd.to_datetime(df['datetime'], format='%Y/%m/%d')
df['y'] = df['y'].values.astype(float)
df = df.set_index(['datetime'])
# ここでエラー
res = sm.tsa.seasonal_decompose(df.values, freq=7)
res.plot()
plt.show()

このエラーはstatsmodels\tsa\filters\filtertools.pyの下記コードを

elif nsides == 2:
    trim_head = np.ceil(len(filt)/2.) - 1 or None
    trim_tail = (np.ceil(len(filt)2.) - len(filt) % 2) or None

下記のように書き換えると動作するようになりました。

elif nsides == 2:
    trim_head = np.ceil(len(filt)/2.) - 1 or None
    trim_head = (int)(trim_head)
    trim_tail = (np.ceil(len(filt)2.) - len(filt) % 2) or None
    trim_tail = (int)(trim_tail)

2017-09-18

【Python】ピリオドグラムを描画する

Python 時系列分析

グラフの周期を調べるためピリオドグラムの描画方法を調べていたのですが、statsmodels.tsa.stattoolsのperiodogramを使えば良いようです。

from statsmodels.tsa.stattools import periodogram

data = np.array([0.0, 1.0, 0.0, -1.0, 0.0, 1.0, 0.0, -1.0, 0.0, 1.0, 0.0])
pg = periodogram(data)
plt.plot(pg)
plt.show()

2017-09-13

【WPF】画像ファイルをBitmapImageに読み込むと、その画像ファイルを削除できなくなるケースの対処法

C# WPF

Imageクラスに画像を表示するため下記のようなコードを書くと、画像ファイルを消去するときに例外が出てしまいました。

// 画像を読み込む
var bmp = new BitmapImage(new Uri(filePath));
// Imageに表示する
SomeImage.Source = bmp;

// もう画像を表示する必要は無い
SomeImage.Source = null;
// 画像ファイルも不要。でもファイルがロックされっぱなしで消せない
File.Delete(filePath);

上記問題に対する対処法が以下に書かれていました。感謝です。

ファイルから解放可能なBitmapImageを読み込む。 - Neareal

2017-09-02

【Python】フレームワークによるBatchNormalizationのmomentumの違いについて

Python Keras Deep Learning

KerasのBatchNormalizationの引数momentumはデフォルト値が0.99です。一方でTorchのBatchNormalizationの引数momentumはデフォルト値が0.1のようです。
いくらフレームワークが違うといっても、ここまで初期値が違うものかと調べてみると、Kerasは下記式のαをmomentumと呼んでいて（Tensorflowのassign_moving_averageメソッドまで辿るとmomentumではなくdecayという名前に変わっています）、Torchは1-αをmomentumと呼んでいるようです(Batch Normalization Momentum? · Issue #695 · torch/nn · GitHub)。

$MovingAverage(t)=MovingAverage(t-1)×α+BatchAverage(t)×{(1-α)}$

TorchのプログラムをKerasに移植する、またはその逆を行う場合には注意が必要そうです。

2017-08-30

【Python】 AUC計算方法のメモ

Python 機械学習

PythonでAUCを計算する方法を探していたのですが、下記がコードも掲載されており詳しかったです。

qiita.com

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_curve, auc

classifier = RandomForestClassifier()
predictions = classifier.predict_proba(X)
precision, recall, thresholds = roc_curve(Y, predictions[:,1])
score = auc(precision, recall)

2017-08-29

【ディープラーニング】 "37 Reasons why your Neural Network is not working"のまとめ

Deep Learning

下記の記事がためになったため、まとめてみました。 blog.slavv.com

まず調べる事

上手くいくことが分かっている事から始める。例えば画像であればVGGを使ってみる等。ロスも独自の定義ではなく標準のものを使う
正則化やデータ拡張等のオプションを全て止めてみる
ファインチューニングを行おうとしているのであれば、元のモデルと前処理の方法が同じか確認する
入力が正しいか確認する
小さなデータセット（2～20）で始めて過学習させる。その後徐々にデータを増やす
正則化、データ拡張、カスタムロス、複雑なモデル等、止めたオプションを徐々に加えていく

次に調べる事

1. データセットの問題

入力の中身が正しいか調べる
でたらめな入力を入れてみて症状が変わらなければネットワーク側の問題かもしれない
データローダーをチェックする。入力は問題無くてもネットワークに渡す過程に間違いがあるかも。ネットワーク側で受け取った入力をprintしてみる
入力と出力の対応が取れているか確認する。誤って入力だけシャッフルして入力と出力の対応がでたらめになるケースがある
入力と出力に関係が存在するか確認する。入力と出力の関係がランダムの場合は学習できない
出力のラベルミスが無いか確認する
データをシャッフルしてみる
ロス関数を工夫する等、不均衡データ問題を解消する（8 Tactics to Combat Imbalanced Classes in Your Machine Learning Dataset - Machine Learning Mastery）
十分な学習データがあるか？一般的にクラス分類では各クラスに1000個はデータが必要と言われている
バッチ内に複数のラベルが含まれているか確認する
大きすぎるバッチサイズは汎化性能を劣化させる（[1609.04836] On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima）（メモ：ここまで大きなバッチサイズで学習させることは無いから気にしなくて大丈夫そう）

Addition1. ネットワークの正しさを検証するため、MNIST, CIFAR10等既知のデータセットでまず試す

2. データ正規化／拡張

入力を標準化してみる
データ拡張した画像枚数が多すぎないか？データ拡張は正則化の効果があり、L2正則化やドロップアウトと組み合わせることでアンダーフィットする可能性がある
転移学習を行う場合、事前トレーニングしたモデルの前処理と同じ前処理を施しているかを確認する
学習用／検証用／テスト用画像への前処理を確認する。統計処理は学習用データに対して行い、その値を検証用／テスト用画像に用いる

3. 実装の問題

問題設定を簡単にする。例えばモデルがクラスと座標を予測しようとしているのであれば、クラスのみを予測するよう変更してみる等
Look for correct loss “at chance"（メモ：意味が分からず）
ロス関数にバグが無いか調べる（独自ロス関数を作成した場合）
ロス関数に正しい入力が渡っているか調べる
複数のロス関数を適用している場合、それらの重みを調べてみる
ロス値以外のメトリクスを観察してみる
自作のレイヤーがあればそれを調べてみる
意図せず重みを更新しない設定のレイヤーが無いか調べてみる
問題が複雑すぎる場合、レイヤーの数を増やしてみる
次元のミスを疑ってみる。入力サイズが(64, 64, 64)といった場合、どれが何を表すのかは容易に間違えてしまう
自作の最適化を適用している場合、そこを見直してみる

4. トレーニングの問題

小さなデータセットで試してモデルが過学習を起こすか確認する（過学習しない場合は何かがおかしい）
重みの初期化方法を確認する。良く分からない場合、"Xavier"か"He"の初期化を利用する。
ハイパーパラメータを変えてみる
正則化を緩める。ドロップアウト、バッチノーマライゼーション、L2正則化等を弱めてみる。“Practical Deep Learning for Corders”では、まずはアンダーフィットをさせないようアドバイスしている
時間をかける。もしロス値が下がり続けているようであれば学習を続けてみる
学習からテストモードへ変更してみる。ディープラーニングフレームワークの中には学習モードとテストモードでバッチノーマライゼーションやドロップアウトの振る舞いが変わるものがある
学習を視覚化してみる。TensorboardやCrayonを利用してみる。活性化関数にあまりに大きな値が流れ込んでいる場合はバッチノーマライゼーションやELUsを試す。
異なる最適化手法を適用する
大きすぎる勾配、もしくは勾配消失が起こっていないか確認する
学習係数を変えてみる
NaNが出たら、①学習の初期段階でNaNが出たら学習係数を下げてみる　②ゼロ割もしくは自然対数に0以下が入力されていないか確認する　③ここを参考にする　④レイヤー毎にどこでNaNが発生したか確認する

2017-08-23

【WPF】 DataGridの一番下に表示される空白行を表示させない方法