朝起きて、すぐに研究室に行く。昨日、実行しておいたプログラムは計算量が重く、一晩中回しても全体の 20% ほどしか進んでおらず、結果を見ることはできなかった。このマシンのスペックをもってして、一晩で計算が終わらなければ、世の中に普及している一般的なマシンでは一日回しても無理だろう。
それで、現実的な実行時間で終わるよう調整したんだが、今度は学習率によってはパラメタが発散してしまう。かといって学習率を小さくすると全く学習が進まない。たぶん、最初は大きい値にしておいて、だんだん小さくするのが良いのだろう。調べると学習率を動的に調整するアルゴリズムはよく研究されていて、AdaGrad というのが理解も実装も簡単だったので導入してみると、発散することもなくなったし収束も速くなった。ほんとうは Adam というのが state-of-the-art な手法らしいが、そのうち試そうと思う。
夜は研究室の仲間たちと飲みに出かけた。
