Factorization Machines の学習なんだが、昨日 AdaGrad を実装したんだけれど、収束が遅すぎて使い物にならず、結局 RMSprop、AdaDelta、Adam と、メジャーな手法の全てを試して見る羽目になった。POSTD の記事を読むに AdaDelta が良さそうに思えたんだが、完璧理論を理解できなかったのと、Adam の方が性能が良いという議論があって、Adam を使うことにする。実装して様子を見てみると、なかなかいい感じで学習が進んでいる。
この 2,3 日で小手先の技術についてかなり学びがあった気がする。やはり自前で色々作ってやってみるというのが勉強になる。内定先での仕事が不安だったけど、結構大丈夫なんじゃないかなって気持ちになってきた。夏休みに勉強したことが効いてきている。地道にやるしかない。
