読者です 読者をやめる 読者になる 読者になる

St_Hakky’s blog

心理学/人事/就活/留学/データサイエンス/バイオインフォマティクス/日頃思ったことについて書きます。

勾配降下法について調べてまとめてみた

こんにちは。

今までなんとなくなーなーで勉強していたGradient Descentですが、ちゃんと調べて見ました。

OverViewの論文があって(元はブログの投稿なので、これはそうというのかわからないけど)、今回それを読みつついろんな資料を漁る方式で勉強しました。

○読んだ論文とスライド

最近自分で話そうと思ってまとめるといい感じで頭に入ることを学習したので、しっかり読もうと決めたものは資料にしています。笑

■一言まとめ

めんどくさかったら、とりあえずAdam使っとけってことですね笑

○Gradient Descent周りの参考資料の一覧

上記の論文とスライドを読むときに参考になったのが以下の資料です。

■Nadam
■Advanced Strategy of SGD


何か有益な情報やサイトがあれば教えてください笑

それでは。