St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

HugoをCentos7にインストールしたのでその作業メモ

こんにちは。Hugoを導入したので、その作業メモを残します。 〇Hugoとは 静的なHTMLを作成することができるGo言語製の静的ページジェネレーターです。 Web : Hugo | A Fast and Flexible Website Generator Github : GitHub - gohugoio/hugo: A Fast and Fle…

フォンミーゼス・フィッシャー分布 ( von Mises-Fisher distribution)とは何なのかをPythonを使って確かめる(最尤推定もしてみた)

こんにちは。今日は「フォンミーゼス・フィッシャー分布 ( von Mises-Fisher distribution)」について調べたのでそのことについてまとめます。PRMLの2章にも出てくる分布です(2章はこの前勉強会で話したんですがしんどかったです)。 ◯フォンミーゼス・フィッ…

「異常検知と変化検知~機械学習プロフェッショナルシリーズ~」を読んで勉強会も開いて関連の情報とかも調べたのでまとめておく

こんにちは。※このエントリは、途中ですが資料の共有とかのため、突貫で体裁だけ整えて掲載しています。異常検知と変化検知の分野は、初心者なので、「こんな手法あるよ」とか「こんな論文面白いよ」とかあれば教えてほしいです。 読んだ本 最近某勉強会でい…

kerasでmultiple (複数の) 入力 / 出力 / 損失関数を扱う時のTipsをまとめる

こんにちは。 〇この記事のモチベーション Deep Learningで自分でモデルとかを作ろうとすると、複数の入力や出力、そして損失関数を取扱たくなる時期が必ず来ると思います。最近では、GoogleNetとかは中間層の途中で出力を出していたりするので、そういうの…

よく使うDockerのコマンドとかやることとかをまとめておく

こんにちは。人間の記憶要領には限界があります。私はもう大学以降の記憶しか残っておらず、友達や家族と話す昔話に対し、ほぼ全て「えーそうだっけ笑」と答える始末です笑。ということで、Dockerでよくつかうコマンドとかをまとめておきます(覚えたやつは逆…

【Python3】 functools.reduceの使い方

こんにちは。python2では標準の関数として実装されていたreduce関数ですが、python3では、functoolsのモジュールからインポートしないと使用できないようになりました。今回はこのreduceについてまとめます。 ◯reduce関数とは reduceの主な目的は、複数の値…

[Python] reprlibを使って出力文字列の長さを制限する

こんにちは。最近pythonを勉強していて、こうやって出力を返せば良いのかと納得したのがあったので、それについて紹介します。 ◯出力はしたいが、長さは制限したい debugとかをする際に、値の出力はしたいんだけど、その出力が長すぎるのもいやだみたいなと…

Goのインストール(Windows)

Go

こんにちは。ちょっと前からGoを使ってWebアプリケーションを作ってみようと思っていて、遅ればせながらちょいちょい作っていくことになりました。まずはインストールしましたので、実行できるかまでの作業ログを残します。 ○環境 Windows 10 64bit ○Goのイ…

【Progressive Growing of GANs for Improved Quality, Stability, and Variation】を読んだのでまとめる

こんにちは。GANの発音を、「ガン」 or 「ギャン」のどっちかと言われたら、「ガン」な私です(いやまぁ気持ちだけ…)。さて、先日某つぶやきサイトに流れてくるつぶやきを眺めていたら、衝撃的な動画を見つけました。ぐぉォォ。。。マジカ。==Progressive G…

専属の採用担当者というのは、もうあってはならないのかもしれない

こんにちは。また採用を頑張らないといけないのですが、やっぱ採用って激ムズパラダイスだなと思っていて、なんでかっていうと、採用だけで完結しない要素が多すぎるからです(ツラミ)。今日はそのあたりについて徒然と書いていこうかと(注意:これは採用経験…

【Deep Learning】 Batch sizeをどうやって決めるかについてまとめる

こんにちは。Deep Learningを自分でゼロから組んで(fine tuningとかではなく)、全部ゼロから学習させるのって大変ですよね。特に、ハイパーパラメーターの設定にすごく悩みます。トップカンファレンスに出されているような高精度の論文では、そういうハイパ…

Pythonのクラスメソッド(class method)の定義の仕方とstaticmethodとの違い

こんにちは。今日は上の件について書きます。 ○クラスメソッド (class method) とは クラスメソッドとは、クラス内で定義されたメソッドで、インスタンス化しなくても呼び出すことができるメソッドのことです。これは、インスタンスではなくて、クラスそのも…

PandasのDataFrame / Seriesでリスト内の要素にマッチする or しない行 (row) だけ取り出す

こんにちは。今日はpandasのメモを。 〇やりたいこと listとかでよくやる以下みたいな判定をやりたいんです。 list_data = [1,2,3,4,5] if 1 in list_data: print('あります') else: print('ありませんでした') このような、in演算子を用いて、リスト内に含…

chardetを使って文字コードを判定する

こんにちは。今日は文字コードの判定について書きます。 ◯文字コードの識別 もう基本UTF-8にしろよって感じなんですけど、たまにアップロードされたファイルの文字コードがなにか知りたいとかっていうシーンがあります。今回はそれをPythonでやろうというも…

Centosでよくする作業のメモとか

こんにちは。以下、Centosでよく行う作業のメモです。 Centosの環境 〇現在利用しているCentos CentOS Linux release 7.3.1611 (Core) 〇Centosのバージョンの確認とOSが32bitか64bitかの確認 バージョンの確認は以下の通りで行えます。 cat /etc/redhat-rel…

「Xception: Deep Learning with Depthwise Separable Convolutions」を読んで勉強したので参考になった資料とかまとめておく

こんにちは。今Deep Learningの論文紹介をやっているのですが、私が紹介しようかなと思った論文がKerasの作者でもある@fcholletさんのCVPRの論文でした。It's official: my paper "Xception: Deep Learning with Depthwise Separable Convolutions" was acce…

「API Blueprint」を使ってWeb APIの仕様書を書くことになったのでその時に調べたこととかをまとめる

こんにちは。APIの仕様書をチームで書いて、その仕様書を元にガリガリ実装していくことになったのですが、今回「API Blueprint」というものを初めて使ったので、その時に調べたこととか参考になったサイトとかをまとめます。 〇本家のサイト 本家のサイトは…

sshfsを使ったのでまとめる(Centos 7)

こんにちは。sshfsをCentos7で使って、リモートのサーバーにあるファイルをマウントする処理を行おうと思い、やりましたのでメモしておきます。 〇Centosの環境 $ cat /etc/redhat-release CentOS Linux release 7.3.1611 (Core) 〇sshfsのインストール 世の…

GPUを使用する時によく使うコマンドとかまとめた

こんにちは。 ○GPUの種類の確認 lspci | grep -i nvidia ■参考 GPU関連でよく使うコマンドまとめ - Qiita ○nvidia driverのバージョン確認コマンド cat /proc/driver/nvidia/version ○nvidia-smiコマンド オプションはたくさんあります。よく使うコマンドと…

Neural Networkで使う活性化関数について調べたのでまとめてみた

こんにちは。ニューラルネットワークでは活性化関数を設定する必要があるわけなんですが、その活性化関数の種類は知っていてもどんなときにどんなものを使うといいか、なんかそのイメージがぱっとわくものがないかなぁと思って、調べてみました。 ○活性化関…

keras(tensorflow/theano/cntk)でGPUをnvidia-dockerから使ってみた (+αでLasagneも入れた&Dockerfileも作った)

こんにちは。今回は、主にDeep LearningをGPUで実行できる環境をDockerで作ってみました。主に入れたものは以下のものです。 keras=2.0.8 tensorflow_gpu=1.3.0 theano=0.10.0beta3 # 特定のチャンネル内に存在するパッケージ。理由は下記参照。 cntk=2.1 la…

Ubuntu 16.04 に R と Rstudio をインストール

こんにちは。 環境 DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.3 LTS" Rのインストール 本家のサイトに従い、インストールを進めていきます。 ■/etc/apt/sources.listを編集 まず、Ubuntuのバージ…

データフロー図(Data Flow Diagram, DFD)をAtom上でMarkdownで書く方法を調べたのでまとめた(mermaid.js)

こんにちは。今やっているデータ分析のデータフローが結構ややこしいので、しっかりとDFDを作ることにしました。とはいえオブジェクトをGUIでグリグリ編集するのめんどくせぇので、Atomで書けるツールみたいなので、Markdownとかで気軽に編集できるものがな…

pyenvメモ(Anaconda/virtualenvとの違いについても比較してみた)

こんにちは。私は圧倒的Anaconda派閥なのですが、ドキュメントにpyenvを使えというお達しがあったので、「郷に入っては郷に従え」の名のもとに、使います笑。存在や機能は知っていたのですが、正直真面目につかったことがなかったので、入門します。 ◯そもそ…

社会にも出てない大学生だけどITベンチャー企業の人事(採用)は難しいというのを痛感しているのでまとめた

こんにちは。今日は、タイトルにある通りな話を書こうと思います。 ◯お前は何か書ける程なにかしているのか していません(笑)。一応人事っぽいことはしていますし、勉強はしていますが、こんなことは私みたいなミーハー野郎が書くべきものでもないのですし、…

マーケット感覚を身につけよう---「これから何が売れるのか?」わかる人になる5つの方法を読んだ

こんにちは。最近、本を貪っているのですが、今日は以下の本を読んだので、そのことについて書きます。 ◯読んだ本 読んだ本は、以下の「マーケット感覚を身につけよう---「これから何が売れるのか?」わかる人になる5つの方法」という本。別にこの本は関係な…

Ubuntu 16.04でDocker CEをインストールしてNVIDIA DriverとNVIDIA Dockerを入れるまでやった作業メモ

こんにちは。今日は研究でGPUを使うことになったので、Dockerでやるかと思い、この記事を作業メモとして残す意味を込めて書こうと思います。 ○なぜDockerでGPUを動かすのか ガチでやると設定が面倒な記憶しかない。 ミスって時間を潰している人生の余裕がな…

「DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS」の論文を読んだ

こんにちは。今日は別の研究室とうちの研究室で合同でやっているDeepLearning勉強会があり、そこで「DIET NETWORKS: THIN PARAMETERS FOR FAT GENOMICS」の論文について発表したので、その際に作った発表資料とかメモとかを投稿しようと思います。概要とか途…

Webpackを使う関係で勉強しましたのでまとめる[随時更新]

こんにちは。Webpackをガリガリ使うようなプロジェクトにかかわる事になったので、勉強しました。そのメモです。 〇環境 Centos7, 64bit 〇本家のサイト 正直、こういうの勉強するときに英語さえ読めれば本家のサイトをめんどくさいけど読んだ方が最終的には…

Centos7にNode.jsをインストール

こんにちは。Centos7にNode.jsをインストールしたので、その作業メモを残しておこうかと思います。 〇環境 Centos7, 64bit 〇参考資料 正直、この手のインストールネタは直に意味をなさなくなるのと、もう既に良いサイトがたくさんあるので、そちらをみまし…