こんにちは。今日は、airflowと戯れていたら、なんかバグを踏んだか何かをしたので、それについて書きたいと思います。 やりたいこと KubernetesPodOperatorにdag_run.confをenv_varsのパラメーター経由で渡して、そのenv_varsに、実行日を渡して、どの日の…

こんにちは。今仕事でメモリ使用量を最適化するような感じのタスクをやっていて、docker-composeのメモリ使用量を制限するやり方みたいなのを調べたのでまとめておきます*1。docker-composeのversion3を使っているのですが、version2のやり方で行けるかなー…

こんにちは。自分でECSとか触って開発することになったので、そのやり方とかまとめておこうと思います。 ECSとは AWSのコンテナ管理のマネージドサービス。ぐだぐだ私が説明するよりも、ぶっちゃけ世の中に良き記事が出すぎて、改めて書く必要もなし。 AWS B…

こんにちは。人間の記憶要領には限界があります。私はもう大学以降の記憶しか残っておらず、友達や家族と話す昔話に対し、ほぼ全て「えーそうだっけ笑」と答える始末です笑。ということで、Dockerでよくつかうコマンドとかをまとめておきます(覚えたやつは逆…

こんにちは。 ○GPUの種類の確認 lspci | grep -i nvidia ■参考 GPU関連でよく使うコマンドまとめ - Qiita ○nvidia driverのバージョン確認コマンド cat /proc/driver/nvidia/version ○nvidia-smiコマンド オプションはたくさんあります。よく使うコマンドと…

こんにちは。今回は、主にDeep LearningをGPUで実行できる環境をDockerで作ってみました。主に入れたものは以下のものです。 keras=2.0.8 tensorflow_gpu=1.3.0 theano=0.10.0beta3 # 特定のチャンネル内に存在するパッケージ。理由は下記参照。 cntk=2.1 la…

こんにちは。今日は研究でGPUを使うことになったので、Dockerでやるかと思い、この記事を作業メモとして残す意味を込めて書こうと思います。 ○なぜDockerでGPUを動かすのか ガチでやると設定が面倒な記憶しかない。 ミスって時間を潰している人生の余裕がな…

こんにちは。私はいま諸事情があり、Windowsを使っているんですが、もう耐えられないのでCentos7に逃げてます(笑)今日はDockerをいれたので、そのメモを残しておきます。 〇環境と入れるもの DockerのCEを今回はいれます。Centos7, 64bit 〇Prerequisites Do…

こんにちは。私の愛するMacがお亡くなりになられてからというものWindowsと過ごしているのですが、先日開発でDockerを使うためにインストールしようと思ったら色々ハマったのでそのメモをします。 ◯WindowsでDockerって無料だとアレなのね(泣) Docker for WI…