togatttiのエンジニアメモ

過度な期待はしないでください.

fishでrbenvを使う

Ubuntuでfishを使っていて、rbenvの初期処理を実行する際に、詰まったので備忘録を残す。 最初に以下の記事を見つけて、config.fishを変更した。 qiita.com 設定内容はこれ。 togattti@dev ~> cat ~/.config/fish/config.fish rbenv init - | source でも、…

fishで、Anacondaに環境パスを通す

Anacondaへの環境パスがfishだと通ってないので、設定する。 Anaconda3のインストール先を変更しないことを前提に、以下のコマンドを実行する。 Ubuntu, MacOS set -U fish_user_paths $HOME/anaconda3/bin $fish_user_paths どうでもいいけど、anacondaユー…

日時範囲を指定して、Elasticsearchのデータを取得する。

curlで日時範囲を指定して、Elasticsearchのデータを取得する方法を示す。 取得対象のデータには、 (snip) "@timestamp" : "2017-08-16T16:51:06+09:00" (snip) のような感じで、タイムスタンプが設定されていることを前提とする。 curlで、タイムスタンプを…

embulk-parser-regexのエラー対応

Embulkプラグインのembulk-parser-regexで、regexのキーに、_(アンダースコア)を含めるとエラーになる。 regexを使う時は、キーに_を使わないようにしよう。 エラーメッセージ Error: java.util.regex.PatternSyntaxException: named capturing group is mis…

Raspberry Pi 3でPhantomJSを使う

github.com これをcloneすれば、すぐ使える。

parallel-slurpで、ファイルを並列で取得する

複数のホストから、ファイルをダウンロードする必要があったので、方法を調べた。 parallel-slurp(pslurp)という便利なものがあったので、使うことにした。 インストール OSは、Ubuntuなので、APTでインストールする。 # apt install pssh manを読むと、やり…

browsertimeで、Webページの描画過程を録画する

browsertimeを使い、Webページのロード時間を計測しながら、描画過程を録画する。 うまくいくとこんな感じで、録画できる。 browsertimeで生成されたmp4ファイル、HTMLの記述例などは、GitHubに置いた。 https://github.com/kentatogashi/example-browsertim…

外部サーバにSquid3でプロキシを立てる

プロキシを設定したときの走り書きです。 環境は、Ubuntu14.04.3 LTSです。 インストール # apt-get install -y squid3 設定ファイル /etc/squid3/squid.confをコピーして使う。特定のACLからの80と443ポートへのアクセスをフォワードするように 最低限の設…

FreeBSD10のHTTP/2設定手順

FreeBSD10で、HTTP/2の検証をしようと思ったので、設定手順を残す。 Webサーバは、Apacheを使う。 環境 OS FreeBSD10.3 必要なソフトのインストール クリーンインストール後からの作業を想定しているので、 すでに稼動しているサーバとは手順が異なるかもし…

ファイルの各行にUUIDを付加するスニペット

ログ収集ツールのfluentdのuuid_keyを使う場合、ログにUUIDを振る必要がある。 こんなときシェルスクリプトで、whileやfor、uuidgenを組み合わせて、追記していたが、 行が膨大な場合、処理の遅延が気になったので、C言語で処理するプログラムを書いた。 プ…

プレミアリーグを得点時間帯ごとにクラスタリングする

概要 スポーツの結果予想のために、最近、少しずつ機械学習に取り組んでいる。 今日は、機械学習 k-means(k平均法)を用いたクラスタリングを試してみる。 素材は、サッカーの時間帯別の得点率で、これを使いチームをクラスタリングする。 テスト用に作成し…

Kibana5.0.0に、認証、認可を実装する

概要 Kibanaを管理者以外の誰かに使わせる場合、そのユーザを認証し、閲覧できるインデックスを限定したいことがある。 Shieldという有償プラグインで認証、認可が可能らしいが、お金をかけずに実現したかった。 dev.classmethod.jp 今回は、OpenRestyを使い…

KibanaをNginxのリバースプロキシで動かす

環境 Ubuntu 16.04 Elasticsearch 5.0.0 GA Kibana 5.0.0 使用するIPは、192.168.0.2とする。 メモ 試行錯誤した結果、設定ファイルのLocationディレクティブをこうすると動作した。 location ~ (/app/kibana|/bundles/|/status|/elasticsearch|/plugins|/ti…

Elasticsearchクラスタの共有リポジトリ設定

Snapshot機能で、使用する共有リポジトリの設定方法を示す。 概要 クラスタに、共有リポジトリを設定するためには、どのノードからもアクセスできるようにファイルシステムを共有する必要がある。 今回は、NFSで、共有ファイルサーバを構築し、共有リポジト…

Elasticsearchのデータをバックアップして、別ノードにリストアする

Elasticsearchを運用していて、あるノードのデータをバックアップして、それを別のノードにリストアする方法を探した。 以前は、elasticsearch-knapsackやesclientといった方法があったらしい。 Elasticsearchのデータを簡単にimport/exportする - (゚∀゚)o彡 …

IPアドレスから、都道府県庁の緯度、経度を取得するスクリプト

Kibana4のグラフ描写で、緯度、経度が必要だったので取得するスクリプトを書いた。 書いたスクリプトはこれ。 IPアドレスから、緯度、経度を取得するスクリプト · GitHub 準備 $ gem install geoip $ wget http://geolite.maxmind.com/download/geoip/databa…

GitLab8.6.1にアップグレードで出たエラーの対処

運用しているGitLab (8.0.2)のバージョンが古かったので、 8.6.1にアップグレードしたところ、エラーが出たのでメモを残す。 環境 OS Ubuntu 14.04 GitLab アップデート前 8.0.2 アップデート後 8.6.1 インストールは、 gitlab/gitlab-ce - Packages - packa…

sedで、範囲指定してから、文字列置換を使う

sed

sedで、範囲指定してから、文字列置換する方法を備忘録として残しておく。 例えば、以下のようなファイルがあるとする。 $ cat sample_http.conf <VirtualHost example.com:80> User www Group www Port 80 SSLDisable ServerAdmin admin@example.com ServerName example.com </VirtualHost> <VirtualHost example.com:443> User www </virtualhost>…

Docker Machine にコマンドを追加する

MacOSで使う、 Docker Machine に、gcc、makeコマンド等を入れる方法を調べたので残す。 docker machineで、使われているOSは、TinyCoreLinuxというものらしい。 TinyCoreLinuxでは、tce-loadを使いパッケージをダウンロード、インストールすることができる…

SeleniumサーバをDockerで構築する

SeleniumサーバをDockerコンテナとして構築する。 すでにGitHubにdocker-seleniumというプロジェクトが出ているが、 今回は日本語環境で利用したかったので、ゼロから作り直した。 github.com 使い方 $ git@github.com:kentatogashi/docker-selenium-ja.git …

作業用Bashスクリプトのテンプレート

よく自分で書く作業用Bashスクリプトのテンプレートを残す。 気にかけていることは、 -e オプションで、エラー時点で処理終了 エラー時は、$LINENOで、該当行数出力 -x オプションで、デバッグ あたりは、必ずできるようにしてる。 余裕がある時は、 出力を…

JenkinsをDocker環境にリプレイスする

JenkinsサーバをDockerコンテナとしてリプレイスする手順を示す。 前提 Jenkinsのバックアップは、ThinBackUpプラグインを使用して取得 thinBackup - Jenkins - Jenkins Wiki Jenkinsのプラグインは、ThinBackupではバックアップされないので、手動で取得 Do…

2分でWordPressをセットアップする(Docker編)

Dockerで、WordPressのセットアップが2分でできた。 Apache、MySQL、PHP等のミドルウェアも、Docker コンテナで完結する。 コンテナは、Docker Hub にある、WordPressとMySQLの公式版を使う。 準備 $ docker-machine ssh dev $ cat setup_wp.sh #!/bin/sh do…

Ansibleで、クライアントPCのファイルの存在チェック

Ansibleを使うとき、クライアント側の実行結果をトリガーにして何かする場合、 local_actionとregisterモジュールを組み合わせれば良い。 クライアントPC側で、あるファイルの存在を確認するためには、statモジュールを使う。 使用例 一般的なAnsibleのディ…

Designate の413エラーの対処

OpenStack Designate で、ゾーン登録時に、エラーが出たので対応方法を残しておく。 下記の作業は、designateが置いてあるホストで、行う。 事象 ゾーン登録時に、下記のエラーが出た。 413 Request Entity Too Large ソースコードを調べると、どうやら、Des…

OpenStack Keystoneで、Designateを認証する

Designateは、既にインストールされていることを前提とする。 OpenStack Designate を試す : あかぎメモ ちなみに、これで、Designate の仮装環境を用意した。 ここで紹介すること KeyStone セットアップ テナント登録 DesignateへのKeystone設定 Keystoneを…

Jenkinsのジョブをコマンドラインから生成する

Jenkinsのジョブをコマンドラインから、生成する方法を調べてみた。 OSは、Ubuntu14.04。 結論から言うと、XMLファイルをjenkins-cli.jarの create-jobコマンドに与えればよい。 Jenkins CLI - Jenkins - Jenkins Wiki 以下の実行パスや、URLは各自の環境に…

Firefoxの証明書警告を自動でスキップする

自動テストで、Seleniumを使っているが、自己割当証明書のドメインをテストする たびに、例外証明書として、登録するのが手間だと思ったので、自動化でできないか調べてみた。 証明書警告とは、このような表示。。 自動で、証明書警告をスキップするためには…

Slackでアニメ放送時間の通知Botを作ってみた

最近、Slackを使ったアプリネタを見る機会が増えてきた気がします。 なので、自分でもやってみようと思いました。 今回は、アニメ放送時間の一時間前になったら、定期通知するBotを作ってみます。 具体的には、 Web UIにアニメの放送時間を登録 Cronファイル…

Gitの環境変数をrootに引き継ぐ

開発者ごとのGitのCommiter、Author情報を.bashrcで管理し、rootにスイッチしても 引き継ぐようにしたかったので、調べた。 ただ、.bashrcに書いただけだと、sudo suして、スイッチした後にリセットされる。 $ cat ~togashik/.bashrc export GIT_AUTHOR_NAME…