browsertimeで、Webページの描画過程を録画する

browsertimeを使い、Webページのロード時間を計測しながら、描画過程を録画する。

うまくいくとこんな感じで、録画できる。

browsertimeで生成されたmp4ファイル、HTMLの記述例などは、GitHubに置いた。

https://github.com/kentatogashi/example-browsertime

browsertimeの実行方法

OSは、Ubuntu16.04を使う。

Dockerを入れる。

# apt update 
# apt install -y docker.io

browsertimeを実行する

# docker run --privileged --shm-size=1g --rm -v "$(pwd)":/browsertime-results sitespeedio/browsertime -n 1 -c cable --video --speedIndex 'https://www.yahoo.com'

実行すると、ディレクトリが生成され、動画や画像が格納される。

$ tree www.yahoo.com
www.yahoo.com
└── 2017-02-14T043457+0000
    ├── browsertime.har
    ├── browsertime.json
    └── video
        ├── 0.mp4
        └── images
            └── 0
                ├── ms_000000.jpg
                  (snip)
                 └── ms_007950.jpg

4 directories, 78 files

HTTP/1.1とHTTP/2の比較計測をする際に、はかどりそう。

あと、日本語サイトに対して、実行すると文字化けするので、ちょっと残念なところはある。

参考 - GitHub - sitespeedio/browsertime: Your browser, your page, your scripts!

外部サーバにSquid3でプロキシを立てる

プロキシを設定したときの走り書きです。

環境は、Ubuntu14.04.3 LTSです。

インストール

# apt-get install -y squid3

設定ファイル

/etc/squid3/squid.confをコピーして使う。特定のACLからの80と443ポートへのアクセスをフォワードするように 最低限の設定をする。

acl localnet src  ***.***.***.***/23
acl SSL_ports port 443
acl Safe_ports port 80
acl Safe_ports port 443
acl CONNECT method CONNECT

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow localnet
http_access deny all
http_port 3128
cache_dir ufs /var/spool/squid3 600 16 256
coredump_dir /var/spool/squid3
refresh_pattern .       0   20% 4320
access_log /var/log/squid3/access.log common

再起動する。

# restart squid3

curlで、動作確認する。

ACLで許可したサーバからプロキシ経由でアクセスした場合

$ curl -I -x proxy.example.com:3128 -L blog.hatena.ne.jp
HTTP/1.1 302 Moved Temporarily
Cache-Control: private
Content-Type: text/html; charset=utf-8
Date: Sun, 08 Jan 2017 04:25:05 GMT
Location: https://www.hatena.ne.jp/login?location=http%3A%2F%2Fblog.hatena.ne.jp%2F
P3P: CP="OTI CUR OUR BUS STA"
Server: nginx
Set-Cookie: b=$1$hgANMQcX$tV164HRhox4dVoyOz9eGh1; expires=Sat, 03-Jan-2037 04:25:05 GMT; domain=hatena.ne.jp; path=/
Set-Cookie: sk=99c1e798a67850410e453590e89a8cc9025ffb7f; path=/
Vary: Accept-Language, Cookie
X-Content-Type-Options: nosniff
X-Dispatch: Hatena::Epic::Admin::Index#default
X-Frame-Options: DENY
X-Revision: 81eb8b22d9cef6ded0b861732d7ed075
X-Runtime: 0.007440
X-XSS-Protection: 1
X-Cache: MISS from ***********
X-Cache-Lookup: MISS from ***********:3128
Via: 1.1 **********(squid/3.3.8)
Connection: keep-alive

HTTP/1.1 200 Connection established

HTTP/1.1 200 OK
Server: nginx
Date: Sun, 08 Jan 2017 04:25:06 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 8393
Connection: keep-alive
Vary: Accept-Encoding
Cache-Control: no-cache
Pragma: no-cache
Vary: Accept-Language,Accept-Encoding,User-Agent
X-Frame-Options: SAMEORIGIN
X-Framework: Ridge/0.11 Plack/0.9982
X-Ridge-Dispatch: Hatena::WWW::Engine::Login#default
X-Runtime: 79ms
X-View-Runtime: 54ms
Set-Cookie: b=$1$nniOFGW0$4HjT61d1E1yqllw58ss1o/; path=/; expires=Sat, 03-Jan-37 04:25:05 GMT; domain=.hatena.ne.jp

ACLで許可しないサーバからプロキシ経由でアクセスした場合

$ curl -I -x proxy.example.com:3128 -L blog.hatena.ne.jp
HTTP/1.1 403 Forbidden
Server: squid/3.3.8
Mime-Version: 1.0
Date: Sun, 08 Jan 2017 04:31:45 GMT
Content-Type: text/html
Content-Length: 3186
X-Squid-Error: ERR_ACCESS_DENIED 0
Vary: Accept-Language
Content-Language: en
X-Cache: MISS from ******
X-Cache-Lookup: NONE from ******:3128
Via: 1.1 ****** (squid/3.3.8)
Connection: keep-alive

FreeBSD10のHTTP/2設定手順

FreeBSD10で、HTTP/2の検証をしようと思ったので、設定手順を残す。

Webサーバは、Apacheを使う。

環境

• OS
  • FreeBSD10.3

必要なソフトのインストール

クリーンインストール後からの作業を想定しているので、

すでに稼動しているサーバとは手順が異なるかもしれない。

pkgツール

# pkg

perl、pcre

# pkg install perl5.22
# ln -s /usr/local/bin/perl5.22.3 /usr/local/bin/perl
# pkg install pcre

openssl

クライアントとサーバ間で、ALPNを使用するために、OpenSSLの1.0.2以上を入れる。

# mkdir /usr/local/src
# fetch --no-verify-peer https://www.openssl.org/source/openssl-1.0.2j.tar.gz
# tar xvfz openssl-1.0.2j
# cd /usr/local/src/openssl-1.0.2j
# ./config -fPIC —shared
# make && make install

共有ライブラリのパスを追加する。

# ldconfig -m /usr/local/ssl/lib

nghttp2

# fetch --no-verify-peer https://github.com/nghttp2/nghttp2/releases/download/v1.17.0/nghttp2-1.17.0.tar.gz
# tar xvfz nghttp2-1.17.0.tar.gz
# cd /usr/local/src/nghttp2-1.17.0

contrib/Makefileのconfigfiles = nghttpx-init nghttpx.service nghttpx-upstart.confをコメントアウトして、ビルドする。

# ./configure
# make && make install

apr、apr-util

apr

# fetch --no-verify-peer http://ftp.meisei-u.ac.jp/mirror/apache/dist//apr/apr-1.5.2.tar.gz
# tar xvfz apr-1.5.2.tar.gz
# cd /usr/local/src/apr-1.5.2
# ./configure
# make && make install

apr-util

# fetch --no-verify-peer http://ftp.meisei-u.ac.jp/mirror/apache/dist//apr/apr-util-1.5.4.tar.gz
# tar xvfz apr-util-1.5.4.tar.gz
# cd /usr/local/src/apr-util-1.5.4
# ./configure --with-apr=/usr/local/apr
# make && make install

Apache

# fetch --no-verify-peer http://ftp.yz.yamagata-u.ac.jp/pub/network/apache//httpd/httpd-2.4.23.tar.gz
# tar xvfz
# cd /usr/local/src/httpd-2.4.23
# ./configure --prefix=/usr/local/etc/apache24 --with-included-apr=/usr/local --enable-ssl --with-ssl=/usr/local/ssl --with-nghttp2=/usr/local --enable-http2 --enable-so
# make && make install

VirtualHost設定

httpd.confを修正して、443をListen、mod_sslとmod_http2を有効にする。

また、バーチャルホストの設定ファイルは、/usr/local/etc/apache24/conf/virtual_host/以下に置くようにする。

@@ -50,6 +50,7 @@
 #
 #Listen 12.34.56.78:80
 Listen 80
+Listen 443

 #
 # Dynamic Shared Object (DSO) Support
@@ -128,8 +129,8 @@
 #LoadModule session_cookie_module modules/mod_session_cookie.so
 #LoadModule session_dbd_module modules/mod_session_dbd.so
 #LoadModule slotmem_shm_module modules/mod_slotmem_shm.so
-#LoadModule ssl_module modules/mod_ssl.so
-#LoadModule http2_module modules/mod_http2.so
+LoadModule ssl_module modules/mod_ssl.so
+LoadModule http2_module modules/mod_http2.so
 #LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so
 #LoadModule lbmethod_bytraffic_module modules/mod_lbmethod_bytraffic.so
 #LoadModule lbmethod_bybusyness_module modules/mod_lbmethod_bybusyness.so
@@ -490,5 +491,8 @@
 <IfModule ssl_module>
 SSLRandomSeed startup builtin
 SSLRandomSeed connect builtin
+SSLCipherSuite ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!3DES:!MD5:!PSK
+SSLProtocol All -SSLv2 -SSLv3
 </IfModule>

+Include /usr/local/etc/apache24/conf/virtual_host/*.conf

バーチャルホスト側は、こんな感じにする。

# cat  /usr/local/etc/apache24/conf/virtual_host/togattti.example.com.conf
<VirtualHost 192.168.0.1:443>
    ServerName togattti.example.com
    ErrorLog logs/ssl_error_log
    SSLEngine on
    SSLCertificateFile "/usr/local/etc/ssl/my.crt"
    SSLCertificateKeyFile "/usr/local/etc/ssl/my.key"
    Protocols h2 http/1.1
    ProtocolsHonorOrder On
    DocumentRoot "/usr/local/etc/apache24/htdocs"
</VirtualHost>

SSL証明書を作る。

# mkdir /usr/local/etc/ssl
# openssl genrsa 2048 > /usr/local/etc/ssl/my.key
# openssl req -new -key my.key > /usr/local/etc/ssl/my.crt
# openssl x509 -days 3650 -req -signkey /usr/local/etc/ssl/my.key < /usr/local/etc/ssl/my.csr > /usr/local/etc/ssl/my.crt

Apacheを再起動する。

/usr/local/etc/apache24/bin/httpd -k restart

検証

Chromeで、開いて、デベロッパーツールのProtocol欄がh2になれば、問題なく設定できている。

ファイルの各行にUUIDを付加するスニペット

ログ収集ツールのfluentdのuuid_keyを使う場合、ログにUUIDを振る必要がある。

こんなときシェルスクリプトで、whileやfor、uuidgenを組み合わせて、追記していたが、 行が膨大な場合、処理の遅延が気になったので、C言語で処理するプログラムを書いた。

プログラム

Ubuntu環境で、動かした。

依存ライブラリをインストールする。

$ sudo apt install uuid-dev

Cのプログラムは、こんな感じ。

#include <stdio.h>
#include <string.h>
#include <uuid/uuid.h>

int main(int argc, char *argv[]) {
  FILE *source, *target;
  char line[256];
  uuid_t uuid;
  char uuid_str[37];
  int len;

  source = fopen(argv[1], "r");
  target = fopen(argv[2], "w");
  while(fgets(line, 256, source)) {
    len = strlen(line);
    if (line[len-1] == '\n') {
      line[len-1] = 0;
    }
    uuid_generate_time_safe(uuid);
    uuid_unparse_lower(uuid, uuid_str);
    fprintf(target, "%s %s\n", line, uuid_str);
  }
  fclose(source);
  fclose(target);
  return 0;
 }

コンパイルする。

$ gcc -o append_uuid append_uuid.c -luuid

ベンチマーク計測

比較用のファイルを用意する。

$ for i in `seq 10000`; do echo "abc" >> uuid_by_bash.txt; echo "abc" >> uuid_by_c.txt; done
$ wc -l uuid_by_bash.txt uuid_by_c.txt
10000 uuid_by_bash.txt
10000 uuid_by_c.txt
20000 total

まずは、Bashでやる場合(これがBashのベストプラクティスかどうかは知らない。。)

$ time cat uuid_by_bash.txt | while read line; do uuid=$(uuidgen); echo "$line $uuid" >> uuid_by_bash.txt.new; done

real    0m25.741s
user    0m1.268s
sys 0m7.632s
$ tail -1 uuid_by_bash.txt.new
abc 006b69fd-9ad0-4749-afe1-eef73c6ffad0

次は、Cで書いたプログラム。

$ time ./append_uuid uuid_by_c.txt uuid_by_c.txt.new
uuid_by_c.txt uuid_by_c.txt.new
real    0m0.020s
user    0m0.016s
sys 0m0.000s
$ tail -1 uuid_by_c.txt.new
abc d05dc0b5-bad5-11e6-81bd-000c291c1598

クソ速い。

プレミアリーグを得点時間帯ごとにクラスタリングする

概要

スポーツの結果予想のために、最近、少しずつ機械学習に取り組んでいる。

今日は、機械学習 k-means（k平均法）を用いたクラスタリングを試してみる。

素材は、サッカーの時間帯別の得点率で、これを使いチームをクラスタリングする。

テスト用に作成した素材はLive scores, results, fixtures, tables, statistics and news - Soccerwayから、取得して、加工した。

gist.github.com

これは、総得点のうち、15分刻みの特定の時間帯に得点する割合を示している。

実装

K-meansでクラスタリングする最適なクラスタ数の決定方法には、X-meansという方法もあるが、

時間がかかりそうだったので、適当に4に設定してみた。

#coding: utf-8
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

df = pd.read_csv('uk-soccer-goal-rate-per-time-20161205.csv')
array = np.array([
df['0to15'].tolist(),
df['15to30'].tolist(),
df['30to45'].tolist(),
df['45to60'].tolist(),
df['60to75'].tolist(),
df['75to90'].tolist(),
], np.float)

array = array.T
predict = KMeans(n_clusters=4).fit_predict(array)
df['cluster_id'] = predict

print(df.sort_values(["cluster_id"])[["cluster_id", "Team"]])

clusterinfo = pd.DataFrame()
for i in range(4):
  clusterinfo['cluster' + str(i)] = df[df['cluster_id'] == i].mean()
clusterinfo = clusterinfo.drop('cluster_id')
my_plot = clusterinfo.T.plot(kind='bar', stacked=True, title="Stacked bar by cluster")
plt.show()

このスクリプトを実行すると、クラスタのIDとチーム名が表示される。

python k-means.py
    cluster_id               Team
17           0         sunderland
2            1          liverpool
5            1  manchester_united
0            2            chelsea
16           2    west_ham_united
15           2       middlebrough
13           2            burnley
12           2     crystal_palace
11           2        southampton
9            2    afc_bournemauth
6            2      west_bromwich
3            2    manchester_city
1            2            arsenal
19           2       swansea_city
10           3            watford
8            3         stoke_city
7            3            everton
14           3     leicester_city
4            3          tottenham
18           3          hull_city

また、グラフも表示され、こんな感じになった。

前半、後半に強いチームがあるのが分かるくらいで、実際の成績ともそこまで、相関はなさそう。 本当なら、試合結果を予測するのに使えるデータがほしいが、まだ、難しそうだ。

# 参考

scikit-learn でクラスタ分析 (K-means 法) – Python でデータサイエンス