togatttiのエンジニアメモ

過度な期待はしないでください.

Dockerコンテナでネットワーク検証環境を構築する

DockerコンテナとOpen vSwitchを組み合わせてネットワーク検証環境を用意する。

作りたいのはこれ。

f:id:togattti1990:20190630092246j:plain

コンポーネントは、以下のようにする。

  • ルータ
    • vyos1
  • ブリッジ
    • vswitch1
    • vswitch2
  • サーバ
    • centos1
    • centos2
    • centos3
    • centos4

各サーバは、NATを使いインターネットに出ることができる。

Open vSwitchとDockerのインストールは省略。

Dockerイメージ作成、取得

VyOSとCentOSのDockerイメージを用意する。

VyOS

$ docker pull 2stacks/vyos:1.2.0-rc11

CentOS

$ cat Dockerfile
FROM centos
RUN yum update -y
RUN yum install -y iproute iputils 
$ docker build -t togattti/centos .

仮想スイッチを作成する

# ovs-vsctl add-br vswitch1
# ovs-vsctl add-br vswitch2
# ovs-vsctl show
591945d1-a629-428b-bf23-c725386b4db0
    Bridge "vswitch2"
        Port "vswitch2"
            Interface "vswitch2"
                type: internal
    Bridge "vswitch1"
        Port "vswitch1"
            Interface "vswitch1"
                type: internal
    ovs_version: "2.9.2"

VyOSを構築する

コンテナを起動する。

$ docker run -d --name vyos1 --privileged -v /lib/modules:/lib/modules 2stacks/vyos:1.2.0-rc11 /sbin/init

vyos1にインターフェイスを作成、ブリッジとつなぐ。

$ sudo ovs-docker add-port vswitch1 eth1 vyos1 --ipaddress=192.168.10.1/24
$ sudo ovs-docker add-port vswitch2 eth2 vyos1 --ipaddress=192.168.20.1/24

サーバを構築する

Dockerコンテナを起動する。

$ docker run -d --net=none --privileged --name centos1 togattti/centos /sbin/init
$ docker run -d --net=none --privileged --name centos2 togattti/centos /sbin/init
$ docker run -d --net=none --privileged --name centos3 togattti/centos /sbin/init
$ docker run -d --net=none --privileged --name centos4 togattti/centos /sbin/init

各サーバにインターフェイスを作成、ブリッジとつなぐ。

$ sudo ovs-docker add-port vswitch1 eth0 centos1 --ipaddress=192.168.10.2/24
$ sudo ovs-docker add-port vswitch1 eth0 centos2 --ipaddress=192.168.10.3/24
$ sudo ovs-docker add-port vswitch2 eth0 centos3 --ipaddress=192.168.20.2/24
$ sudo ovs-docker add-port vswitch2 eth0 centos4 --ipaddress=192.168.20.3/24

ここまでで、インターフェイスの設定状況が次のようになる。

$ docker exec -it centos1 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
229: eth0@if230: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether be:97:47:c6:64:28 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.10.2/24 scope global eth0
       valid_lft forever preferred_lft forever
$ docker exec -it centos2 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
231: eth0@if232: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether ce:40:67:95:a2:93 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.10.3/24 scope global eth0
       valid_lft forever preferred_lft forever
$ docker exec -it centos3 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
233: eth0@if234: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 02:0e:68:d2:c6:59 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.20.2/24 scope global eth0
       valid_lft forever preferred_lft forever
$ docker exec -it centos4 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
235: eth0@if236: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether e6:6b:b2:5f:38:cc brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.20.3/24 scope global eth0
       valid_lft forever preferred_lft forever

ここまでの動作確認

centos1 -> centos2は、ネットワークが同一なので接続できるが、centos1 -> centos3は、別ネットワークにあるので、接続できない。

同様に、インターネットにも出れない。

$ docker exec -it centos1 ping -c 1 192.168.10.3
PING 192.168.10.3 (192.168.10.3) 56(84) bytes of data.
64 bytes from 192.168.10.3: icmp_seq=1 ttl=64 time=0.097 ms

--- 192.168.10.3 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.097/0.097/0.097/0.000 ms
$ docker exec -it centos1 ping -c 1 192.168.20.2
connect: Network is unreachable
[root@a31c1ed4247a /]# ping -c 1 8.8.8.8
connect: Network is unreachable

デフォルトゲートウェイを設定する

centos1とcentos3のような別ネットワークにあるサーバ同士を接続する場合は、 お互いのデフォルトゲートウェイをvyos1に向ける必要がある。

行きと戻りのパケットの経路が必要なので、片道の経路だけでは疎通できないことに注意する。

$ docker exec -it centos1 ip route add default via 192.168.10.1
$ docker exec -it centos2 ip route add default via 192.168.10.1
$ docker exec -it centos3 ip route add default via 192.168.20.1
$ docker exec -it centos4 ip route add default via 192.168.20.1

設定状況は、以下のようになる。

$ docker exec -it centos1 ip r
default via 192.168.10.1 dev eth0
192.168.10.0/24 dev eth0 proto kernel scope link src 192.168.10.2
$ docker exec -it centos2 ip r
default via 192.168.10.1 dev eth0
192.168.10.0/24 dev eth0 proto kernel scope link src 192.168.10.3
$ docker exec -it centos3 ip r
default via 192.168.20.1 dev eth0
192.168.20.0/24 dev eth0 proto kernel scope link src 192.168.20.2
$ docker exec -it centos4 ip r
default via 192.168.20.1 dev eth0
192.168.20.0/24 dev eth0 proto kernel scope link src 192.168.20.3

これで、centos1~4は、互いに疎通できる。

$ docker exec -it centos1 ping -c 1 192
.168.20.2
PING 192.168.20.2 (192.168.20.2) 56(84) bytes of data.
64 bytes from 192.168.20.2: icmp_seq=1 ttl=63 time=1.25 ms

--- 192.168.20.2 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 1.257/1.257/1.257/0.000 ms

ただし、インターネットには出れないままなので、NATを設定する。

$ docker exec -it centos1 ping -c 1 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.

--- 8.8.8.8 ping statistics ---
1 packets transmitted, 0 received, 100% packet loss, time 0ms

NATを設定する

vyos1にNATの設定を追加する。

$ docker exec -it vyos1 /bin/vbash
# su - minion
$ configure
# set interfaces loopback lo address 1.1.1.1/32
# set nat source rule 1 translation address masquerade
# set nat source rule 1 source address 192.168.0.0/16
# set nat source rule 1 outbound-interface eth0
# set nat source rule 1 description 'nat global 1'
# show
+interfaces {
+    loopback lo {
+        address 1.1.1.1/32
+    }
+}
+nat {
+    source {
+        rule 1 {
+            description "nat global 1"
+            outbound-interface eth0
+            source {
+                address 192.168.0.0/16
+            }
+            translation {
+                address masquerade
+            }
+        }
+    }
+}
# commit
# save

これで、vyos1のeth0を通してインターネットに出れる。

$ docker exec -it centos1 ping -c 1 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=50 time=2.27 ms

--- 8.8.8.8 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 2.276/2.276/2.276/0.000 ms

あとで、作成した検証環境の構成をdocker-compose.ymlにまとめる。

参考

https://ameblo.jp/principia-ca/entry-12103919307.html

ovs-docker: Port already attached for~のエラー

Dockerコンテナを削除した後に、再生成してポートを割り当てようとすると、下記のエラーが出る。

$ sudo ovs-docker add-port vswitch1 eth0 centos1 --ipaddress=192.168.10.2/24
ovs-docker: Port already attached for CONTAINER=centos1 and INTERFACE=eth0

これは仮想スイッチを再生成すると解消する。

$ sudo ovs-docker del-br vswitch1
$ sudo ovs-docker del-br vswitch2

LVSのDR方式の動作検証

KeepAlivedLVSを使い負荷分散、冗長化時の動作を検証する。

はじめに

負荷分散は、ダイレクトルーティング(DR)を使う。

DR(ダイレクトルーティング)では、

  1. クライアントがLVSサーバが持つVIPにリクエス
  2. LVSサーバがリアルサーバにパケット転送
  3. リアルサーバにて、パケットを処理、LVSサーバを経由せずにクライアントにレスポンス応答

という流れになる。

そのため、クライアントへの戻りのパケットは、LVSサーバを経由せず、言い換えれば、負荷をかけずにクライアントに返る。

また、LVSサーバを2台構築して、VRRPによる冗長化を行う。

後日、NAT方式も試してみたい。

構成

  • LVSサーバ
    • lvs1
      • 192.168.1.10/24
    • lvs2
      • 192.168.1.20/24
  • リアルサーバ(Nginx)
    • web1
      • 192.168.1.30/24
    • web2
      • 192.168.1.40/24
  • クライアント
    • 192.168.1.50/24

LVSサーバには、VIPとして、192.168.1.100をつける。

いずれも、Ubuntu 18.04.2で用意した仮想サーバ。

構成図

f:id:togattti1990:20190618123826p:plain
システム構成図

設定

LVSサーバ

パッケージインストール
# apt update && apt install -y ipvsadm keepalived

インストールされた以下のバージョンを使う。

# ipvsadm -v
ipvsadm v1.28 2015/02/09 (compiled with popt and IPVS v1.2.1)
# keepalived -v
Keepalived v1.3.9 (10/21,2017)

Copyright(C) 2001-2017 Alexandre Cassen, <acassen@gmail.com>

Build options:  PIPE2 IPV4_DEVCONF LIBNL3 RTA_ENCAP RTA_EXPIRES RTA_NEWDST RTA_PREF RTA_VIA FRA_OIFNAME FRA_SUPPRESS_PREFIXLEN FRA_SUPPRESS_IFGROUP FRA_TUN_ID RTAX_CC_ALGO RTAX_QUICKACK FRA_UID_RANGE LWTUNNEL_ENCAP_MPLS LWTUNNEL_ENCAP_ILA LIBIPTC LIBIPSET_DYNAMIC LVS LIBIPVS_NETLINK IPVS_DEST_ATTR_ADDR_FAMILY IPVS_SYNCD_ATTRIBUTES IPVS_64BIT_STATS VRRP VRRP_AUTH VRRP_VMAC SOCK_NONBLOCK SOCK_CLOEXEC GLOB_BRACE OLD_CHKSUM_COMPAT FIB_ROUTING INET6_ADDR_GEN_MODE SNMP_V3_FOR_V2 SNMP SNMP_KEEPALIVED SNMP_CHECKER SNMP_RFC SNMP_RFCV2 SNMP_RFCV3 DBUS SO_MARK
iptables

新しく接続を開始する80番の入りのTCPパケットは許可する。

# iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT
# iptables -L -n
Chain INPUT (policy ACCEPT)
target     prot opt source               destination
ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0            state NEW tcp dpt:80

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination
keepalivedの設定
vrrp_instance Lvsdev {
  state BACKUP
  interface ens18
  garp_master_delay 5
  virtual_router_id 1
  priority 100
  nopreempt
  advert_int 3
  virtual_ipaddress {
    192.168.1.100 dev ens18
  }
}
virtual_server 192.168.1.100 80 {
  delay_loop 3
  lb_algo rr
  lb_kind DR
  protocol TCP
  real_server 192.168.1.20 80 {
    weight 1
    inhibit_on_failure
    HTTP_GET {
      url {
        path /hello.html
        status_code 200
      }
      connect_timeout 3
      delay_before_retry 7
    }
  }
  real_server 192.168.1.30 80 {
    weight 1
    inhibit_on_failure
    HTTP_GET {
      url {
        path /
        status_code 200
      }
      connect_timeout 3
      delay_before_retry 7
    }
  }
}

keepalivedを起動する。

# systemctl start keepalived

仮想サーバテーブルを確認する。

# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  lvs:http rr
  -> 192.168.1.20:http            Route   1      0          0
  -> 192.168.1.30:http            Route   1      0          0

リアルサーバ

iptables

クライアントからLVSサーバに対して行われたリクエストがリアルサーバに 転送されてきたときに、そのパケットをリアルサーバ自身のIPアドレスにリダイレクトする。

そしてクライアントに結果を返す時は、リアルサーバのルーティングテーブルを参照して、 LVSサーバ自身のIPアドレスから返しているように見せかけることでDRを実現する。

ここでは、LVSサーバには、パケットは戻らない。

iptablesを使うと

# iptables -t nat -A PREROUTING -d 192.168.1.100/32 -j REDIRECT
# iptables -t nat -L
Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination
REDIRECT   all  --  anywhere             192.168.1.100

Chain INPUT (policy ACCEPT)
target     prot opt source               destination

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination

これで、LVSサーバ宛てのパケットをリアルサーバ自身にリダイレクトすることができる。

nginxのコンテンツ変更

web1

# echo hello web1 > /var/www/html/hello.html

web2

# echo hello web2 > /var/www/html/hello.html

動作検証

LVS間の冗長化

VIPが設定されているか確認する。

lvs1

$ ip -f inet addr show ens18
2: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    inet 192.168.1.20/24 brd 192.168.1.255 scope global ens18
       valid_lft forever preferred_lft forever
    inet 192.168.1.100/32 scope global ens18
       valid_lft forever preferred_lft forever

lvs2

$ ip -f inet addr show ens18
2: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    inet 192.168.1.30/24 brd 192.168.1.255 scope global ens18
       valid_lft forever preferred_lft forever

VIPをlvs1側だけが持っていることがわかる。

この状態で、lvs1で障害が発生したと想定してkeepalivedを落とすと、

lvs1

# systemctl stop keepalived
$ ip -f inet addr show ens18
2: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    inet 192.168.1.20/24 brd 192.168.1.255 scope global ens18
       valid_lft forever preferred_lft forever

lv2

$ ip -f inet addr show ens18
2: ens18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    inet 192.168.1.30/24 brd 192.168.1.255 scope global ens18
       valid_lft forever preferred_lft forever
    inet 192.168.1.100/32 scope global ens18
       valid_lft forever preferred_lft forever

VIPがlvs2側に設定されたので、冗長化できている。

リアルサーバ間の負荷分散

lvs1で仮想サーバテーブルを確認する。

# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  lvs1:http rr
  -> 192.168.1.20:http            Route   1      0          0
  -> 192.168.1.30:http            Route   1      0          0

クライアントから、VIPにアクセスする。

$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web1
$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web2
$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web1
$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web2

ラウンドロビンできてる。

web1のnginx落としてから、仮想サーバテーブルを確認すると 重みが0になり、振り分けの対象から除外されていることがわかる。

# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  lvs1:http rr
  -> 192.168.1.20:http            Route   0      0          0
  -> 192.168.1.30:http            Route   1      0          0

VIPにアクセスする。

$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web2
$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web2
$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web2
$ curl -s --connect-timeout 3 http://192.168.1.100/hello.html
hello web2

冗長化もできてる。

参考

2.5. パケット転送をオンにする - Red Hat Customer Portal

1.4.2. ダイレクトルーティング - Red Hat Customer Portal

tap dev blog - DSRとは

Swapを使っているプロセスを特定する

Swapを使っているプロセスを特定する方法をメモしておく。

使用しているOSは、Ubuntu18.04。

結論からいうと、以下でOK。

# grep VmSwap /proc/*/status | sort -n -k 2 -r

オペレーションの流れ

swapが使われていることを確認する。

# free -h
              total        used        free      shared  buff/cache   available
Mem:           7.8G        1.0G        1.9G        1.5M        4.9G        6.5G
Swap:          1.5G        748M        772M

swapを使っているプロセスを特定する。

# grep VmSwap /proc/*/status | sort -n -k 2 -r | head -5
/proc/18845/status:VmSwap:        747488 kB
/proc/20946/status:VmSwap:          8156 kB
/proc/19001/status:VmSwap:          2340 kB
/proc/20985/status:VmSwap:          1232 kB
/proc/20983/status:VmSwap:          1232 kB

原因は、netdataだった。

# ps -p 18845 uwww
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
netdata  18845  0.7  6.8 1490180 562492 ?      Ssl  Feb20 1162:59 /usr/sbin/netdata -P /var/run/netdata/netdata.pid -D -W set global process scheduling policy keep -W set global OOM score keep

Jenkinsを2系から、1系に応急的に切り戻す

バージョンが1.6系の古のJenkinsを運用していたが、誤ってapt upgradeしてしまいバージョンが 2.1系にあがり、起動しなくなってしまった。

OSは、Ubuntu 14.04。

# apt upgradeの抜粋
Unpacking jenkins (2.179) over (1.6xx)

切り戻しをしたので、メモしておく。

ただし、応急療法なので、動作性の責任は取れない。。

結論からいうと、以下の二つの対応で、切り戻しができた。

  • jenkins.warの差し替え
  • /etc/init.d/jenkinsの修正

jenkins.warの差し替え

/usr/share/jenkins配下に、2系のjenkins.warがあるので、それを元々運用していたバージョンに差し替える。

# cd /usr/share/jenkins
# mv jenkins.war jenkins.war.20190527a
# wget https://updates.jenkins-ci.org/download/war/1.6xx/jenkins.war

/etc/init.d/jenkinsの修正

修正しないと、以下のように起動スクリプトJavaのバージョン判定に引っかかり、起動できない。

# service jenkins status
Found an incorrect Java version
Java version found:
java version "1.7.0_201"
OpenJDK Runtime Environment (IcedTea 2.6.17) (7u211-2.6.17-0ubuntu0.1)
OpenJDK 64-Bit Server VM (build 24.201-b00, mixed mode)

Aborting

なので、バージョンを判定する箇所をコメントアウトする。

# diff -u /etc/init.d/jenkins.20190527a /etc/init.d/jenkins
--- /etc/init.d/jenkins.20190527a 2019-05-27 18:20:38.400852420 +0900
+++ /etc/init.d/jenkins       2019-05-27 18:16:02.159208259 +0900
@@ -59,15 +59,15 @@
 # Work out the JAVA version we are working with:
 JAVA_VERSION=$($JAVA -version 2>&1 | sed -n ';s/.* version "\(.*\)\.\(.*\)\..*".*/\1\2/p;')

-if [[ ${JAVA_ALLOWED_VERSIONS[*]} =~ "$JAVA_VERSION" ]]; then
-    echo "Correct java version found" >&2
-else
-    echo "Found an incorrect Java version" >&2
-    echo "Java version found:" >&2
-    echo $($JAVA -version) >&2
-    echo "Aborting" >&2
-    exit 1
-fi
+#if [[ ${JAVA_ALLOWED_VERSIONS[*]} =~ "$JAVA_VERSION" ]]; then
+#    echo "Correct java version found" >&2
+#else
+#    echo "Found an incorrect Java version" >&2
+#    echo "Java version found:" >&2
+#    echo $($JAVA -version) >&2
+#    echo "Aborting" >&2
+#    exit 1
+#fi

 # load environments
 if [ -r /etc/default/locale ]; then

正常に起動することを確認する。

# service jenkins start
 * Starting Jenkins Automation Server jenkins
   ...done.
# service jenkins status
Jenkins Automation Server is running with the pid 26347