Docker + K8s 分離デプロイ

この記事では、軽量デプロイのK3sを例に、すでにK8sクラスタをデプロイしている場合、この記事の後半の設定を参考に同様の設定を行うことができます。

WARNING

このチュートリアルは、操作を行う前に必ず全文を読むようにしてください。そうしないと、デプロイ結果が期待通りにならない可能性があります。

Dockerのインストール

Docker公式サイトで関連するインストール手順を見つけることができます。そして、クイックスタートの基本設定を使用してGZCTFを起動します。

k3sのインストール

k3sは軽量なk8sディストリビューションで、シングルマシンやマルチマシン上でk8sクラスタを迅速にデプロイすることができます。公式ドキュメントのURL:https://docs.k3s.io

INFO

もしマシンが一台しかなく、DockerでGZCTFを実行したい場合は、インストール時に以下のパラメータを指定してDockerバックエンドを指定することができます:

INSTALL_K3S_EXEC="--docker"
INFO

もし一台のk3sインスタンスで255個を超える問題コンテナを実行したい場合は、k3sのインストール時にINSTALL_K3S_EXECを指定し、node-cidr-mask-sizeを必要なサブネットサイズに変更する必要があります。

INSTALL_K3S_EXEC="--kube-controller-manager-arg=node-cidr-mask-size=16"

上記の設定はインストール後に変更できません。 CIDRを/16に変更すると、65535個のPodをサポートできます。

上記の設定は、ノードのPodが使用するIPアドレス範囲を変更するだけであり、ノードのPod数制限を変更する場合は、以下を参照してください。

そして、以下の形式でk3sをインストールします。詳細はk3sのインストール設定を参照してください:

curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="..." sh -

しかし、この方法は推奨されていません。Dockerをコンテナバックエンドとして使用すると、一部の機能が利用できなくなる可能性があります。

もしDockerをコンテナバックエンドとして使用したくないが、シングルマシンでデプロイしたい場合は、K8sクラスタデプロイの方法を参考にすることができます。

:::

curl -sfL https://get.k3s.io | sh -
# Readyノードの確認、約30秒かかります
sudo k3s kubectl get node
INFO

中国のユーザーは、以下の方法でインストールを高速化することができます:

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -

マルチマシンのインストールとクラスタの構築については、公式ドキュメントを参照してください。

GZCTFの設定

k3sの接続設定ファイルは/etc/rancher/k3s/k3s.yamlにあり、以下のコマンドでエクスポートできます:

sudo cat /etc/rancher/k3s/k3s.yaml

以下のコマンドを使用して、k3s control-panelが存在するマシンのIPを取得します:

sudo k3s kubectl cluster-info
INFO

もし127.0.0.1が表示された場合、それはk3s control-panelが現在のマシンであることを意味します。ip aを使用して現在のマシンのIPを確認してください。

IPアドレスを直接使用することも、ドメイン名を使用することもできますが、ドメイン名がk3s control-panelのあるマシンに解決され、GZCTFのマシンがその6443ポートにアクセスできることを確認する必要があります。

上記の出力内容をkube-config.yamlとして保存し、serverフィールドをk3s control-panelのあるマシンのIPに変更します。例えば、

apiVersion: v1
clusters:
  - cluster:
      certificate-authority-data: # ...
      server: https://127.0.0.1:6443 # change this to your k3s control-panel's IP or domain
    name: default
# ...

これをGZCTFをデプロイするマシンに保存し、compose.ymlと同じフォルダに置きます。例えばkube-config.yamlとします。 次にcompose.ymlのマウント情報を変更します:

gzctf:
  image: gztime/gzctf:latest
  restart: always
  ports:
    - "80:8080"
  networks:
    default:
  volumes:
    - "./data/files:/app/files"
    - "./appsettings.json:/app/appsettings.json:ro"
    - "./kube-config.yaml:/app/kube-config.yaml:ro" # this is required for k8s deployment
    # - "/var/run/docker.sock:/var/run/docker.sock" # this is required for docker deployment
  depends_on:
    - db

同時にappsettings.jsonを変更し、ContainerProviderフィールドを設定します:

{
  "Type": "Kubernetes",
  "PublicEntry": "ctf.example.com" // change this to your k3s control-panel's IP or domain
}

GZCTFを再起動すると、k3sをコンテナバックエンドとして使用できるようになります。すでにk8sを使用した経験があるユーザーは、上記の設定プロセスを参考にして、GZCTFを既存のk8sクラスタに接続することができます。

NodePort ポート範囲の変更

k3sのデフォルトのNodePortポート範囲は30000-32767ですが、これは要件と一致しない場合があります。そのため、必要に応じてk3sのNodePortポート範囲を変更することができます。

k3s control-panelが存在するマシンで以下のコマンドを実行します:

  • sudo nano /etc/systemd/system/k3s.service

  • ExecStartの設定を編集し、service-node-port-rangeを指定します。

    ExecStart=/usr/local/bin/k3s \
        server \
        --kube-apiserver-arg=service-node-port-range=20000-50000
  • sudo systemctl daemon-reload

  • sudo systemctl restart k3s

K3sのコンテナ数制限の変更

k3sのデフォルトのコンテナ数制限は110ですが、これは大量の小さなコンテナを含むゲームには適していないかもしれません。そのため、必要に応じてk3sのコンテナ数制限を変更することができます。

k3s control-panelが存在するマシンで以下のコマンドを実行します:

  • sudo nano /etc/rancher/k3s/kubelet.config

  • maxPodsの設定を編集します。

    apiVersion: kubelet.config.k8s.io/v1beta1
    kind: KubeletConfiguration
    maxPods: 500
  • sudo nano /etc/systemd/system/k3s.service

  • ExecStartの設定を編集し、kubelet-argを指定します。

    ExecStart=/usr/local/bin/k3s \
        server \
        --kubelet-arg=config=/etc/rancher/k3s/kubelet.config
  • sudo systemctl daemon-reload

  • sudo systemctl restart k3s

コンテナイメージリポジトリの追加

外部のコンテナイメージリポジトリは、k3sで直接使用することはできません。そのため、k3sにイメージリポジトリを追加する必要があります。

k3s control-panelが存在するマシンで以下のコマンドを実行します:

  • sudo nano /etc/rancher/k3s/registries.yaml

  • mirrorsの設定を編集し、必要なイメージリポジトリのアドレスを指定します。

    mirrors:
      "container.ctf.example.com": # change this to your registry's domain
        endpoint:
          - "https://container.ctf.example.com" # change this to your registry's domain
  • sudo systemctl restart k3s