#Docker + K8s 分離デプロイ

この記事では、軽量デプロイのK3sを例に、すでにK8sクラスタをデプロイしている場合、この記事の後半の設定を参考に同様の設定を行うことができます。

#Dockerのインストール

Docker公式サイトで関連するインストール手順を見つけることができます。そして、クイックスタートの基本設定を使用してGZCTFを起動します。

#k3sのインストール

k3sは軽量なk8sディストリビューションで、シングルマシンやマルチマシン上でk8sクラスタを迅速にデプロイすることができます。公式ドキュメントのURL：https://docs.k3s.io

INSTALL_K3S_EXEC="--docker"

INSTALL_K3S_EXEC="--kube-controller-manager-arg=node-cidr-mask-size=22"

そして、以下の形式でk3sをインストールします。詳細はk3sのインストール設定を参照してください：

curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="..." sh -

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -

マルチマシンのインストールとクラスタの構築については、公式ドキュメントを参照してください。

#GZCTFの設定

k3sの接続設定ファイルは/etc/rancher/k3s/k3s.yamlにあり、以下のコマンドでエクスポートできます：

sudo cat /etc/rancher/k3s/k3s.yaml

以下のコマンドを使用して、k3s control-panelが存在するマシンのIPを取得します：

sudo k3s kubectl cluster-info

上記の出力内容をkube-config.yamlとして保存し、serverフィールドをk3s control-panelのあるマシンのIPに変更します。例えば、

apiVersion: v1
clusters:
  - cluster:
      certificate-authority-data: # ...
      server: https://127.0.0.1:6443 # change this to your k3s control-panel's IP or domain
    name: default
# ...

これをGZCTFをデプロイするマシンに保存し、compose.ymlと同じフォルダに置きます。例えばkube-config.yamlとします。 次にcompose.ymlのマウント情報を変更します：

gzctf:
  image: gztime/gzctf:latest
  restart: always
  ports:
    - "80:8080"
  networks:
    default:
  volumes:
    - "./data/files:/app/files"
    - "./appsettings.json:/app/appsettings.json:ro"
    - "./kube-config.yaml:/app/kube-config.yaml:ro" # this is required for k8s deployment
    # - "/var/run/docker.sock:/var/run/docker.sock" # this is required for docker deployment
  depends_on:
    - db

同時にappsettings.jsonを変更し、ContainerProviderフィールドを設定します：

{
  "Type": "Kubernetes",
  "PublicEntry": "ctf.example.com" // change this to your k3s control-panel's IP or domain
}

GZCTFを再起動すると、k3sをコンテナバックエンドとして使用できるようになります。すでにk8sを使用した経験があるユーザーは、上記の設定プロセスを参考にして、GZCTFを既存のk8sクラスタに接続することができます。

#NodePort ポート範囲の変更

k3sのデフォルトのNodePortポート範囲は30000-32767ですが、これは要件と一致しない場合があります。そのため、必要に応じてk3sのNodePortポート範囲を変更することができます。

k3s control-panelが存在するマシンで以下のコマンドを実行します：

• sudo nano /etc/systemd/system/k3s.service

• ExecStartの設定を編集し、service-node-port-rangeを指定します。

  ExecStart=/usr/local/bin/k3s \
      server \
      --kube-apiserver-arg=service-node-port-range=20000-50000

• sudo systemctl daemon-reload

• sudo systemctl restart k3s

#K3sのコンテナ数制限の変更

k3sのデフォルトのコンテナ数制限は110ですが、これは大量の小さなコンテナを含むゲームには適していないかもしれません。そのため、必要に応じてk3sのコンテナ数制限を変更することができます。

k3s control-panelが存在するマシンで、内蔵の設定ファイル /etc/rancher/k3s/config.yaml を使用して調整します：

• sudo nano /etc/rancher/k3s/config.yaml

• 以下を追加・編集します（例：各ノードの上限を 800 に設定）：

  kubelet-arg:
    - max-pods=800

• 保存後、サービスを再起動して反映します：

  sudo systemctl restart k3s

• オプション：各ノードにより大きな Pod サブネットを確保したい場合は、同じファイルで kube-controller-manager-arg を設定します。推奨は /22（各ノード約 1024 Pod）、必要に応じて /20：

  kube-controller-manager-arg:
    - node-cidr-mask-size=22

• 注意：node-cidr-mask-size を小さくしすぎる（例：/16）と、単一ノードに過大なアドレスブロックが割り当てられ、worker を追加して水平スケールする柔軟性が低下します。

#コンテナイメージリポジトリの追加

外部のコンテナイメージリポジトリは、k3sで直接使用することはできません。そのため、k3sにイメージリポジトリを追加する必要があります。

k3s control-panelが存在するマシンで以下のコマンドを実行します：

• sudo nano /etc/rancher/k3s/registries.yaml

• mirrorsの設定を編集し、必要なイメージリポジトリのアドレスを指定します。

  mirrors:
    "container.ctf.example.com": # change this to your registry's domain
      endpoint:
        - "https://container.ctf.example.com" # change this to your registry's domain

• sudo systemctl restart k3s