Clúster Microk8s en LXD

La Instalación de un clúster con 6 nodos en LXD para pruebas de servicios de un SOC me llevó más tiempo de lo esperado y despues de resolver varios (y estresantes problemas) por fin pude conseguir un clúster funcional usando Microk8s. Aquí los pasos:

Requisitos previos

• Es necesario tener LXD instalado en el equipo host en mi caso usé la versión que viene en Snap ya que contiene una interfaz web para facilitar la administración de los contenedores. la instalación de LXD dependerá de la distribución Linux que se esté usando, la guia de instalación de la interfaz web se encuentra aquí.
• Como minimo se necesita 8GB de Ram para un clúster de 3 nodos si se requiere más nodos el sistema podría ponerse inestable.

Instalación de Rocky Linux en LXD

Una vez instalado LXD se instalará el nodo maestro (master) donde se realizará todas las configuraciones necesarias y posteriormente se creará los otros nodos a partir de este contenedor.

• Primero se debe descargar el perfil especial creado para correr Microk8s en LXD, existen dos versiones de este perfil, dependiendo el sistema de archivos que tenga nuestra instalación de Linux en el host para EXT4 usar este y para ZFS usar este

• Agregar este perfil (en este ejemplo para EXT4) a un proyecto de LXD en la sección “Profiles” para este clúster se creó el proyecto kubeTest como se muestra en la imagen:

• Una vez agregado el perfil procedemos a crear el contenedor con Rocky Linux en la sección “Instances” y presionando el boton “Create Instance” las siguientes imagenes muestran este proceso:

Siguiendo estos pasos ya deberíamos tener Rocky Linux instalado en LXD.

Agregar un usuario no root, instalar Open SSH y nfs-utils en el contenedor

Es importante agregar un usuario no root para administrar Microk8s:

1
2
3
4
5

# adduser node
# passwd node
# usermod -aG wheel node
# dnf update && dnf upgrade -y
# dnf install openssh-server nano nfs-utils -y

Instalación de SNAP y Microk8s en el contenedor

• Para SNAP seguir los pasos descritos en snapcraft
• Para la instalación de Microk8s escribimos los siguientes comandos como root:
• Deshabilitar setenforce:

1
2

# setenforce 0
# sed -i 's/^SELINUX=.*/SELINUX=permissive/g' /etc/selinux/config

• Instalar Microk8s y agregar al usuario node al grupo Microk8s:

1
2

# snap install microk8s --classic
# usermod -aG microk8s node

• Como usuario node se debe crear la carpeta .kube, configurar permisos, agregar alias al .bashrc y crear la carpeta .ssh:

1
2
3
4
5
6
7

# su node
$ cd /home/node
$ mkdir .kube
$ sudo chown -f -R node ~/.kube
$ echo "alias kubectl='microk8s kubectl'" >> .bashrc
$ echo "alias helm='microk8s helm3'" >> .bashrc
$ ssh-keygen

• Si es necesario agregar una clave publica al archivo .ssh/authorized_keys
• Verificamos el estado de Microk8s:

1

$ microk8s status

Creación de un snapshot

• En la sección Snapshots del nodo master crearemos un snapshot que se usará para crear los otros nodos del clúster previamenete debemos apagar el contenedor:

Creando nodos del clúster

• En una terminal del host copiamos el Snapshot:

1
2
3
4
5

$ lxc copy master/basemaster node2
$ lxc copy master/basemaster node3
$ lxc copy master/basemaster node4
$ lxc copy master/basemaster node5
$ lxc copy master/basemaster node6

En este paso podemos crear todos los nodos que necesitemos pero como minimo deben ser 3.

Agregando los nodos al clúster

• Hasta este punto la sección “Instances” debe mostrar todos los contenedores LXD:

• En la terminal del nodo Master como usuario node escribimos el comando:

1

$ microk8s add-node

• La ejecución de este comando genera una clave unica. Esta clave debe ejecutarse en un único nodo. Por lo tanto, se deben generar diferentes claves para cada nodo.

• Ejecutamos el siguiente comando en el nodo master para verificar el estado del clúster:

1

$ microk8s kubectl get no

y deberíamos tener una lista de todos los nodos que conforman el clúster

Desde este punto solo queda desplegar servicios eso se verá en los siguientes posts.