kubernetes

ラズパイで書いたpythonコードをkubernetesで冗長化した話。

ラズパイでpythonプログラムを実行するとき、プログラムが止まってたり、ラズパイがストールしたりすること多いですよね。今回はkubernetesを使って冗長化してみました。

設定その他はこちらを御覧ください。

①pythonコードとdocer fileの準備　※ワーカーノードで作業します
まずはpythonコードを作り指定のフォルダに格納します。※home/pi/dなど

なんでもいいのですが、下記コードではtwitter のお天気botを作っています。
（apiキーなどは消しています。ファイル名はtwitter2.pyとしています）
import os
from twython import Twython
import time
import requests, json
a = 0
while a < 10:
CONSUMER_KEY = ""
CONSUMER_SECRET = ""
ACCESS_KEY = ""
ACCESS_SECRET = ""
api = Twython(CONSUMER_KEY,CONSUMER_SECRET,ACCESS_KEY,ACCESS_SECRET)
apiKey = ""

baseUrl = "http://api.openweathermap.org/data/2.5/weather?"
cityName = "kanagawa"
completeUrl = baseUrl + "appid=" + apiKey + "&q=" + cityName
response = requests.get(completeUrl)

cityData = response.json()
temp = cityData["main"]["temp"] - 273.15
temp2= round(temp,2)
api.update_status(status= '今の天気は'+ cityData["weather"][0]["description"] + '温度は'+ str(temp2) +'℃だよ')
time.sleep(3000)

今の天気はbroken clouds温度は22.64℃だよ

— 神奈川県の天気と気温 (@setsubinomania) October 2, 2020
このプログラムをコンテナ化しdocker image を作成するためにdocer fileを作ります。
ファイル名はDockerfileとしてください。
FROM python:3.5
RUN pip install twitter
RUN pip install twython
COPY twitter2.py home/pi/d/twitter2.py
CMD ["python3", "home/pi/d/twitter2.py"]

FROMで環境を指定。COPYでファイルをローカルからコンテナへコピー、
CMDでpythonを実行しています。

このファイルをディレクトリを作りpythonファイルと同じフォルダに入れます。

②docker imageの作成と確認
　
下記コマンドでdocker imageを作成します。Dockerfileとpythonコードが格納されているフォルダを指定します。

docker build -t twitter /home/pi/d/

※この場合コンテナ名はtwitterになります。
docker psコマンドで動作しているか確認します。下記のようであれば動作しています。

CONTAINER ID IMAGE COMMAND
cd12338b6d7b 7ae540f0d0f0 "python3 home/pi/d/t…"

COMMAND が"/pause"になっていれば動作していません。コンテナIDを指定してログを確認することができます。

docker logs cd12338b6d7b

エラーが出ていなければ何もでないはずです。

③kuberntesへデプロイ

マスターノードでマニュフェストを作ります。ワーカーノードで作成したdocker imageを
指定してください。　※今回はtwitter.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: twitter
spec:
selector:
matchLabels:
role: app
replicas: 3

template:
metadata:
labels:
role: app
spec:
containers:
- name: twitter
image: twitter
imagePullPolicy: Never
ports:

このときimagePullPolicy: Neverを入れてください。これはローカルのdocker imageを読み込む設定となります。

あとはこのマニュフェストを指定してデプロイします。

kubectl apply -f twitter.yaml

うまくいけば kubectl get pod コマンドでpodが replicasで指定した数だけ作成されRunningとなればOKです。

NAME 　 READY STATUS
twitter-6f697c9d74-4v5gt 1/1 Running
twitter-6f697c9d74-64q9j 1/1 Running
twitter-6f697c9d74-l7cw7 1/1 Running

これでpythonプログラムをラズパイ複数台で冗長化できました。一台ストールしてもプログラムは動き続けることができ、復帰も容易です。　1台での動作が不安であればkubernetesは便利かもしれません。
ちょっと設定が面倒ですが…。

[0回]
PR
Raspberry piではじめるKubernetes入門

 前回からkubernetes環境を構築してます。ラズパイは３B、３B＋、４の３台。
ちょっと今回はローカルのdocker imageをkubernetesでデプロイしてみます。

まずは正常に動作してるか確認します。

kubectl get node

3台分STATUSがReadyであれば大丈夫です。

①kubernetesでデプロイするためのdocker imageの準備

まずはワーカーノードのラズパイで下記のようなDockerfileを作成します。
FROM httpd:2.4
COPY ./public-html/ /usr/local/apache2/htdocs/
Dockerfileと同じフォルダの中にpublic-htmlというフォルダを作り、index.htmlという名前で下記ファイルを作ります。

<!DOCTYPE HTML>

<html lang="ja">

<head>

<meta charset="UTF-8">

<title>title</title>

</head>

<body>

hello world

</body>

</html>

Dockerfileを作った任意のフォルダでdocker imageをビルドします。
docker build -t my-apache2 /home/pi/<任意のフォルダ＞
ビルドが問題なく終了したらdocker imagesコマンドでmy-apache2が存在していることを確認します。
②docker imageをkubernetesでデプロイ

マスターノードになっているラズパイで下記ファイルをyamlという拡張子で保存します。
デプロイするためのマニュフェストになります。
apiVersion: apps/v1
kind: Deployment
metadata:
name: ＜自由＞
spec:
selector:
matchLabels:
role: app
replicas: 2
template:
metadata:
labels:
role: app
spec:
containers:
- name: my-apache2
image: my-apache2
imagePullPolicy: Never
ports:

imageのところでdocker imageを指定します。imagePullPolicy: Neverにしているのはローカルのdocker imageを取得したいからです。
replicas: は仮想化されたコンテナであるpodの数を指定します。これが多いとリソース的にきびしいので２でいいと思います。
作成できたらデプロイします。

kubectl apply -f 　＜作成したマニュフェスト名＞.yaml

kubectl get　pod コマンドでpodがレプリカ数だけ作成されるのを確認します。

余計なpodがありますが…　デプロイしたmy-apache2～が２つできていたら成功です。
※READYが1/1でありRunningを確認してください。ErrImageNeverPull　とでていたら
docker imageの取得に失敗しています。

③作成したpodにＩＰアドレスを振ってhello worldする

作成したhtmlファイルをブラウザで確認するためにＩＰを振っていきます。（マスターノードのラズパイで実行します）
kubectl expose deployment/my-apache2 --name="my-apache2-svc" --type="ClusterIP" --port=8080 --target-port=80
作成されたIPを確認します。

kubectl get svc/my-apache2-svc

CLUSTERーIPのところを確認してください。

ブラウザで　＜CLUSTERーIP＞：8080と入力すると…

できました！！　これは３台のラズパイすべてで確認できます。ひとつのラズパイで作成したdocker imageをpodとして複製し、３台のウェブサーバーとして運用することができました。　

この状態でためしにdocker imageをビルドしたラズパイの電源をoffしてもほかのラズパイのブラウザでhello worldが確認できるはずです。kubernetesで冗長性を体験できました。

twitterボットをkubernetesで冗長化しました。

↓参考文献↓

[0回]
増えてしまったラズパイでkubernetes環境をつくってみた話

ラズパイって新しいのが出るとついつい買ってしまいますよね。ラズパイ３Bから初めて３B＋とラズパイ４が家にあって…　何台もあるけど使っているのは新しい一台だけ。そんな方多いんじゃないでしょうか。

ラズパイをクラスタ化してkubernetesを導入するという試み（というか記事）が多くあったので
思い切ってルータとスイッチングhubを買ってやってみることにしました。

↓有線LANで接続するため、短めのLANケーブルが数本必要です。

こういうのがあったほうがいいかもです

１番参考にした記事はこちらです、　→　Raspberry Pi 4 でおうちKubernetesを作ろう（Raspbian Buster Lite対応版）

3台でクラスタ化をしている記事が多いですが、kubernetesを使ってみるだけであればラズパイはマスターとワーカーノードで２台で十分です。（かなり動きがもっさりしますが…）　
今回ラズパイ３B＋とラズパイ４でクラスタ化を試みました。

OSのインストールはせず、現在使っている環境でやってみました。
マスター　　　　　ラズパイ４　　　　rasbian 10.4
ワーカーノード　　ラズパイ３B＋　　rasbian 9.13

手順としては…

①初めにルーターを家の無線wi-hiにつなぐ
　・ルーター本体記載のSSIDとパスワードでまずPCから接続。
　・WEBブラウザを開いてhttp://192.168.13.1/へ接続。設定ウィザードからワイヤレスワンモードにする。
②ラズパイのIPアドレスをマスター192.168.13.101、ワーカー 192.168.13.102にする。

　sudo nano /etc/dhcpcd.conf　コマンドで下記を追加（マスターの例）　

interface eth0

static ip_address=192.168.13.101/24　

static routers=192.168.13.1

static domain_name_servers=192.168.13.1 8.8.8.8 fd51:42f8:caae:d92e::1
③物理的に接続

ルーター、ラズパイ×２をスイッチングhubへLANケーブルで接続します。

④cgroupを有効にする。

sudo nano /boot/cmdline.txt コマンドで下記を追加します。

cgroup_enable=cpuset cgroup_enable=memory cgroup_memory=1

⑤ホスト名変更

sudo hostnamectl set-hostname k8s-master　（マスター）　　
sudo hostnamectl set-hostname k8s-node1　（ワーカー）　　　　　　　　　　　　　　
sudo nano /etc/hosts　で

127.0.0.1 localhost

::1 localhost ip6-localhost ip6-loopback

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

127.0.1.1 k8s-master

192.168.13.101 k8s-master

192.168.13.102 k8s-node1
とする。
⑥iptablesのバージョン変更

sudo update-alternatives --set iptables /usr/sbin/iptables-legacy

※ラズパイ３B＋ではできませんでした。（下記エラーがでますが今のところ問題なし）

update-alternatives: エラー: iptables の alternatives がありません
⑦swap無効化
sudo dphys-swapfile swapoff
sudo systemctl stop dphys-swapfile
sudo systemctl disable dphys-swapfile

⑧dockerのインストール
sudo -i

wget https://download.docker.com/linux/debian/dists/buster/pool/stable/armhf/containerd.io_1.2.6-3_armhf.deb

wget https://download.docker.com/linux/debian/dists/buster/pool/stable/armhf/docker-ce-cli_19.03.5~3-0~debian-buster_armhf.deb

wget https://download.docker.com/linux/debian/dists/buster/pool/stable/armhf/docker-ce_19.03.5~3-0~debian-buster_armhf.deb

dpkg -i containerd.io_1.2.6-3_armhf.deb

dpkg -i docker-ce-cli_19.03.5~3-0~debian-buster_armhf.deb

dpkg -i docker-ce_19.03.5~3-0~debian-buster_armhf.deb

⑨kubernetes関連インストール

apt-get update && apt-get install -y apt-transport-https curl

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

cat <<EOF | tee /etc/apt/sources.list.d/kubernetes.list

deb https://apt.kubernetes.io/ kubernetes-xenial main

EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl

⓾マスターの構築　※ワーカーはやらなくてOKです

kubeadm init --pod-network-cidr=10.244.0.0/16

上記のコマンドで　kubeadm join 192.168.13.101:6443 --token～　をメモって下さい。
ワーカーから接続するときに使用します。

⑪kubectの設定

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

ここで　kubectl get node　コマンドでマスター単体の動作確認ができます。
⑫podネットワークAddonのインストール
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/
2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

⑬ワーカーのクラスタ参加　※ワーカーのみ
⓾でメモったトークンとハッシュ値を入力しクラスタに参加します。
kubeadm join 192.168.13.101:6443 --token～

error execution phase preflight: couldn't validate the identity of the API Server: could not find a JWS signature in the cluster-info ConfigMap for token ID "ww3i31"
とエラーがでたらトークンの有効期限が切れています。
マスターでkubeadm token createとコマンドを打てばまたもらえます。

うまくいけば下記のようにマスター、ノードともにReadyになります。

ワーカーが１台しかないのでpodが増えると異常に重くなります。レプリカ数を減らすとなんとか動きます。スペックの高いラズパイ４のほうをワーカーにしたほうがよかったかなと後悔…。

→もう一台つなげてdocker imageをデプロイしてみました

[0回]