Helm Charts Repo

В этом репозитории находятся экспериментальные чарты для ядерных сервисов платформы RBK.money. Структура каталога следующая:

• services - чарты сервисов, по каталогу на сервис
• config - настройки чартов, по каталогу на сервис
• libraries - чарты вспомогательных библиотек, по каталогу на библиотеку
• docs - документация

Требования

Для работы с сервисами требуется Helm 3.2.1 и Helmfile v0.116.0. Для запуска всего стека рекомендуется выделить на minikube не менее 3 CPU, 8GB RAM, 30GB Disk

Запуск

Для доступа к приватному docker registry необходимо создать secret:

$ kubectl create secret docker-registry dr2reg --docker-server=dr2.rbkmoney.com --docker-username=$USERNAME --docker-password=$PASSWORD

!NOTES С драйвером hyperkit и реже с драйвером virtualbox бывают проблемы с доступами к ресурсам за VPN, где находится dr2 registry. В этом случае рекомендуется запускаться с драйвером docker: minikube start --driver=docker

Для быстрой и автоматической инициализации Vault нужен configMap:

kubectl apply -f config/vault/init-cm.yaml

Добавление в minikube ingress

$ minikube addons enable ingress

Пример запуска сервисов:

$ helmfile sync
Building dependency release=zookeeper, chart=services/zookeeper
...
UPDATED RELEASES:
NAME         CHART                   VERSION
machinegun   ./services/machinegun     0.1.0
kafka        ./services/kafka         0.21.2
riak         ./services/riak           0.1.0
consul       ./services/consul         3.9.5
zookeeper    ./services/zookeeper      2.1.3

После этого можно убедиться, что запущенные сервисы живы. Например, проверим machinegun

$ helmfile --selector name=machinegun test
Testing machinegun
Pod machinegun-test-connection pending
Pod machinegun-test-connection pending
Pod machinegun-test-connection succeeded
NAME: machinegun
LAST DEPLOYED: Sun May 1 13:22:20 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE:     machinegun-test-connection
Last Started:   Sun May 1 13:27:14 2020
Last Completed: Sun May 1 13:27:18 2020
Phase:          Succeeded
NOTES:
You can use machinegun:8022 to connect to the machinegun woody interface.

Работа с Vault

Волт запускается в dev режиме, то есть сразу инициированный и unseal. Референс для работы с секретами в доке vault

Здесь немного комментов к тому, что происходит автоматом при запуске пода vault

# kubectl exec -ti vault-0 -- sh

#Включим движки:
vault auth enable kubernetes
vault secrets enable database

#Укажем адрес kube-api, к которому стоит обращаться для проверки токен сервис аккаунта приложения:
vault write auth/kubernetes/config \
       token_reviewer_jwt="$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)" \
       kubernetes_host=https://${KUBERNETES_PORT_443_TCP_ADDR}:443 \
       kubernetes_ca_cert=@/var/run/secrets/kubernetes.io/serviceaccount/ca.crt

#Создадим роль, которая позволит перечисленным в `bound_service_account_names` сервисаккаунтам получать доступы к БД:

vault write auth/kubernetes/role/db-app \
    bound_service_account_names="*" \
    bound_service_account_namespaces=default \
    policies=db-app \
    ttl=1h

#теперь настраиваем подключение к постгресу:
vault write database/config/mydatabase \
    plugin_name=postgresql-database-plugin \
    allowed_roles="*" \
    connection_url="postgresql://{{username}}:{{password}}@postgres-postgresql.default:5432/?sslmode=disable" \
    username="postgres" \
    password="uw2dFhY9EP"

vault write database/roles/db-app \
    db_name=mydatabase \
    creation_statements="CREATE ROLE \"{{name}}\" WITH LOGIN PASSWORD '{{password}}' VALID UNTIL '{{expiration}}'; \
        GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA public TO \"{{name}}\";" \
    default_ttl="1h" \
    max_ttl="24h"

Чтобы зайти в вебку волта нужно получить себе новый токен:

kubectl exec vault-0 -- vault token create

включить портфорвард на локалхост

kubectl port-forward vault-0 8200:8200 &

и с полученым токеном идти в браузере на http://127.0.0.1:8200

Для того, чтобы приложение получило свои секретный логины-пароли к БД нужно добавить к описанию сервиса аннотации, а тут смотреть целый манифест deployments:

      annotations:
        vault.hashicorp.com/agent-inject: "true"
        vault.hashicorp.com/agent-inject-secret-db-creds: "database/creds/db-app"
        vault.hashicorp.com/agent-inject-template-db-creds: |
          {{- with secret "database/creds/db-app" -}}
          "db_connection": "postgresql://{{ .Data.username }}:{{ .Data.password }}@postgres-postgresql:5432/?sslmode=disable"
          {{- end }}
        vault.hashicorp.com/role: "db-app"

После этого в поде с сервисом будет лежать файл /vault/secrets/db-creds со строкой подключения к БД

Как включить сбор метрик

requrements:

• Service c именем порта api, на котором слушает http порт приложения
• label prometheusmetrics.enabled: "true"
• Метрики приложения в формате prometheus должны отдаваться на локейшене /metrics

Доступ к логам в kibana

docs reference our name is "rbk" not "quickstart"

Use kubectl port-forward to access Kibana from your local workstation:

kubectl port-forward service/rbk-kb-http 5601

Open https://localhost:5601 in your browser. Your browser will show a warning because the self-signed certificate configured by default is not verified by a known certificate authority and not trusted by your browser. You can temporarily acknowledge the warning for the purposes of this quick start but it is highly recommended that you configure valid certificates for any production deployments.

Login as the elastic user. The password can be obtained with the following command:

kubectl get secret rbk-es-elastic-user -o=jsonpath='{.data.elastic}' | base64 --decode; echo