تقدير المشروع
← كل المقالات

بيئات المعاينة لمراجعات الشيفرة، الجزء 5: النشر على عنقود Kubernetes

هذا المقال هو الحلقة الخامسة والأخيرة من سلسلة مقالات عن بناء بيئة معاينة (Preview) مخصصة لكل مراجعة شيفرة

9 دقائق قراءة
DevOpsمراجعة الشيفرةKubernetesالنشرالسحابة

القطعة الأخيرة الناقصة: نشر الخادم الوكيل العكسي في Kubernetes

هذا المقال هو الحلقة الخامسة والأخيرة من سلسلة مقالات تصف كيفية بناء بيئة معاينة (Preview) مخصصة لكل مراجعة شيفرة (Merge Request).

لدينا بالفعل خط CI يرفع خادم الوكيل العكسي (Reverse-proxy) إلى مستودع في خدمة GCP Google Artifact Registry.

وبفضل ذلك أصبحت صورة Docker متاحة من عنقود Kubernetes الذي تديره الشركة العميلة.

1

كما ترى، ما زال ينقصنا النشر المستمر (Continuous Deployment) داخل عنقود Kubernetes نفسه، مع ملفات Deployment وService وIngress. وهذا المقال مخصص لهذه القطعة الأخيرة تحديدًا: CD للوكيل العكسي في Kubernetes.

إعداد Kubernetes

سنبدأ بإنشاء إعداد للوكيل العكسي من أجل K8S، مكانه مستودع إدارة العنقود (الذي يصف البنية التحتية لكل مشروع في عنقود Kubernetes على هيئة IaC - البنية التحتية كشيفرة). ومطلوب فيه تحديد كيف ينبغي أن تتصرف المكونات المنفردة كي تلبي متطلباتنا.

ملف «Deployment»

بدايةً، نحتاج إلى تعريف النشر نفسه، وهو ما يُبقي الحاوية قيد التشغيل. :)

الملف deployment.yml:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nice-app-staging-proxy
    app.kubernetes.io/name: nice-app-staging-proxy
  name: nice-app-staging-proxy
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nice-app-staging-proxy
  strategy: {}
  template:
    metadata:
      labels:
        app: nice-app-staging-proxy
    spec:
      containers:
        - image: europe-west2-docker.pkg.dev/nice-app/nice-app/staging-reverse-proxy:5c48100-1666639074 # {"$imagepolicy": "flux-system:nice-app-staging-proxy"}
          imagePullPolicy: Always
          readinessProbe:
            httpGet:
              path: /
              port: 80
          livenessProbe:
            httpGet:
              path: /
              port: 80
          name: nice-app-staging-proxy
          ports:
            - containerPort: 80
              name: http
      imagePullSecrets:
        - name: gcr-pull
status: {}

والأهم أننا نحدد هنا صورة Docker التي رُفعت إلى GCP GAR، مع أحدث وسم لها وتعليق يخبر أداة Flux أين ينبغي تطبيق تغييرات الصورة (ما يسمى image-policy). وسيحدّث Fluxbot هذا الوسم تلقائيًا، فيُجري commit في المستودع كلما ظهرت نسخة جديدة من الصورة في مستودع GCP GAR.

بالمناسبة: عناوين URL الخاصة بـ readinessProbe وlivenessProbe مطلوبة أيضًا لكي تعمل الخدمة بشكل صحيح. وجميع الوسوم (labels) والبيانات الوصفية (metadata) موحدة تحت الاسم nice-app-staging-proxy.

ملف «Service»

بعد ذلك علينا تعريف ملف «Service»، الذي يتيح للخدمات الأخرى داخل العنقود رؤية الـ Pods التي ينتجها الـ Deployment (رؤيتها بمعنى الشبكة المحلية).

الملف service.yml:

apiVersion: v1
kind: Service
metadata:
  name: nice-app-staging-proxy
  namespace: default
  labels:
    app: nice-app-staging-proxy
spec:
  type: ClusterIP
  selector:
    app: nice-app-staging-proxy
  ports:
    - name: http
      protocol: TCP
      port: 80
      targetPort: http
status:
  loadBalancer: {}

هنا أيضًا البيانات الوصفية موحدة تحت الاسم نفسه nice-app-staging-proxy. والخدمة من النوع ClusterIP. لاحظ أننا نكشف المنفذ 80 كـ HTTP (غير مشفر حاليًا، إذ لا حاجة إلى التشفير هنا للحركة الداخلية).

ملف «Ingress»

لكي تصبح الخدمة (Service) قابلة للوصول من الخارج (بشكل غير مباشر، عبر المكوّن التالي، أي موازن الحمل LoadBalancer)، نحتاج إلى ملف يعرّف كائن Ingress.

الملف ingress.yml:

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nice-app-staging-proxy
  namespace: default
  annotations:
    kubernetes.io/ingress.class: nginx
    cert-manager.io/cluster-issuer: letsencrypt-issuer
  labels:
    app: nice-app-staging-proxy
    app.kubernetes.io/name: nice-app-staging-proxy
spec:
  rules:
    - host: "*.staging.nice-app.com"
      http:
        paths:
          - backend:
              service:
                name: nice-app-staging-proxy
                port:
                  number: 80
            path: /
            pathType: Prefix
  tls:
    - hosts:
        - "*.staging.nice-app.com"
      secretName: nice-app-staging-proxy-tls
status:
  loadBalancer: {}

مرة أخرى نوحّد البيانات الوصفية، ونحدد المضيفين والنطاقات الفرعية التي ينبغي أن يعترضها موازن الحمل لتوجيه الحركة إلى هذه النقطة.

يتحدث موازن الحمل إلى الخدمة عبر المنفذ 80، بينما يتولى موازن الحمل نفسه تشفير SSL للطلبات القادمة من العالم الخارجي.

وهنا يُستخدم مُصدِر Let's encrypt لإصدار شهادات SSL لأي نطاقات فرعية قد تظهر.

شهادات SSL للنطاقات الفرعية ببطاقة بدل (wildcard)

ملاحظة جانبية: يتطلب إنشاء شهادات SSL لـ النطاقات الفرعية ببطاقة البدل (with ) تنفيذ DNS-01 (المعروف بـ «تحدي DNS») بدلًا من HTTP-01 (لمزيد من التفاصيل التقنية اطلع على هذا المنشور).

تنفيذ DNS-01 موضوع معقد، لذلك لن نحاول تغطيته في هذا المقال – فالسلسلة طويلة بما يكفي أصلًا.

فماذا يفعل cert-manager حين لا تكون بطاقات البدل مدعومة؟ إنه ينتج شهادة SSL موقّعة ذاتيًا، وقد لا تكون موثوقة، لكنها تتيح لنا مع ذلك فتح صفحة تطبيق المعاينة. ولأن الصفحة يستخدمها المطورون لا المستخدمون النهائيون، يمكننا الاستغناء عن تنفيذ DNS-01 في هذا العرض.

إعداد CD لملفات K8S وصورة GCP

بعد تجهيز الإعداد الأولي للوكيل العكسي في K8s، يمكننا الانتقال إلى الخطوة التالية وتطبيقه في المستودع الذي يدير البنية التحتية للعنقود.

لذلك نحتاج إلى image-policy، الذي أشرنا إلى اسمه في الملف deployment.yml، بالإضافة إلى image-repository الذي يحدد مكان مستودع صور Docker.

الملف image-policy.yml:

apiVersion: image.toolkit.fluxcd.io/v1alpha2
kind: ImagePolicy
metadata:
  name: nice-app-staging-proxy
  namespace: flux-system
spec:
  filterTags:
    pattern: '^[a-fA-F0-9]+-(?P<ts>.*)'
    extract: '$ts'
  imageRepositoryRef:
    name: nice-app-staging-proxy
  policy:
    numerical:
      order: asc

لاحظ أن مساحة الأسماء (namespace) تختلف هنا: إنها flux-system، لأن هذا جزء منفصل من البنية التحتية مخصص لأداة Flux.

يستخدم إعداد سياسة الصورة مرشّحًا مكتوبًا كـ regexp لاستخراج الطابع الزمني فقط؛ ثم يخبرنا ترتيب هذه الطوابع تصاعديًا أي وسم لصورة Docker هو الأحدث (أعلى طابع زمني يدل على الصورة الأحدث).

الملف image-repository.yml:

apiVersion: image.toolkit.fluxcd.io/v1alpha2
kind: ImageRepository
metadata:
  name: nice-app-staging-proxy
  namespace: flux-system
spec:
  image: europe-west2-docker.pkg.dev/nice-app/nice-app/staging-reverse-proxy
  interval: 1m0s
  secretRef:
    name: gcr-pull

ملف مصدر المستودع بسيط جدًا، ويستخدم هو الآخر مساحة الأسماء flux-system.

ملف «Kustomize»

وأخيرًا، يجب ربط كل هذه الملفات معًا. وكما ذكرنا في البداية، يعتمد CD أيضًا على أداة Kustomize وTerraform. يتوقع Terraform مجلدًا جديدًا يحمل الاسم نفسه الموجود في البيانات الوصفية للملفات (أي nice-app-staging-proxy)، يبحث فيه عن ملف kustomization.yml؛ يُحمَّل هذا الملف ويملأ القائمة الكاملة بملفات الإعداد الموجودة في المجلد نفسه.

هكذا تتعامل هذه الشركة تحديدًا مع عنقود K8s الخاص بها في مستودع مشروع إدارة البنية التحتية. قد تتعامل شركات أو مشاريع أخرى مع الأمر بشكل مختلف، لكننا هنا اتبعنا بنية المجلدات والملفات المعتمدة أصلًا في حلهم.

لهذا نحتاج في النهاية إلى ملف kustomisation.yml يربط كل شيء معًا:

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
commonLabels:
  app: nice-app-staging-proxy
resources:
  - deployment.yml
  - service.yml
  - ingress.yml
  - image-policy.yml
  - image-repository.yml

كل ملف أنشأناه في المجلد الجديد يُرفع (commit) إلى المستودع، لكي يُنفَّذ أثناء مختلف عمليات البناء في GitHub Actions.

تعديل إعداد خادم Nginx في مشروع الوكيل العكسي لعنقود Kubernetes

في الإعداد التجريبي السابق لخادم Nginx في الملف nginx.conf، اعتمدنا على عنوان IP لـ محلّل DNS المتاح محليًا في تثبيت Docker على الحاسوب.

resolver 192.168.65.5; # docker localhost DNS resolver

أما في Kubernetes فالأمر مختلف: فقد يوجد محلّل DNS هناك، وقد لا يوجد أصلًا، أو قد يكون الوصول إليه محدودًا جدًا. وفي حالة استخدامنا Nice-App لم يكن أي محلّل DNS كهذا متاحًا لنا. لذلك اخترنا استخدام عنوان IP لأحد محللات DNS العامة (هنا Public DNS من Google).

resolver 8.8.8.8 valid=10s ipv6=off; # public Google DNS resolver

وبالطبع يمكنك إضافة المزيد من الخوادم إلى القائمة بتقديم مصفوفة من عناوين IP، لكننا اكتفينا في العرض بخادم واحد. وكما ترى، هناك خياران إضافيان مضبوطان هنا:

  • valid=10s يمدد مهلة عنوان IP إلى 10 ثوانٍ؛ نحتاج إلى هذا لأن الخادم العام قد يكون غير متاح أحيانًا، أو يخضع للصيانة، أو يعاني من تأخيرات الشبكة، وهكذا.
  • ipv6=off يوقف IPv6 في الاتصال بالمحلّل، مما يقلل زمن معالجة الطلبات، إذ لا تحتاج بيئة staging لدينا إلى IPv6

بعد تحديث كل سطر شيفرة يحتوي على عنوان IP للمحلّل، يصبح الملف nginx.conf على النحو التالي:

server_names_hash_bucket_size 64;

server {
    listen 80;

    server_name ~(.*)\.staging\.nice-app\.com$;
    set $subdomain $1;
    set $destination_domain 'nice-app-staging.s3-website.eu-central-1.amazonaws.com';

    location ~* (.*\.[A-Za-z]+)$ {
        resolver 8.8.8.8 valid=10s ipv6=off; # public Google DNS resolver
        set_escape_uri $escaped_uri $uri; # OpenResty Nginx module https://github.com/openresty/set-misc-nginx-module#set_escape_uri
        proxy_pass http://$destination_domain/$subdomain$escaped_uri$is_args$args;
    }

    location / {
        resolver 8.8.8.8 valid=10s ipv6=off;
        # adding a trailing slash to the end of URL if it does not exist (needed for proxy_pass to open AWS S3 directory, then to search for index.html inside)
        rewrite (.*[^\/])$ $1/ break;
        proxy_pass http://$destination_domain/$subdomain$uri$is_args$args;
    }
}

يجب رفع (commit) هذه التعديلات إلى مستودع GitHub، كي تُرفع تلقائيًا صورة Docker جديدة تحتوي على إعداد Nginx المحدّث إلى مستودع GCP GAR؛ وهذا بدوره يجعل أداة Flux ترفع نسخة الصورة الجديدة إلى مستودع إدارة عنقود الشركة، مما يطلق إعادة نشر في عنقود K8s.

اختبار الحل

أحسنت! لقد بلغنا خط النهاية في هذه الرحلة الطويلة. حان وقت اختبار الحل. إحدى الطرق استخدام أداة cURL؛ فمع عنوان URL الذي ولّدته بيئة المعاينة سابقًا لـ Merge Request في GitLab، ينبغي أن تعيد شيفرة HTML الخاصة بتطبيق Nice-App.

$ curl https://a4f194667b4fa23.staging.nice-app.com/
<html>
<head><title>Nice-app application</title></head>
<body>
<center>Hello!</center>
</body>
</html>

في هذا الاختبار كان Docker daemon على الحاسوب المحلي متوقفًا، وكنا قد حذفنا إعادة التوجيه الخاصة بعنوان URL أعلاه من الملف /etc/hosts. وهذا يعني أن DNS في AWS Route 53 أدى عمله، فوجّهنا إلى موازن الحمل في عنقود Kubernetes، حيث أرسل خادم الوكيل العكسي بدوره طلبًا إلى مجلد فرعي في Bucket الخاص بـ staging.

الخلاصة

كان الطريق معقدًا (5 مقالات في المدونة)، لكنه كما ترى في متناول المطوّر (طالما قرأ التوثيق وفكّر في المشكلة مسبقًا، قبل تنفيذ أي شيء).

بعض الحلول توصلنا إليها خلال الطريق بالاستكشاف (مثل أخطاء proxy_pass في إعداد خادم Nginx الناتجة عن الطريقة الخاصة التي تعمل بها استضافة الـ bucket في AWS S3). آمل أن تكون القراءة ممتعة.

والأهم أننا نجحنا في البقاء ضمن الافتراضات الموضوعة في البداية، حيث أراد العميل الاعتماد على أجزاء من البنية التحتية التي يديرها بالفعل.

نُهج بديلة

هناك طرق كثيرة مختلفة لبناء بيئات المعاينة لمراجعة الشيفرة. لذا فأنا مدرك أن النهج المعروض في هذه السلسلة قد لا يكون الأفضل المتاح.

أدعوك، عزيزي القارئ، إلى مشاركة روابط في التعليقات لأمثلة أخرى لكيفية بناء بيئات المعاينة. سيوسّع هذا بالتأكيد معرفة من لا يستطيعون، ربما بسبب قيود الميزانية أو القانون، بناء المعاينة بالطريقة الموصوفة أعلاه.

وسيكون لدى أصحاب الخبرة العميقة في إعداد Nginx على الأرجح ما يضيفونه من أمور مثيرة للاهتمام.

وبما أنك وصلت إلى هذه النقطة من المقال، أشكرك مقدمًا على صبرك وعلى قراءة السلسلة كاملة. إلى اللقاء في المرة القادمة!