故障注入與服務網格：測試和驗證的利器

背景

故障注入

故障注入技術最初是在航空航天領域中開發的，用于模拟和測試飛機、飛彈等複雜系統的可靠性。後來，這項技術逐漸被應用到其他領域，包括計算機軟體、汽車、醫療裝置等。

随着網際網路和軟體系統的快速發展，複雜度和規模不斷擴大。是以，系統中的故障和異常在所難免。為了確定系統在遇到故障時能夠保持穩定運作并盡快恢複，開發人員和運維團隊需要提前預測和處理潛在的故障。故障注入慢慢地在計算機軟體中得到應用。

故障注入的重要性在于它可以幫助開發人員更好地了解系統的行為，并确定哪些部分可能存在缺陷。通過模拟各種可能的故障情況，開發人員可以評估系統在不同條件下的響應能力，并将這些資訊用于改進軟體設計和實作。

故障注入的功能

• 使開發和測試人員友善地進行可靠性測試，發現潛在的問題并優化系統設計，進而提升系統的健壯性。
• 幫助驗證系統的異常和故障處理機制是否有效，確定系統在遇到故障時能夠正确地執行故障處理政策。
• 服務降級是在系統發生故障時，暫時關閉部分功能以確定整體的可用性。故障注入可用于評估服務降級政策，通過模拟故障場景檢驗服務降級的實際表現。

服務網格

服務網格是一種架構模式，用于處理分布式系統中的服務間通信和服務治理問題。服務網格通常由一組網絡代理和服務間通信協定組成，用于管理和控制服務之間的通信。服務網格可以提供諸如服務發現、負載均衡、安全認證、流量控制、故障恢複等功能，以幫助開發人員和運維人員管理分布式系統的複雜性和可靠性。

Flomesh 服務網格

Flomesh 服務網格使用可程式設計代理 Pipy[1] 為核心提供東西、南北向的流量管理和豐富的服務治理能力。通過基于 L7 的流量管理能力，突破計算環境間的網絡隔離，建立一個虛拟的平面網絡，使不同計算環境中應用可以互相通信，實作覆寫多叢集的“大網格”。

故障注入與服務網格

服務網格中的代理對服務的流量進行攔截，可以實作流量的控制。攔截到服務流量時，可以通過注入故障或者異常來測試服務的容錯性和健壯性。比如可以通過服務網格來模拟服務的延遲、錯誤響應等等。

當我們使用傳統的故障注入時，通常需要在應用程式中嵌入特定的代碼或者 SDK 來實作對應用程式行為的修改和控制，比如 Chaos Monkey[2]。而由于服務網格的網絡代理與應用本身的天然解耦合，可以實作無侵入的故障注入。這種無侵入的故障注入不僅可以減少對應用程式的影響，還可以提高故障注入的靈活性和可靠性。

今天就為大家來介紹如何使用 Flomesh 服務網格的故障注入功能。

Flomesh 服務網格的故障注入

Flomesh 服務網格秉持着簡單、易用的設計原則，提供滿足使用者的最小功能集。故障注入功能并未包含在其中，但通過靈活的插件擴充功能[3] 可以輕松地為服務網格擴充新的功能，這個在之前的文章使用插件擴充服務網格中也有過詳細介紹。

這下面的示範中，我們将使用故障注入插件[4] 實作對目标服務的故障注入。首先我們看一下可注入的故障類型：

• 延遲響應：在服務調用時，為一定比例的響應人為地加入的延遲，模拟目标服務的不穩定來測試服務的容錯能力、優化負載均衡政策等。
• 終止響應：模拟服務響應異常終止的情況，進而測試系統的容錯性和健壯性。比如驗證重試機制、降級能力等等。

功能配置

• config 故障類型及配置

• httpStatus ：終止響應時的響應狀态碼，比如 400 、 501 、 503
• percentage.value ：終止的百分比， 0.5 表示對 50% 的響應會被終止
• fixedDelay ：設定延遲的時長， 1s 表示為響應假如 1 秒鐘的延遲
• percentage.value ：延遲的百分比， 0.5 表示對 50% 的響應注入延遲
• delay 延遲
• abort 終止

• plugin: 表示這個配置是插件 http-fault-injection 的配置
• destinationRefs : 表示配置生效的負載。比如命名空間 pipy 下的 Service pipy-ok

kind: PluginConfig
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-config
 namespace: pipy
spec:
 config:
 delay:
 percentage:
 value: 0.5
 fixedDelay: 1s
 abort:
 percentage:
 value: 0.5
 httpStatus: 400
 plugin: http-fault-injection
 destinationRefs:
 - kind: Service
 name: pipy-ok
 namespace: pipy

示範

建立叢集

export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --disable servicelb --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config

安裝服務網格

下載下傳 CLI。

system=$(uname -s | tr [:upper:] [:lower:]) 
arch=$(dpkg --print-architecture) 
release=v1.3.3 
curl -L https://github.com/flomesh-io/osm-edge/releases/download/${release}/osm-edge-${release}-${system}-${arch}.tar.gz | tar -vxzf - 
./${system}-${arch}/osm version 
cp ./${system}-${arch}/osm /usr/local/bin/

安裝服務網格。

osm install

部署示例應用

kubectl create namespace curl
osm namespace add curl
kubectl apply -n curl -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/curl.yaml

kubectl create namespace pipy
osm namespace add pipy
kubectl apply -n pipy -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/pipy-ok.pipy.yaml

# Wait for pods to be up and ready

sleep 2
kubectl wait --for=condition=ready pod -n curl -l app=curl --timeout=180s
kubectl wait --for=condition=ready pod -n pipy -l app=pipy-ok -l version=v1 --timeout=180s
kubectl wait --for=condition=ready pod -n pipy -l app=pipy-ok -l version=v2 --timeout=180s

驗證服務通路。

curl_client="$(kubectl get pod -n curl -l app=curl -o jsonpath='{.items[0].metadata.name}')"

kubectl exec ${curl_client} -n curl -c curl -- curl -ksi http://pipy-ok.pipy:8080 ; echo "";

你将會看到如下的響應，多次請求可以發現 v1 和 v2 版本的服務輪流響應。

HTTP/1.1 200 OK
content-length: 20
connection: keep-alive

Hi, I am PIPY-OK v1!

啟用插件特性

預設情況下，服務網格是沒有開啟插件特性的。可以通過下面的指令開啟：

kubectl patch meshconfig osm-mesh-config -n osm-system -p '{"spec":{"featureFlags":{"enablePluginPolicy":true}}}' --type=merge

故障注入插件

插件的應用包含了兩個部分：

• 聲明插件：也就是建立插件的過程。插件聲明後，才可以被其他資源引用。
• 配置插件鍊：服務治理的功能分布于流量處理的各個階段，比如 4 層的處理、7 層的路由、負載均衡等等。插件鍊則是對插件進行編排，指定其工作的階段以及作用的資源。

聲明插件

執行下面的聲明插件。插件是使用 PipyJS[5] 開發的，對故障注入插件感興趣的同學可以通路 Github 浏覽源碼[6]。

kubectl apply -f https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/fault-injection.yaml

配置插件鍊

插件鍊

http-fault-injection-chain

：

• metadata.name ：插件鍊資源名稱 http-fault-injection-chain
• spec.chains

• name ：所處的插件鍊名稱，4 個插件鍊之一，這裡是 inbound-http 也就是出站流量的 HTTP 協定處理階段。
• plugins ：要插入到插件鍊的插件清單，這裡将 http-fault-injection 插入到插件鍊中。

• spec.selectors ：插件鍊作用的目标，使用的是 Kubernetes 标簽選擇器[7] 方案。

• podSelector ：pod 選擇器，選擇标簽 app=pipy-ok 的 pod。
• namespaceSelector ：命名空間選擇器，選擇命名空間被網格納管的命名空間，即 openservicemesh.io/monitored-by=osm

kubectl apply -f - <<EOF
kind: PluginChain
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-chain
 namespace: pipy
spec:
 chains:
 - name: inbound-http
 plugins:
 - http-fault-injection
 selectors:
 podSelector:
 matchLabels:
 app: pipy-ok
 matchExpressions:
 - key: app
 operator: In
 values: ["pipy-ok"]
 namespaceSelector:
 matchExpressions:
 - key: openservicemesh.io/monitored-by
 operator: In
 values: ["osm"]
EOF

此時，我們執行前面指令進行驗證，可以發現服務扔可正常通路。這是因為還缺少故障注入的配置。

配置注入故障

注入延遲

這裡我們配置為

50%

的響應加上

2s

的延遲。

kubectl apply -n pipy -f - <<EOF
kind: PluginConfig
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-config
 namespace: pipy
spec:
 config:
 delay:
 percentage:
 value: 0.5
 fixedDelay: 2s
 plugin: http-fault-injection
 destinationRefs:
 - kind: Service
 name: pipy-ok
 namespace: pipy
EOF

為了友善看到效果請求前後我們列印下目前的時間。多次請求後可以發現一半的請求響應時間超過 5s。

date; kubectl exec ${curl_client} -n curl -c curl -- curl -ksi http://pipy-ok.pipy:8080 ; echo ""; date
Mon Apr 3 11:21:58 UTC 2023
HTTP/1.1 200 OK
content-length: 20
connection: keep-alive

Hi, I am PIPY-OK v1!
Mon Apr 3 11:22:00 UTC 2023

終結響應

接下來我們修改插件配置，去掉

delay

的配置，為

abort

添加配置：50% 的情況下傳回

的響應。

kubectl apply -n pipy -f - <<EOF
kind: PluginConfig
apiVersion: plugin.flomesh.io/v1alpha1
metadata:
 name: http-fault-injection-config
 namespace: pipy
spec:
 config:
 abort:
 percentage:
 value: 0.5
 httpStatus: 500
 plugin: http-fault-injection
 destinationRefs:
 - kind: Service
 name: pipy-ok
 namespace: pipy
EOF

經過驗證，50% 的響應會傳回狀态碼

。

HTTP/1.1 500 Internal Server Error
content-length: 0
connection: keep-alive

總結

故障注入技術作為一種重要的測試方法，在軟體工程中已經得到廣泛的應用。随着雲計算和微服務架構的普及，故障注入在分布式系統和服務網格中的應用也越來越受到重視。結合服務網格技術，故障注入可以做到更加的自動化和智能化，良好相容更多的應用場景。

通過擴充故障注入功能，我們再一次體驗了可擴充服務網絡的靈活性。功能可擴充的服務網格通過更強的可定制性、更好更靈活的擴充性，可以滿足使用者多元的需求、複雜的場景。

引用連結

[1]

Pipy: https://github.com/flomesh-io/pipy

[2]

Chaos Monkey: https://github.com/Netflix/chaosmonkey

[3]

插件擴充功能: https://osm-edge-docs.flomesh.io/docs/guides/operating/plugins/

[4]

故障注入插件: https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/fault-injection.yaml

[5]

PipyJS: https://flomesh.io/pipy/docs/en/reference/pjs

[6]

源碼: https://raw.githubusercontent.com/flomesh-io/osm-edge-docs/release-v1.3/manifests/samples/plugins/fault-injection.yaml

[7]

Kubernetes 标簽選擇器: https://kubernetes.io/docs/concepts/overview/working-with-objects/labels/

故障注入與服務網格：測試和驗證的利器

背景

故障注入

故障注入的功能

服務網格

Flomesh 服務網格

故障注入與服務網格

Flomesh 服務網格的故障注入

示範

建立叢集

安裝服務網格

部署示例應用

啟用插件特性

故障注入插件

聲明插件

配置插件鍊

配置注入故障

注入延遲

終結響應

總結

引用連結

繼續閱讀

Envoy 故障注入

另眼旁觀 Linkerd 2.12 的釋出：服務網格标準的曙光？

istio部署demoapp應用 (八）故障注入

PPT | 從架構到元件，深挖istio如何連接配接、管理和保護微服務2.0？

網絡底層安全滲透利器--BTS1002多接口精密觸發故障注入儀

Istio vs. Linkerd：2023 年最佳服務網格

【微服務進階】帶你搞懂Service Mesh（服務網格）

java共享檔案夾SMB1服務報錯jcifs.smb.SmbException: Failed to connect: 0.0.0.0＜00＞/122.168.23.26java共享檔案處理

istio1.9安裝

開源Service Mesh元件Nginmesh安裝指南

服務網格——什麼是服務網格？（概念原理1）什麼是服務網格？

Consul服務網格、叢集、整合springcloud

雲原生引領數字化轉型更新

從Istio在CNCF畢業，看服務網格的架構變遷

雲原生服務網格Envoy介紹

簡述服務網格的優劣勢