Docs: add mtu size configuration and RDMA QoS #4646

cyclinder · 2025-02-12T07:15:33Z

Thanks for contributing!

Notice:

unite test or E2E test
do not forget essential code comment and log
document for the PR
release note label
"release/none"
"release/bug"
"release/feature"
read about Contribution notice: https://spidernet-io.github.io/spiderpool/latest/develop/contributing/

What issue(s) does this PR fix:

Fixes #

Special notes for your reviewer:

weizhoublue · 2025-02-13T01:40:11Z

docs/usage/install/ai/get-started-macvlan-zh_CN.md

+| 配置复杂度    | 配置相对简单                            | 配置较为复杂，需要硬件支持和配置       |
+| 兼容性       | 兼容性较好，适用于大多数环境               | 依赖硬件支持，兼容性较差              |
+| 适用场景      | 适用于大多数场景，包括裸金属，虚拟机等      | 只适用于裸金属，不适用于虚拟机场景      |
+| 成本         | 成本较低，因为不需要额外的硬件支持          | 成本较高，需要支持 SR-IOV 的硬件设备   |


适用 roce 和 ib 的情况

weizhoublue · 2025-02-13T01:45:26Z

docs/usage/install/ai/get-started-sriov-zh_CN.md

@@ -366,6 +382,33 @@ Spiderpool 使用了 [sriov-network-operator](https://github.com/k8snetworkplumb
    EOF
    ```

+4.(可选)自定义 SR-IOV VF 的 MTU


这里需要直接对应真实情况，环境中就是会设置为 8000 大包

1 安装 spiderpool 前的网卡准备环节
（1）母接口， mtu 8000，重启要持久化
（2）qos

2 此处调整为 8000

weizhoublue · 2025-02-19T07:30:39Z

docs/usage/roce-qos.md

+1. Configure the script
+
+    ```shell
+    # List of network cards, multiple targets separated by ",", such as eth0,eth1


这个脚本的产品化程度不够，用 AI 编程器快速补齐校验

1 各种变量，需要支持环境变量传入。用命令行方式传入参数，而不是每次需要修改脚本
ECN_NICS=${ECN_NICS:-""}
2 必要的变量为空，要告警退出
3 一些变量中网卡是否存在，是否是 RDMA 网卡，它们后续要设置配置的文件路径是否存在。都要前置检测
4 ECN_PRIORITY 要检验 0-7

5 存储服务器上， GPU_NIC_LIST 是可为空的。 GPU 服务器上， STORAGE_NIC_LIST 是可有可无的。
至少，GPU_NIC_LIST 和 STORAGE_NIC_LIST 不能都为空

weizhoublue · 2025-02-19T07:32:44Z

docs/usage/roce-qos.md

+
+    ```shell
+    # List of network cards, multiple targets separated by ",", such as eth0,eth1
+    export ECN_NICS=""


严格来说，它是 GPU_NIC_LIST

无论存储还是 GPU 网络，都需要设置 ECN ，不能用 ECN_NICS

那存储和 GPU 网络的无损队列是否一致？

weizhoublue · 2025-02-19T07:33:07Z

docs/usage/roce-qos.md

+    # List of network cards, multiple targets separated by ",", such as eth0,eth1
+    export ECN_NICS=""
+    # Priority of ECN packets, range 0-7
+    export ECN_PRIORITY=5


GPU_NIC__PRIORITY

weizhoublue · 2025-02-19T07:33:31Z

docs/usage/roce-qos.md

+    # Priority of ECN packets, range 0-7
+    export ECN_PRIORITY=5
+    # DSCP of ECN packets, range 0-63
+    export ECN_QOS=48


GPU_NIC_QOS
传入为空时，需要支持根据 GPU_NIC__PRIORITY 自动算默认值

这支持，如果为空，GPU_NIC_QOS = GPU_NIC__PRIORITY * 8

weizhoublue · 2025-02-19T07:36:33Z

docs/usage/roce-qos.md

+
+    mkdir -p /etc/systemd/system/rdma-qos.d
+    cat <<F_EOF >/etc/systemd/system/rdma-qos.d/10-qos.conf
+    GROUP_COMPUTING_CONFIG="group=computing;nic=$ECN_NICS;ecn_priority=$ECN_PRIORITY;ecn_qos=$ECN_QOS"


GROUP_COMPUTING_CONFIG=""
[ -n "$GPU_NIC_LIST"] && GROUP_COMPUTING_CONFIG=....

weizhoublue · 2025-02-19T07:38:57Z

docs/usage/roce-qos.md

+    export STORAGE_NICS=""
+    export STORAGE_ECN_PRIORITY=""
+    export STORAGE_ECN_QOS=""
+    cat <<"EOF" >rdma_qos.sh


这里 >rdma_qos.sh 是多此一举？直接跑后面紧急的代码不就好了

这里是在终端执行 export + cat 等命令后生成脚本再执行。该脚本生成 systemd script 和 unit file 才跑起来。

否则需要单独 cp 到文件执行或拷贝多个命令执行，容易复制出错

weizhoublue · 2025-02-19T08:00:04Z

docs/usage/roce-qos.md

+            pfc_queue=$(echo "${qos_queues[*]}" | sed 's? ?,?g' | tr -d ' ')
+            mlnx_qos -i "$nic_item" --trust=dscp --pfc ${pfc_queue}
+
+            echo "echo 1 >/sys/class/net/$nic_item/ecn/roce_np/enable/$ecn_priority"


这些路径是否存在，没有检测和报错

weizhoublue · 2025-02-19T08:09:39Z

docs/usage/roce-qos.md

+2. Add script permissions and execute
+
+    ```shell
+    chmod +x rdma-qos.sh && bash rdma-qos.sh


最简单情况下，如下命令就能完成配置

GPU_NIC_LIST=”“ GPU_NIC_PRIORITY="" \ STORAGE_NIC_LIST="" STORAGE_NIC_PRIORITY="" \ rdma-qos.sh

最简单情况：

GPU_NIC_LIST=xxx rdma-qos.sh

docs/example/qos/rdma-qos.sh

weizhoublue · 2025-02-19T12:28:16Z

docs/example/qos/rdma-qos.sh

+# set -x
+# set -o xtrace
+set -o errexit
+


不如把那 8 个变量直接放进来，还不需要配置文件和格式解析了，比较这个脚本也没什么特别的复杂

这避免在解析配置时，遇到特殊字符出问题

GPU_NIC_LIST="${GPU_NIC_LIST}" ....... ....

没法直接放进去，子脚本无法直接获取到变量值，因为用 cat 《“eof” ，注意加了引号

是可以的，这不是堵塞实现的原因

a=10 cat <<EOF > /tmp/a a=${a} echo \${a} EOF

不过改动较大，你自己把握

weizhoublue · 2025-02-19T12:30:02Z

docs/example/qos/rdma-qos.sh

+[ -n "$GPU_NIC_LIST" ] && validate_nic "$GPU_NIC_LIST" "$GPU_RDMA_PRIORITY"
+[ -n "$STORAGE_NIC_LIST" ] && validate_nic "$STORAGE_NIC_LIST" "$STORAGE_RDMA_PRIORITY"
+
+echo "debug, GPU_NIC_LIST=$GPU_NIC_LIST, GPU_RDMA_PRIORITY=$GPU_RDMA_PRIORITY, GPU_CNP_PRIORITY=$GPU_CNP_PRIORITY, GPU_RDMA_QOS=$GPU_RDMA_QOS, GPU_CNP_QOS=$GPU_CNP_QOS"


这里日志应该置后，放到算出 GPU_RDMA_QOS
这样，才能看到最终所有的生效配置

docs/example/qos/rdma-qos.sh

weizhoublue · 2025-02-20T01:58:14Z

docs/example/qos/rdma-qos.sh

+[Install]
+WantedBy=timers.target
+T_EOF
+


我建议 systemctl 之前，先直接跑一次脚本，一方面是直接生效了，另一方面，是可以看未来 system service 是否成功

如果想在脚本内 while 1min 循环执行，而这里又想只跑一次，同个脚本两种行为用一个变量来指定？

weizhoublue · 2025-02-20T02:06:27Z

docs/example/qos/rdma-qos.sh

+systemctl daemon-reload
+systemctl enable rdma-qos.service
+systemctl enable rdma-qos.timer
+systemctl start rdma-qos.service


start -> restart , 支持重装的场景

weizhoublue · 2025-02-20T02:07:52Z

docs/example/qos/rdma-qos.sh

+systemctl enable rdma-qos.service
+systemctl enable rdma-qos.timer
+systemctl start rdma-qos.service
+systemctl start rdma-qos.timer


要两个 service
看着挺绕的，为什么不启动一个常驻的 service，每 1 min 调用一次设置

weizhoublue · 2025-02-20T06:35:49Z

docs/example/qos/rdma-qos.sh

+systemctl restart rdma-qos.service
+echo -e "\e[31m Done \e[0m"
+
+systemctl status rdma-qos.service


这条命令会让终端卡主，不适合自动化

weizhoublue · 2025-02-20T06:38:27Z

docs/example/qos/rdma-qos.sh

+
+    qos_queues=(0 0 0 0 0 0 0 0)
+    qos_queues[$rdma_priority]=1
+    qos_queues[$cnp_priority]=1


cnp 是不用开 pfc 的

weizhoublue · 2025-02-20T06:39:45Z

docs/example/qos/rdma-qos.sh

+[Install]
+WantedBy=multi-user.target
+SYS_EOF
+


启动服务前，先直接跑一把该脚本，有错就退出，不安装 service 了
然后这个脚本支持 DEBUG=true 的变量，启动服务前，开启 debug，而真正跑起来后， debug=false，减少日志

weizhoublue · 2025-02-20T07:29:54Z

docs/example/qos/rdma-qos.sh

+echo -e "\e[31m Pre-run rdma_qos.sh once \e[0m"
+/usr/local/bin/rdma_qos.sh
+
+sed -i 's?RUN_ONCE=true?RUN_ONCE=false?' /usr/local/bin/rdma_qos.sh


脚本里
DEBUG=${DEBUG:-""}

调用时 DEBUG=true /usr/local/bin/rdma_qos.sh

不需要还要动脚本

weizhoublue · 2025-02-20T07:31:50Z

docs/example/qos/rdma-qos.sh

+
+chmod +x /usr/local/bin/rdma_qos.sh
+echo -e "\e[31m Pre-run rdma_qos.sh once \e[0m"
+/usr/local/bin/rdma_qos.sh


还得给个日志

/usr/local/bin/rdma_qos.sh || { echo "error, failed to set qos" ; exit 1 ; }

weizhoublue · 2025-02-20T07:57:04Z

docs/example/qos/rdma-qos.sh

+After=network.target
+
+[Service]
+Type=simple


脚本中 set -o errexit ，有问题直接退出了, 也没报错日志

这里需要开启
Restart=always

Signed-off-by: Cyclinder Kuo <[email protected]>

cyclinder added the release/none no release note label Feb 12, 2025

cyclinder requested review from weizhoublue and windsonsea as code owners February 12, 2025 07:15

cyclinder force-pushed the docs/mtu branch 2 times, most recently from 0ce904d to 9f20778 Compare February 12, 2025 08:10

weizhoublue reviewed Feb 13, 2025

View reviewed changes

cyclinder force-pushed the docs/mtu branch 5 times, most recently from ef347e5 to f6b8f14 Compare February 19, 2025 06:46

cyclinder changed the title ~~Docs: add mtu size configuration for SpiderMultusConfig~~ Docs: add mtu size configuration and RDMA QoS Feb 19, 2025

cyclinder force-pushed the docs/mtu branch from f6b8f14 to 430af7e Compare February 19, 2025 06:53

weizhoublue reviewed Feb 19, 2025

View reviewed changes

cyclinder force-pushed the docs/mtu branch 8 times, most recently from 9cac1d7 to d521ef5 Compare February 19, 2025 12:19

cyclinder force-pushed the docs/mtu branch 2 times, most recently from a166f07 to 90d0486 Compare February 19, 2025 12:26

weizhoublue reviewed Feb 19, 2025

View reviewed changes

docs/example/qos/rdma-qos.sh Outdated Show resolved Hide resolved

cyclinder force-pushed the docs/mtu branch 3 times, most recently from ada1b6b to bc51eb5 Compare February 19, 2025 13:26