Support torchrun-style InfiniTrain multi-process launch

[chen2021673]

概述

本 PR 为 InfiniTrain 增加 torchrun 风格的多进程启动能力，使每个本地进程可以绑定独立 GPU，同时保留现有的单进程多线程运行方式。

主要修改

• infini_run 支持通过 nproc_per_node 启动多个子进程，并传递 torchrun 兼容的 rank 环境变量。
• 同时支持使用或不使用 -- 分隔启动器参数与训练命令。
• 完善进程拓扑、rank 范围和启动参数校验，并正确传递子进程退出状态。
• 根据本地进程 rank 和线程 rank 计算设备编号。
• 为通信 unique ID 文件增加运行级隔离、原子发布和清理机制。
• 保持现有单进程多线程测例及其启动方式不变。
• 新增独立的 8_proc 测例组，以 8 进程、每进程 1 线程运行 GPT-2 和 Llama3 的 DP、TP、TP+SP、PP 及 TP2+PP2+VPP2 配置。

兼容性

原有直接启动方式保持支持：

./llama3 ... --nthread_per_process 8

多进程启动支持以下两种写法：

./infini_run --nproc_per_node=8 ./llama3 ... --nthread_per_process 1
./infini_run --nproc_per_node=8 -- ./llama3 ... --nthread_per_process 1

测试

[chen2021673]

重新测试：

[chen2021673]

二机测试：

[chen2021673]

以上述测例中双机 16 卡 gpt2 fp32 为例，主节点运行指令：

./infini_run --nnodes=2 --nproc_per_node=8 --node_rank=0 --rdzv_endpoint=<ip>:29500 --rdzv_id=gpt2_test -- ./gpt2 --device cuda --input_bin /data/shared/InfiniTrain-dev/data/llmc/gpt2/tinyshakespeare/tiny_shakespeare_train.bin --llmc_filepath /data/shared/InfiniTrain-dev/data/llmc/gpt2/gpt2_124M.bin --num_iteration 10 --nthread_per_process 1 --batch_size 40 --total_batch_size 10240 --tensor_parallel 2 --pipeline_parallel 2 --sequence_parallel

从节点运行指令：

./infini_run --nnodes=2 --nproc_per_node=8 --node_rank=1 --rdzv_endpoint=<ip>:29500 --rdzv_id=gpt2_test -- ./gpt2 --device cuda --input_bin /data/shared/InfiniTrain-dev/data/llmc/gpt2/tinyshakespeare/tiny_shakespeare_train.bin --llmc_filepath /data/shared/InfiniTrain-dev/data/llmc/gpt2/gpt2_124M.bin --num_iteration 10 --nthread_per_process 1 --batch_size 40 --total_batch_size 10240 --tensor_parallel 2 --pipeline_parallel 2 --sequence_parallel

精度与 #90 中双机 16 卡 gpt2 fp32对齐。