模型准备¶
模型 checkpoint 包含模型配置、tokenizer 文件及所有 safetensors 权重分片。聊天请求还需要 tokenizer 的聊天模板。多节点部署时,各节点必须能通过相同的绝对路径访问 checkpoint。
模型下载¶
hf download Qwen/Qwen3-4B --local-dir /srv/models/Qwen3-4B
模型注册¶
models:
- name: Qwen/Qwen3-4B
path: /srv/models/Qwen3-4B
profile: Qwen/Qwen3-4B
max_model_len: 4096
name:客户端请求中的模型标识。path:checkpoint 路径。profile:选择性能数据,见性能数据采集。max_model_len:包含输入和生成 token 的总长度。
通常省略 params,由 Aegaeon 读取权重元数据中的参数量;显式填写时以 2^30 个参数为单位。