Xinference v2.3.0 启动 qwen3.5-27B（vLLM）时报错：torchvision::nms does not exist

[dllucyboy]

System Info / 系統信息

vllm
Version: 0.13.0
transformers
Version: 4.55.2
NVIDIA Driver 570.181
CUDA Version: 12.8

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

v2.3.0

The command used to start Xinference / 用以启动 xinference 的命令

docker run -d
-v /opt/xinference/.xinference:/root/.xinference
-v /opt/xinference/.cache/huggingface:/root/.cache/huggingface
-v /opt/xinference/.cache/modelscope:/root/.cache/modelscope
-p 9997:9997
--ipc=host
--shm-size 64G
-e VLLM_WORKER_MULTIPROC_METHOD=spawn
-e VLLM_LOGGING_LEVEL=DEBUG
-e XINFERENCE_LOG_LEVEL=DEBUG
--gpus all
--name xinference
xprobe/xinference:v2.3.0
xinference-local -H 0.0.0.0

Reproduction / 复现过程

我在 Docker 环境中使用 xprobe/xinference:v2.3.0 部署 Xinference，尝试在单卡 GPU 上启动 qwen3.5-27B，使用 vLLM 引擎。

在 enable_virtual_env=False 时，Xinference 会直接报错：

ValueError: Model qwen3.5 cannot be run on engine vLLM.

因此我改为 enable_virtual_env=True。
此时 Xinference 可以继续往下执行，并为 qwen3.5 创建虚拟环境，但在模型加载前阶段失败，关键报错为：

RuntimeError: operator torchvision::nms does not exist

下面是日志：

xinference-20260316161907.log

Expected behavior / 期待表现

帮忙看看是什么问题

[qinxuye]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

[dllucyboy]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，是指定 torchvision==0.24.0+cu129 吗？

v2.3.0镜像环境
torch 2.9.0+cu129
torchvision 0.24.0+cu129
torchaudio 2.9.0+cu129
vllm 0.13.0
flash_attn 2.8.3+cu128torch2.9
torchao 0.16.0

虚拟环境：
torch 2.10.0
torchvision 0.25.0
torchaudio 2.10.0
vllm 0.17.1

[dllucyboy]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，我虚拟环境 packages指定了下面的，还是跑不起来，日志也在下面了
torch==2.9.0+cu129
torchvision==0.24.0+cu129
torchaudio==2.9.0+cu129
transformers==4.55.2
accelerate==1.12.0
sentencepiece==0.2.1
protobuf==6.33.2
tokenizers==0.21.4
einops==0.8.1
safetensors==0.7.0
numpy==1.26.4
vllm==0.13.0

xinference-20260317000910.log

[Luxshare0]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，我虚拟环境 packages指定了下面的，还是跑不起来，日志也在下面了 torch==2.9.0+cu129 torchvision==0.24.0+cu129 torchaudio==2.9.0+cu129 transformers==4.55.2 accelerate==1.12.0 sentencepiece==0.2.1 protobuf==6.33.2 tokenizers==0.21.4 einops==0.8.1 safetensors==0.7.0 numpy==1.26.4 vllm==0.13.0

xinference-20260317000910.log

请问这个问题解决了吗

[dllucyboy]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，我测试开虚拟空间，直接版本也不行，好像虚拟环境总是把主环境里的环境带进去。
我后来关闭了虚拟环境，直接更新主环境的依赖了
python3 -m pip install
torch==2.10.0
torchvision==0.25.0
torchaudio==2.10.0
vllm==0.17.1

MAX_JOBS=4 python3 -m pip install flash-attn --no-build-isolation 2>&1 | tee /tmp/flashattn_build.log

然后关闭虚拟环境，launch Qwen3.5后跑起来了

[dllucyboy]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，我测试开虚拟空间，直接版本也不行，好像虚拟环境总是把主环境里的环境带进去。 我后来关闭了虚拟环境，直接更新主环境的依赖了 python3 -m pip install torch==2.10.0 torchvision==0.25.0 torchaudio==2.10.0 vllm==0.17.1

MAX_JOBS=4 python3 -m pip install flash-attn --no-build-isolation 2>&1 | tee /tmp/flashattn_build.log

然后关闭虚拟环境，launch Qwen3.5后跑起来了

秦总，最后单卡跑起来了，但是双卡还是不行

[qinxuye]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，我测试开虚拟空间，直接版本也不行，好像虚拟环境总是把主环境里的环境带进去。 我后来关闭了虚拟环境，直接更新主环境的依赖了 python3 -m pip install torch==2.10.0 torchvision==0.25.0 torchaudio==2.10.0 vllm==0.17.1
MAX_JOBS=4 python3 -m pip install flash-attn --no-build-isolation 2>&1 | tee /tmp/flashattn_build.log
然后关闭虚拟环境，launch Qwen3.5后跑起来了

秦总，最后单卡跑起来了，但是双卡还是不行

尝试新版了吗？可以试下 nightly-main 的镜像。

[dllucyboy]

这个是 torchvision 和 torch 版本不匹配导致的。你可能要看下 torch 装了什么版本，在页面上 packages 里指定下对应的 torchvision版本

秦总，我测试开虚拟空间，直接版本也不行，好像虚拟环境总是把主环境里的环境带进去。 我后来关闭了虚拟环境，直接更新主环境的依赖了 python3 -m pip install torch==2.10.0 torchvision==0.25.0 torchaudio==2.10.0 vllm==0.17.1
MAX_JOBS=4 python3 -m pip install flash-attn --no-build-isolation 2>&1 | tee /tmp/flashattn_build.log
然后关闭虚拟环境，launch Qwen3.5后跑起来了

秦总，最后单卡跑起来了，但是双卡还是不行

尝试新版了吗？可以试下 nightly-main 的镜像。

秦总，我下了nightly-main 的镜像，开了虚拟环境，指定了版本，还是没跑起来，下面有日志

xinference3-20260325103323.log

[llyycchhee]

这边先把qwen3.5的虚拟模型空间删除 再在部署页面设置Model Virtual Environment为Unset 不加任何的库再试试呢？

[dllucyboy]

这边先把qwen3.5的虚拟模型空间删除 再在部署页面设置Model Virtual Environment为Unset 不加任何的库再试试呢？

不行，还是加载不上，下面是日志

xinference3-20260325154005.log

[llyycchhee]

我本地可以正常部署 我拉下镜像看下

[dllucyboy]

我本地可以正常部署 我拉下镜像看下

好的，谢谢，我拉的是nightly-main 镜像，用了两块Nvidia Pro 6000

[dllucyboy]

我本地可以正常部署 我拉下镜像看下

我本地可以正常部署 我拉下镜像看下

好的，谢谢，我拉的是nightly-main 镜像，用了两块Nvidia Pro 6000

@llyycchhee 大佬，咋样了，有消息吗？