什么时候能适配华为、昆仑等国内的卡？

[design365]

现在信创只能用国产卡，什么时候能适配华为、昆仑等国内的卡？

[hudaxian999]

这个基于qwen2.5-vl系列训练的，华为的卡可以用vllm-ascend部署啊

[design365]

这个基于qwen2.5-vl系列训练的，华为的卡可以用vllm-ascend部署啊

看readme里面的安装过程，不像能用，里面都是gpu的

[hudaxian999]

这个基于qwen2.5-vl系列训练的，华为的卡可以用vllm-ascend部署啊

看readme里面的安装过程，不像能用，里面都是gpu的

能用的，我部署起来了，就用vllm + vllm-ascend部署，对并发要求不高 vllm cpu也能部署

[design365]

这个基于qwen2.5-vl系列训练的，华为的卡可以用vllm-ascend部署啊

看readme里面的安装过程，不像能用，里面都是gpu的

能用的，我部署起来了，就用vllm + vllm-ascend部署，对并发要求不高 vllm cpu也能部署

我这两天用vllm-asend的0.9.1 docker镜像搞起来了，但是vllm感觉没用上，速度很慢，kv cache就是0%，一张图解析需要2分钟。
@hudaxian999 你的速度如何？

[design365]

用的是昇腾服务器npu卡 8长

[hudaxian999]

这个基于qwen2.5-vl系列训练的，华为的卡可以用vllm-ascend部署啊

看readme里面的安装过程，不像能用，里面都是gpu的

能用的，我部署起来了，就用vllm + vllm-ascend部署，对并发要求不高 vllm cpu也能部署

我这两天用vllm-asend的0.9.1 docker镜像搞起来了，但是vllm感觉没用上，速度很慢，kv cache就是0%，一张图解析需要2分钟。 @hudaxian999 你的速度如何？

单并发25token/s左右，论文的pdf 一页一分钟吧，用了一张卡部署了一个实例，30-50并发在跑。版本是cann 8.1 vllm 0.9.1 vllm-asend 0.9.1 还是用的vllm的v0引擎，没用v1引擎，v1引擎更快，但是发现复读的概率变得很高。