Qwen3をvllmでserveしたいのにできなかったときに確認すること

最初に以下のエラーが発生しました

ValueError: The checkpoint you are trying to load has model type qwen3 but Transformers does not recognize this architecture. This could be because of an issue with the checkpoint, or because your version of Transformers is out of date.

transformerのバージョンが古いということです

Qwen公式のドキュメントを読むとvllm≥0.8.5をインストールと書いてあったので、それに沿うようにモジュールをアップデートします。

この時、私の環境に入っていたのはvllm==0.8.5.postでした。

しかし、以下のエラーが続きます。

ModuleNotFoundError: No module named 'torch._thread_safe_fork'

torchのバージョンが古いとこのエラーが出るらしいのですが、ググっても引っかかりません。

ダメもとでtorchを2.6.0から2.7.0にアップデートし、関連するモジュール群も更新しました。

最終的に、vllm==0.9.1, torch==2.7.0で無事に動きました。めでたしめでたし。