gateway报404

[YK-hastur]

docker run -d --rm --name higress-ai -v ${PWD}:/data -p 30110:8001 -p 30111:8080 -p 30112:8443 higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
使用上述命令进行docker部署，配置好llm的路由后，gateway报404

[CH3CHO]

请提供完整的配置信息和测试请求信息。

[YK-hastur]

模型配置

路由配置

请求命令

[CH3CHO]

鉴于只有一条路由，你把模型匹配这个规则去掉看看呢

[YK-hastur]

去掉之后通了，这是啥原理

[CH3CHO]

去掉之后通了，这是啥原理

你的机器能访问外网吗？看看 gateway 的日志，前面有没有拉取插件之类的错误。

[YK-hastur]

这是gateway日志，起服务的是内网，无法连接外网

[YK-hastur]

cannot fetch Wasm module oci://higress-registry.cn-hangzhou.cr.aliyuncs.com/plugins/ai-statistics:1.0.0: could not fetch Wasm OCI image
是不是这个的锅

[CH3CHO]

那就是这个原因了。模型匹配是依赖 model-router 插件的。你的内网环境无法下载插件，所以报错了。你可以使用这个脚本下载插件的 Wasm 文件，然后参考下面两个文档修改插件的镜像地址：

• https://higress.cn/docs/latest/ops/how-tos/builtin-plugin-url/?spm=36971b57.2ef5001f.0.0.2a932c1f2L7RlT
• https://higress.cn/docs/latest/ops/how-tos/load-wasm-with-http/?spm=36971b57.2ef5001f.0.0.2a932c1f2L7RlT

[YK-hastur]

好的我试一下，感谢感谢！