1、使用Nginx反代AI大模型业务时,需要在Nginx中做如下配置可以实现响应流式输出
proxy_buffering off;
proxy_cache off;
chunked_transfer_encoding on;
2、配置说明
proxy_buffering off;
作用:关闭Nginx对上游服务器响应的缓存缓冲
1、使用Nginx反代AI大模型业务时,需要在Nginx中做如下配置可以实现响应流式输出
proxy_buffering off;
proxy_cache off;
chunked_transfer_encoding on;
2、配置说明
proxy_buffering off;
作用:关闭Nginx对上游服务器响应的缓存缓冲