Skip to main content

Ajuste de proxy_buffer_size en NGINX

Este artículo es una traducción del original en inglés.


Una de las razones por las que obtendría una página “502 Bad Gateway” con NGINX se encuentra detrás del siguiente error:

upstream sent too big header while reading response header from upstream

El error es típico en un escenario en el que utiliza NGINX para hacer proxy de solicitudes hacia otro lugar. Un caso particular de esto es la terminación de SSL con NGINX y el proxy de solicitudes hacia un servidor Varnish.

Como siempre, acudiría a Google en busca de soluciones, solo para encontrar consejos incorrectos.

Ajuste incorrecto de proxy_buffer_size

Sin dar ninguna justificación, todos los blogs parecen copiar y pegar esencialmente lo mismo unos de otros:

proxy_buffers 4 256k;
proxy_buffer_size 128k; 
proxy_busy_buffers_size 256k;

Siga leyendo para saber por qué esto es incorrecto y cuál es la forma correcta de ajustar el único parámetro esencial para corregir el error subyacente anterior.

Qué es proxy_buffer_size

La proxy_buffer_size es la única directiva que necesita ajuste para resolver el error upstream sent too big header while reading response header from upstream.

Define la cantidad de memoria que NGINX asignará para cada solicitud al servidor proxy. Este pequeño bloque de memoria se utilizará para leer y almacenar la pequeña fracción de la respuesta: los encabezados HTTP.

Los encabezados HTTP normalmente corresponden a una porción muy pequeña de encabezado del payload completo de la solicitud o respuesta. Un ejemplo de encabezados de respuesta HTTP:

HTTP/2 200
date: Sat, 07 Jul 2018 20:54:41 GMT
content-type: text/html; charset=UTF-8
vary: Accept-Encoding, User-Agent
accept-ranges: bytes
strict-transport-security: max-age=31536000; includeSubDomains; preload

Como puede ver, no tiene ningún sentido asignar hasta 128 kilobytes al búfer de encabezados de respuesta HTTP.

Los valores predeterminados son 4k u 8k según la plataforma, lo cual es más que suficiente para almacenar en búfer los encabezados HTTP de respuesta de una aplicación web típica.

Cómo elevar proxy_buffer_size

Cuando obtiene el error mencionado anteriormente, la razón es lo que dice: NGINX no tiene suficiente almacenamiento en memoria asignado para el almacenamiento transitorio de encabezados HTTP del servidor upstream. Por lo tanto, el servidor upstream envía una respuesta con un conjunto bastante grande de encabezados HTTP que supera los 4k u 8k predeterminados. Pero, ¿cuál es el valor adecuado?

El valor adecuado para proxy_buffer_size no debe ser inferior al tamaño máximo posible de los encabezados HTTP de respuesta provenientes de su aplicación particular.

El tamaño máximo de los encabezados de respuesta HTTP es típico en las solicitudes de autenticación/autenticadas. Esto ocurre cuando la aplicación envía una serie de encabezados Set-Cookie largos (lo cual puede o no ser un problema con la duplicación de encabezados en algunas aplicaciones).

Cómo calcular el valor adecuado para proxy_buffer_size

Ahora quizás se pregunte cómo saber exactamente qué valor debe establecerse en su aplicación particular. Por lo general, los encabezados HTTP se vuelven inflados debido a múltiples encabezados Set-Cookie emitidos por las páginas de inicio de sesión. No existe una forma automatizada de registrar el tamaño de todos los encabezados de respuesta y obtener el valor máximo. Pero puede probar su página de inicio de sesión manualmente y así obtener el bloque teóricamente más grande de encabezados HTTP que su aplicación puede emitir.

El siguiente comando obtiene el tamaño de los encabezados de respuesta HTTP:

curl -s -w \%{size_header} -o /dev/null https://example.com

Ahora bien, los encabezados pueden ser ligeramente diferentes, por lo que debe ejecutar el comando contra el servidor upstream. Dado que estamos haciendo terminación de SSL, el upstream sería una instancia de caché Varnish, escuchando en el puerto 80. Entonces:

curl -s -w \%{size_header} -o /dev/null http://localhost -H "Host: example.com"

Sin embargo, esto puede no activar el envío de Set-Cookie por parte del upstream, por lo que debe ajustar la URL con el método de solicitud necesario (POST), la Cookie de solicitud o las credenciales de autenticación. También puede querer proporcionar -H "Accept-Encoding: gzip" para emular navegadores. Y para ampliar esto, puede usar la consola de desarrollador de Chrome para copiar y pegar los parámetros curl de la solicitud que desencadena el error y agregarlos al comando base anterior.

De cualquier manera, el resultado del comando será el número total de bytes: por ejemplo, para un sitio web con Woocommerce y encabezados Set-Coookie duplicados, obtuve un valor de 1500. Así que no había necesidad de ajustar/corregir nada. De hecho, incluso podría reducir el valor para mejorar el consumo de memoria de NGINX.

Para un sitio web diferente, podría haber obtenido un resultado diferente, por ejemplo, 9000. Aquí es donde necesita insertar la directiva proxy_buffer_size en su configuración de NGINX. El valor debe estar alineado con el tamaño de página de memoria, por ejemplo, 4k para la mayoría de las plataformas (se puede confirmar con getconf PAGESIZE). Así que alineando 9000 a bloques de 4k, obtenemos 12k:

proxy_buffer_size 12k; 

Hablando de un consumo de memoria mejorado: la mayoría de la gente probablemente configuraría el buffering de proxy y los tamaños de búfer de forma global; es interesante notar que el buffering se puede configurar por bloque de servidor e incluso por bloque de ubicación, lo que le brinda la máxima flexibilidad. Por lo tanto, es posible que desee mantener un valor de buffering bajo en general y solo aumentarlo para las ubicaciones que se sabe que aprovechan ampliamente los encabezados Set-Cookie.

También vale la pena señalar que otros tamaños de buffering de proxy están vagamente conectados con proxy_buffer_size. Están destinados a almacenar en búfer el cuerpo de la respuesta.

¿Deshabilitar el buffering de proxy?

Solo hay unos pocos casos en los que querría deshabilitar el buffering de proxy por completo. E incluso entonces, NGINX todavía tiene que asignar el bloque requerido de proxy_buffer_size de memoria para leer los encabezados HTTP devueltos por el servidor upstream.

Con proxy_buffering deshabilitado, los datos recibidos del servidor son retransmitidos inmediatamente por NGINX, lo que permite un Tiempo hasta el Primer Byte (TTFB) mínimo. Si el TTFB es su objetivo, asegúrese de que tcp_nodelay esté habilitado (predeterminado) y que tcp_nopush esté deshabilitado (predeterminado).

La cantidad de datos que siempre se almacenan en búfer de la respuesta está controlada por proxy_buffer_size, la única directiva de buffering de proxy relevante cuando el buffering de proxy está deshabilitado. Desactivar el buffering de proxy no significa que proxy_buffer_size no tenga efecto. De hecho, proxy_buffer_size es el bloque de memoria requerido que NGINX utiliza sin importar qué.

Y finalmente, volviendo a donde todo comenzó: podría considerar deshabilitar proxy_buffering para la terminación de SSL. Si NGINX se utiliza para la terminación de SSL, realmente no necesita el buffering de proxy hacia el servidor upstream:

  • si el enlace entre NGINX y el servidor upstream no es “lento”
  • el upstream puede manejar clientes lentos
  • mantener tanto a NGINX como al upstream ocupados mientras se atiende a un cliente lento no consumirá recursos extensivos (RAM)

El buffering es necesario para garantizar que el servidor upstream pueda liberarse después de entregar la respuesta a NGINX, y NGINX procederá a entregar la respuesta al cliente lento.

Pero con una configuración LEMP, con o sin Varnish, el único backend que realmente desea que se libere lo antes posible es PHP-FPM, pero eso tiene una historia diferente y similar con un montón de directivas fastcgi_buffer* para su servicio.

proxy_busy_buffers_size

Tenemos que mencionar esta directiva aquí porque está estrechamente conectada con proxy_buffer_size.

La proxy_busy_buffers_size especifica el tamaño de los búferes, en kilobytes, que se pueden usar para entregar la respuesta a los clientes mientras aún no se ha leído completamente del servidor upstream.

Esencialmente, su valor mínimo permitido es igual al valor que establecería para proxy_buffer_size. Por lo tanto, si está ajustando proxy_buffer_size a un valor mayor, debe aumentar proxy_busy_buffers_size al menos al mismo valor, por ejemplo:

proxy_buffer_size 16k;
proxy_busy_buffers_size 16k;
# proxy_buffers 8 4k; valor predeterminado implícito

La proxy_busy_buffers_size debe ser igual o mayor que el máximo del valor de proxy_buffer_size y uno de los proxy_buffers.

Lo que esto significaría en nuestra configuración ajustada anterior es que, con el valor predeterminado implícito de proxy_buffers 8 4k;, NGINX esencialmente usa como máximo 48k (32k para el cuerpo y 16k para los encabezados) para almacenar en búfer la respuesta del upstream, de los cuales 16k se asignan a búferes ocupados, lo que le permite devolver la respuesta al cliente mientras aún no ha recibido la respuesta completa del upstream.

El valor máximo para proxy_busy_buffers_size debe ser menor que el tamaño de todos los proxy_buffers menos un búfer. El búfer restante debe mantenerse para que NGINX pueda usarlo libremente para leer la respuesta del upstream.

Aumentar proxy_busy_buffers_size más cerca de su valor máximo permitido le permitirá ser más receptivo en relación con el cliente, a costa de un mayor uso de CPU por conexión, porque puede haber menos búferes libres para leer la respuesta restante en un momento dado.

El valor predeterminado para proxy_busy_buffers_size se calcula dinámicamente durante la etapa de evaluación de la configuración. Se establece en el doble del tamaño de cualquiera de:

  • uno de los búferes establecidos por proxy_buffers, si esos búferes son los más pequeños en comparación con el de proxy_buffer_size
  • el valor de proxy_buffer_size, en caso contrario

Esta configuración automática es propensa a errores si da como resultado que el valor calculado quede fuera de los rangos permitidos.
Para comprender el mejor valor para ello, primero debemos abordar proxy_buffers.

proxy_buffers

La regla general con esta configuración es que, mientras hacemos uso del buffering, es mejor que la respuesta completa del upstream pueda mantenerse en memoria, para evitar E/S de disco.

Si la respuesta del upstream llega rápido y el cliente es más lento, NGINX conserva la respuesta en búferes, lo que le permite cerrar rápidamente la conexión upstream potencialmente costosa.

Si el tamaño de los búferes asignados no permite almacenar toda la respuesta en memoria, se almacenará en disco (más lento).

El valor predeterminado para esta directiva es:

proxy_buffers 8 4k|8k;

El ajuste de esta depende de algunos factores, principalmente:

  • el tamaño de la respuesta del “cuerpo” de su aplicación
  • si siempre solicita recursos comprimidos del upstream (y este admite emitir respuestas comprimidas) o no

En un escenario típico, NGINX puede solicitar páginas comprimidas con gzip/sin gzip del upstream, según la preferencia/compatibilidad del cliente, con la compresión gzip ocurriendo en el upstream.

Con este caso en mente, NGINX puede recibir un bloque potencialmente grande de datos/HTML que no está comprimido y, por lo tanto, puede superar fácilmente los búferes de 32k|64k.

Para determinar el tamaño del HTML/datos devueltos por un recurso determinado, puede usar:

curl -so /dev/null https://example.com/ -w '%{size_download}'

Establezca proxy_buffers de manera que sea igual al tamaño máximo total de los datos de respuesta.

Por ejemplo, si el tamaño de nuestro cuerpo sin comprimir es como máximo 512K (un potente tema de Magento 2 con muchas etiquetas HTML), entonces tenemos que establecer 512K de tamaño de búfer = 128 búferes de 4k.

Consejo: si asegura que la compresión siempre ocurra en el upstream y descomprime en NGINX para los clientes que no la admiten, puede reducir enormemente esos búferes (pista sobre el módulo gunzip)

Para determinar el mejor valor para fastcgi_buffers cuando siempre recibe datos comprimidos del upstream, puede usar:

curl --compressed -so /dev/null https://example.com/ -w '%{size_download}'

Volviendo a proxy_busy_buffers_size. Tiene sentido permitir que al menos algunos búferes específicos del cuerpo estén ocupados, para que se envíen rápidamente a los clientes tan pronto como se llenen. Por lo tanto, es posible que desee que su tamaño “cubra” tanto todo el búfer de encabezados como al menos una parte de los búferes del cuerpo.

Digamos que volvemos a nuestro Magento 2 con un tamaño máximo de encabezado de 16K y un tamaño máximo de cuerpo de respuesta de 512K.
Y la compresión por parte del upstream es opcional (puede obtener una respuesta sin comprimir).

Un buen punto de partida para proxy_busy_buffers_size es 16K + 4K * 2 = 24k. Es decir, el tamaño completo del tamaño máximo de encabezado más dos búferes “de cuerpo” más pequeños.

Recomendación:

proxy_buffering off; # para una configuración de servidor único (terminación SSL de Varnish), donde no se realiza almacenamiento en caché en NGINX mismo
proxy_buffer_size 16k; # debería ser suficiente para la mayoría de los sitios web PHP, o ajuste como se indicó anteriormente
proxy_busy_buffers_size 24k; # esencialmente, proxy_buffer_size + 2 búferes pequeños de 4k
proxy_buffers 64 4k; # debería ser suficiente para la mayoría de los sitios web PHP, ajuste como se indicó anteriormente para obtener un valor preciso

Existen aplicaciones que requieren el uso de muchos encabezados HTTP o solo unos pocos. En muchos casos, estará bien con el valor predeterminado de proxy_buffer_size de 4k | 8k, y para algunas aplicaciones debe ajustarse, por lo que su experiencia puede variar. No existe un valor perfecto para proxy_buffer_size que se adapte a todos. Es por eso que este parámetro es esencial para el ajuste fino de toda su pila impulsada por NGINX.