Рейтинг:0

Половина данных теряется между HAProxy и внутренним сервером

флаг in

У меня есть такая установка на Ubuntu

Браузер --> HAProxy --> Бэкенд-сервер

Бэкенд-сервер представляет собой веб-приложение ASP.NET Core.

Он работает в 99,9% случаев, за исключением случаев, когда загружается двоичный файл (простой POST с составными данными формы), и в этом случае я получаю сообщение об ошибке:

System.IO.IOException: Неожиданный конец потока, возможно, содержимое уже было прочитано другим компонентом. 

   в Microsoft.AspNetCore.WebUtilities.MultipartReaderStream.ReadAsync (буфер Byte [], смещение Int32, счетчик Int32, CancellationToken CancellationToken)

   в Microsoft.AspNetCore.WebUtilities.FileBufferingReadStream.ReadAsync (буфер Byte [], смещение Int32, количество Int32, CancellationToken CancellationToken)

   в Microsoft.AspNetCore.WebUtilities.StreamHelperExtensions.DrainAsync (поток потока, пул байтов ArrayPool`1, предел Nullable`1, CancellationToken CancellationToken)

   в Microsoft.AspNetCore.Http.Features.FormFeature.InnerReadFormAsync (CancellationToken CancellationToken)

   в Microsoft.AspNetCore.Antiforgery.DefaultAntiforgeryTokenStore.GetRequestTokensAsync(HttpContext httpContext)

   в Microsoft.AspNetCore.Antiforgery.DefaultAntiforgery.ValidateRequestAsync(HttpContext httpContext)

   в Microsoft.AspNetCore.Mvc.ViewFeatures.Filters.ValidateAntiforgeryTokenAuthorizationFilter.OnAuthorizationAsync (контекст AuthorizationFilterContext)

   в Microsoft.AspNetCore.Mvc.Infrastructure.ResourceInvoker.<InvokeFilterPipelineAsync>g__Awaited|19_0 (вызывающий ResourceInvoker, задача lastTask, следующее состояние, область области действия, состояние объекта, логическое значение isCompleted)

   в Microsoft.AspNetCore.Mvc.Infrastructure.ResourceInvoker.<InvokeAsync>g__Logged|17_1 (инициатор ResourceInvoker)

   в Microsoft.AspNetCore.Routing.EndpointMiddleware.<Invoke>g__AwaitRequestTask|6_0 (конечная точка конечной точки, Task requestTask, регистратор ILogger)

   в Microsoft.AspNetCore.Diagnostics.DeveloperExceptionPageMiddleware.Invoke (контекст HttpContext)

Итак, я пытался выяснить, почему.

Я попробовал бэкэнд ASP.NET Core напрямую, он работает.

Итак, я записал входящие данные в серверную часть и обнаружил, что если я сделаю это напрямую, то получу ожидаемые заголовки запроса, а затем загруженный файл в теле.

Затем я зарегистрировал входящие данные на серверную часть через HAProxy, и половина данных отсутствует.

Т.е. первые данные, видимые бэкэндом, кажутся

04 E2 22 FC 60 FF 2B E1 BF 85 D2 75 F9 44 94 86

но это байты примерно на полпути к моему файлу, который составляет 25 126 байт. Я вообще не вижу никакой информации в заголовке.

Я готов признать, что моя регистрация несовершенна и не обязательно точна. Похоже, что запрос как-то разделился на два, или буфер был заполнен, а затем перезаписан.

В чем может быть проблема?

Глобальный

    chroot /var/lib/haproxy
    журнал /dev/log local0 информация

    статистика сокет /run/haproxy/admin.sock режим 660 уровень администратора
    статистика тайм-аут 30s
    пользовательский прокси
    группа пользователей
    демон
        
    lua-загрузить /home/user/haproxy-mapping.lua

    ssl-default-bind-ciphers ECDH+AESGCM:ECDH+CHACHA20:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:RSA+AESGCM:RSA+AES:!aNULL:!MD5:! DSS:!AESCCM
    ssl-default-server-options no-sslv3 no-tlsv10 no-tlsv11 no-tls-tickets
    setup.ssl.default-dh-параметр 2048


значения по умолчанию
    журнал глобальный
    режим http

    тайм-аут подключения 30000
    тайм-аут клиента 50000
    тайм-аут сервера 50000
    опцион вперед для
    option http-server-close # также попробуйте http-keep-alive


интерфейс httpfront
    режим http
    привязать *:80
    схема перенаправления https код 301 если !{ ssl_fc }


интерфейс web_front_end

    привязать *: 443 ssl crt /home/.....file.pem
    режим http

     log /var/lib/haproxy/dev/log local0 информация

        # Ограничение скорости
        stick-table type ip size 100k expire 600s store http_req_rate(60s) #хранить до 100k запросов на 60s, посмотреть, если за 60s будет больше 600
        http-запрос track-sc0 src
        http-запрос отклонить deny_status 429, если { sc_http_req_rate (0) gt 600 }


    # Убедитесь, что у нас есть чистое состояние для начала
    http-запрос del-header X-SERVER-SNI

    # Установить объединенное значение SNI во временный заголовок
    http-запрос set-header X-SERVER-SNI haproxy.%[ssl_fc_sni] if { ssl_fc_sni -m found }

    # Установите значение заголовка в переменную уровня транзакции
    http-запрос set-var(txn.fc_sni) ssl_fc_sni #hdr(X-SERVER-SNI) if { hdr(X-SERVER-SNI) -m найдено}

    #используйте код Lua, чтобы определить, на какой бэкэнд отправлять
    use_backend %[lua.legacy_new_backend]





внутренние серверные узлы_1_https
    баланс круговой
    опцион вперед для
    сервер node1 127.0.0.1:446 ssl проверить нет sni var(txn.fc_sni)
Рейтинг:0
флаг in

Кажется, теперь он работает правильно с конфигурацией HAProxy.

опция http-keep-alive

вместо

опция http-server-close

Я бы поклялся, что пробовал это раньше, но это действительно помогает.

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.