У меня есть регистратор активности пользователей и система запросов для интернет-провайдера с очень высокой частотой событий журнала (5k-10K/sec). Он должен связать системные журналы Radius/Session и NAT на основе общего Внутренний IP поле. Каждый сеанс имеет два события Start и Stop. Примерно 24-часовые данные, созданные 3000 пользователей, могут составлять около 20 миллионов записей, и ожидается, что они будут увеличиваться.
Мое решение состоит из 2 агентов синтаксического анализа и сохранения для каждого типа журнала, написанных на Golang с бэкэндом Postgresql db. Я испытываю несколько проблем с обеих сторон. Синтаксический анализ и хранение не могут справиться с высокой скоростью передачи данных даже после (в памяти) буферизации событий системного журнала. Для экономии места я должен сгруппировать каждую сессию в одну запись и идентифицировать пользователя сессии NAT из другого журнала, реализованного через триггер. Буферы занимают системную память, и в конечном итоге процесс уничтожается. Запись в PGSQL выполняется медленно из-за идентификации пользователя и индексов в таблице.
Чтобы вернуться к моему подходу, я хотел найти предложения о том, как улучшить производительность. Независимо от того, какой подход я выберу, мне нужно идентифицировать пользователя NAT из журналов сеансов Radius, прежде чем сохранять эти данные в базе данных.
