Регистрация Войти
Рейтинг:0
Sat avatar Server

API чтения хранилища BigQuery

флаг pk
Sat

У нас есть прокси-сервис, который находится между клиентом и BigQuery. Этот прокси-сервис фактически взаимодействует с BigQuery и отправляет данные обратно фактическому клиенту.

У нас есть вариант использования, когда мне нужно передать данные из BigQuery (данные могут быть порядка миллионов). Мы рассматриваем возможность использования BQ Storage Read API для открытия ReadSession и чтения непересекающихся наборов строк.

Теперь мой вопрос состоит из двух частей:

  1. При чтении TableReadOptions поддерживает запрос или поддерживает только выбранные поля? Справочный пример: https://cloud.google.com/bigquery/docs/reference/storage/libraries

  2. Когда вставляются новые данные, будет ли session.getStreamsCount() обновляться динамически или будет статическим (без включения новых данных, поступающих в Big Query)?

Мы ищем способ потоковой передачи уже существующих данных, а также потоковой передачи новых записей, поступающих в BigQuery.

38
0 + 0
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.