2 votes

Clarification du flux de données par lots ou en continu vers BigQuery

Étant donné qu'il y a un coût lié à la diffusion en continu des insertions pour BigQuery L'utilisation de Dataflow pour lire à partir d'une collection délimitée (ou en mode batch) entraîne-t-elle un coût pour l'utilisateur ? BigQuery perspective ? Et je crois que ce n'est que lors de la lecture d'une collection non limitée (en mode streaming) et de l'écriture vers BigQuery est considéré comme un insert de Streaming à BigQuery ?

1voto

medvedev1088 Points 2615

Vous avez raison, car spécifié dans les sources :

Si l'entrée est bornée, alors les charges de fichiers seront utilisées. Si l'entrée est non bornée, des insertions en continu seront utilisées.

Vous pouvez remplacer le comportement par défaut en utilisant .setMethod(Write.Method.FILE_LOADS) o .setMethod(Write.Method.STREAMING_INSERTS) sur le BigQueryIO objet constructeur.

Prograide.com

Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.

Powered by:

X