Quando você cria uma tabela externa no Hive com um local S3, os dados são transferidos?
Quando você cria uma tabela externa no Hive (no Hadoop) com um local de origem do Amazon S3, os dados são transferidos para o Hadoop HDFS local em:
criação de tabela externaquando quires (trabalhos MR) são executados na tabela externanunca (nenhum dado é transferido) e os trabalhos de MR leem os dados do S3.Quais são os custos incorridos aqui para as leituras do S3? Existe um único custo para a transferência de dados para o HDFS ou não há custos de transferência de dados, mas quando o trabalho MapReduce criado pelo Hive é executado nessa tabela externa, os custos de leitura são incorridos.
Um exemplo de definição de tabela externa seria:
CREATE EXTERNAL TABLE mydata (key STRING, value INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '='
LOCATION 's3n://mys3bucket/';