Resultados da pesquisa a pedido "apache-flink"
Qual é a diferença entre um sistema “stateful” e “stateless”?
Apache Spark [https://people.csail.mit.edu/matei/papers/2013/sosp_spark_streaming.pdf]alega que seus operadores (nós) são "sem estado". Isso permite que a arquitetura do Spark use protocolos mais simples para coisas como recuperação, ...
flink - usando injeções de punhal - não serializável?
Estou usando Flink (mais recente via git) para transmitir de kafka para cassandra. Para facilitar o teste de unidade, estou adicionando injeção de dependência via Dagger. O ObjectGraph parece estar se configurando corretamente, mas os ...
É possível usar o Riak CS com o Apache Flink?
Eu quero configurarfilesystem back-end do estado ezookeeper modo de recuperação: state.backend: filesystem state.backend.fs.checkpointdir: ??? recovery.mode: zookeeper recovery.zookeeper.storageDir: ???Como você pode ver, eu ...
Leia dados do Cassandra para processamento no Flink
Eu tenho que processar fluxos de dados do Kafka usando o Flink como o mecanismo de streaming. Para fazer a análise dos dados, preciso consultar algumas tabelas no Cassandra. Qual é a melhor maneira de fazer isso? Eu tenho procurado exemplos em ...
Por que flink container tamanho vcore é sempre 1
Estou executando flink no fio (mais precisamente no cluster de fios do AWS EMR). Eu li o documento do flink e o código-fonte que, por padrão, para cada contêiner do gerenciador de tarefas, o flink solicitará o número de slots por gerenciador de ...
java.lang.NoSuchMethodError no Flink
Estou tentando ler o arquivo usando: final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); DataSet<String> line = env.readTextFile("file:///pathtofile/myfile.txt");Eu recebo o seguinte ...
Como combinar dados de streaming com um grande conjunto de dados do histórico no Dataflow / Beam
Estou investigando o processamento de logs de sessões de usuário da web via Google Dataflow / Apache Beam e preciso combinar os logs do usuário à medida que eles entram (streaming) com o histórico da sessão de um usuário desde o ...
Configuração do Flink local em execução independente do IDE
Se eu gostaria de executar um aplicativo Flink localmente, diretamente de Intellij, mas preciso especificar parâmetros de configuração (como fs.hdfs.hdfssite para configurar o acesso S3), existe alguma outra maneira de fornecer esses parâmetros ...
Classificação global no Apache Flink
O método sortPartition de um conjunto de dados classifica o conjunto de dados localmente com base em alguns campos especificados. Como posso classificar meu grande conjunto de dados globalmente de maneira eficiente no Flink?
Como usar o KafkaSource do Flink no Scala?
Estou tentando executar um programa de teste simples com o KafkaSource da Flink. Estou usando o seguinte: Flink 0.9Scala 2.10.4Kafka 0.8.2.1Segui os documentos para testar o KafkaSource (dependência adicionada, agrupe o conector Kafka ...