Resultados da pesquisa a pedido "distributed-computing"
Como escrever em CSV no Spark
Estou tentando encontrar uma maneira eficaz de salvar o resultado do meu Spark Job como um arquivo csv. Estou usando o Spark com Hadoop e até agora todos os meus arquivos são salvos comopart-00000. Alguma idéia de como fazer o meu spark saving ...
O que fazer quando você realmente estragou o design de um sistema distribuído?
Pergunta relacionada: Qual é a maneira mais eficiente de quebrar um banco de dados centralizado? [https://stackoverflow.com/questions/2356805/what-is-the-most-efficient-way-to-break-up-a-centralised-database] Vou tentar fazer essa pergunta ...
Erro ORBD Corba
Estou desenvolvendo uma ferramenta de administração remota simples usando CORBA. Este é o código do meu servidor. /* * To change this template, choose Tools | Templates * and open the template in the editor. */ package simrat; import ...
Versão ruim ou chave endian no MATLAB parfor?
Estou fazendo cálculos paralelos com MATALBparfor. A estrutura do código se parece muito com %%% assess fitness %%% % save communication overheads bitmaps = pop(1, new_indi_idices); porosities = pop(2, new_indi_idices); mid_fitnesses = ...
Como a função agregada do Spark - agregateByKey funciona?
Digamos que eu tenha um sistema de distribuição em 3 nós e meus dados sejam distribuídos entre esses nós. por exemplo, eu tenho um arquivo test.csv que existe em todos os 3 nós e contém 2 colunas de: **row | id, c.** --------------- row1 | k1 , ...
Até onde vai o cache do Spark RDD?
Diga que tenho trêsRDD função de transformação chamadardd1: def rdd2 = rdd1.f1 def rdd3 = rdd2.f2 def rdd4 = rdd3.f3Agora eu quero colocar em cacherdd4então eu ligordd4.cache(). Minha pergunta: Somente o resultado da ação emrdd4 em cache ou ...
apache spark, "falha ao criar qualquer diretório local"
Estou tentando configurar o Apache-Spark em um pequeno cluster autônomo (1 nó mestre e 8 nós escravos). Eu instalei a versão "pré-criada" do spark 1.1.0, construída sobre o Hadoop 2.4. Eu configurei o ssh sem senha entre os nós e exportei algumas ...
Qual é a diferença entre cache e persistir?
Em termos deRDD persistência, quais são as diferenças entrecache() epersist() na faísca?
O que é terracota?
O que é terracota?Quais serviços ele oferece?Que problemas ele resolve?Que outros produtos resolvem problemas semelhantes aos que a Terracotta resolve?
C ++ Winsock P2P
CenárioAlguém tem bons exemplos de redes ponto a ponto (p2p) em C ++ usando o Winsock? É um requisito que tenho para um cliente que precisa especificamente usar essa tecnologia (Deus sabe o porquê). Eu preciso determinar se isso ...