Resultados da pesquisa a pedido "partitioning"
Divida uma lista de números em n pedaços, de modo que os pedaços tenham (quase) somas iguais e mantenha a ordem original
Este não é o problema de particionamento padrão, pois preciso manter a ordem dos elementos na lista. Por exemplo, se eu tiver uma lista [1, 6, 2, 3, 4, 1, 7, 6, 4]e eu quero dois pedaços, então a divisão deve dar [[1, 6, 2, 3, 4, 1], [7, 6, ...
Como o particionador de intervalo funciona no Spark?
Não estou tão claro sobre como o particionador de intervalo funciona no Spark. Ele usa (Amostragem de reservatório) para coletar amostras. E fiquei confuso com a maneira de calcular os limites da entrada. // This is the sample size we need to ...
Pandas: Amostrando um DataFrame [duplicado]
Esta pergunta já tem uma resposta aqui: omo dividir dados em 3 conjuntos (treinamento, validação e teste [/questions/38250710/how-to-split-data-into-3-sets-train-validation-and-test] 5 respostas Estou tentando ler um arquivo CSV razoavelmente ...
Banco de Dados - Criando uma Tabela de "Eventos"
Depois de ler as dicas deisso é ótimoNettuts + artigo [http://net.tutsplus.com/tutorials/other/top-20-mysql-best-practices/]Eu criei um esquema de tabela que separaria dados altamente voláteis de outras tabelas sujeitas a leituras pesadas e, ao ...
Particionando no Spark durante a leitura de RDBMS via JDBC
Estou executando o spark no modo de cluster e lendo dados do RDBMS via JDBC. Conforme Sparkdocs [http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases] , esses parâmetros de particionamento descrevem como ...
No Apache Spark, por que o RDD.union não preserva o particionador?
Como todos sabem, os particionadores do Spark têm um enorme impacto no desempenho de qualquer operação "ampla", portanto, geralmente é personalizado nas operações. Eu estava experimentando o seguinte código: val rdd1 = sc.parallelize(1 to ...
Algoritmo de Posicionamento de Objetos
Eu estou querendo saber se existe uma solução "ideal" para este problema:Eu tenho um espaço de tamanho n x m (pixel) com p retangulado preexistente...
Construindo um arquivo KML grande
Giro arquivos KML que podem ter 50.000 marcadores ou mais, organizados em Pastas com base em um agrupamento específico do domínio. O arquivo KML usa imagens personalizadas compactadas em um arquivo KMZ. Estou procurando dividir o único arquivo ...
Manipulando dados muito grandes com o mysql
Desculpe pelo longo post! Eu tenho um banco de dados contendo ~ 30 tabelas (mecanismo InnoDB). Apenas duas dessas tabelas, a saber, "transação" e "turno" são muito grandes (a primeira possui 1,5 milhão de linhas e o turno tem 23 mil linhas). ...
Otimizando uma função de partição
Aqui está o código, em python: # function for pentagonal numbers def pent (n): return int((0.5*n)*((3*n)-1)) # function for generalized pentagonal numbers def gen_pent (n): return pent(int(((-1)**(n+1))*(round((n+1)/2)))) # array for storing ...