Resultados da pesquisa a pedido "apache-spark"

1 a resposta

Falha ao carregar a implementação NativeSystemBLAS HiBench

Estou executando aplicativos HiBench Bayes e kmean, no entanto, estou recebendo aviso 17/09/05 09:54:54 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 17/09/05 09:54:54 WARN netlib.BLAS: Failed to ...

1 a resposta

Sparklyr: como centralizar uma tabela Spark com base na coluna?

Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...

1 a resposta

Use um método dentro de uma função UDF Spark Scala

Eu quero usar um método localizado em outra classe dentro de uma função projetada pelo usuário, mas não está funcionando. Eu tenho um método: def traitementDataFrameEleve(sc:SparkSession, dfRedis:DataFrame, domainMail:String, ...

1 a resposta

O que o argumento 'startTime' da função pyspark.sql.functions.window faz e window.start?

O exemplo é o seguinte: df=spark.createDataFrame([ (1,"2017-05-15 23:12:26",2.5), (1,"2017-05-09 15:26:58",3.5), (1,"2017-05-18 15:26:58",3.6), (2,"2017-05-15 15:24:25",4.8), (3,"2017-05-25 ...

3 a resposta

Scala adiciona nova coluna ao dataframe por expressão

Vou adicionar uma nova coluna a um quadro de dados com expressão. por exemplo, eu tenho um dataframe de +-----+----------+----------+-----+ | C1 | C2 | C3 |C4 | +-----+----------+----------+-----+ |steak|1 |1 | 150| |steak|2 |2 | 180| | fish|3 ...

1 a resposta

Como você pode analisar uma string json de uma tabela temporária existente usando o PySpark?

Eu tenho um quadro de dados Spark existente que possui colunas como tais: -------------------- pid | response -------------------- 12 | {"status":"200"} resposta é uma coluna de sequência. Existe uma maneira de convertê-lo em JSON e extrair ...

1 a resposta

collect () ou toPandas () em um DataFrame grande no pyspark / EMR

Eu tenho um cluster EMR de uma máquina "c3.8xlarge", depois de ler vários recursos, entendi que tenho que permitir uma quantidade decente de memória fora do heap porque estou usando o pyspark; portanto, configurei o cluster da seguinte ...

5 a resposta

Spark kafka de fluxo estruturado converter JSON sem esquema (inferir esquema)

Eu li o Spark Structured Streaming não suporta inferência de esquema para ler mensagens Kafka como JSON. Existe uma maneira de recuperar o esquema da mesma forma que o Spark Streaming: val dataFrame = spark.read.json(rdd.map(_.value())) ...

1 a resposta

Obter o tamanho / comprimento de uma coluna da matriz

Eu sou novo na programação Scala e esta é a minha pergunta: Como contar o número de strings para cada linha? Meu Dataframe é composto por uma única coluna do tipo Array [String]. friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]

1 a resposta

Como o dataframereader pode ler http?

Meu ambiente de desenvolvimento: IntellijMavenScala2.10.6win7 x64Dependências: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...