Resultados da pesquisa a pedido "apache-spark"
Falha ao carregar a implementação NativeSystemBLAS HiBench
Estou executando aplicativos HiBench Bayes e kmean, no entanto, estou recebendo aviso 17/09/05 09:54:54 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 17/09/05 09:54:54 WARN netlib.BLAS: Failed to ...
Sparklyr: como centralizar uma tabela Spark com base na coluna?
Eu tenho uma tabela Spark: simx x0: num 1.00 2.00 3.00 ... x1: num 2.00 3.00 4.00 ... ... x788: num 2.00 3.00 4.00 ...e um identificador chamadosimX_tbl no ambiente R que está conectado a estesimx mesa. Eu quero fazer uma centralização para ...
Use um método dentro de uma função UDF Spark Scala
Eu quero usar um método localizado em outra classe dentro de uma função projetada pelo usuário, mas não está funcionando. Eu tenho um método: def traitementDataFrameEleve(sc:SparkSession, dfRedis:DataFrame, domainMail:String, ...
O que o argumento 'startTime' da função pyspark.sql.functions.window faz e window.start?
O exemplo é o seguinte: df=spark.createDataFrame([ (1,"2017-05-15 23:12:26",2.5), (1,"2017-05-09 15:26:58",3.5), (1,"2017-05-18 15:26:58",3.6), (2,"2017-05-15 15:24:25",4.8), (3,"2017-05-25 ...
Scala adiciona nova coluna ao dataframe por expressão
Vou adicionar uma nova coluna a um quadro de dados com expressão. por exemplo, eu tenho um dataframe de +-----+----------+----------+-----+ | C1 | C2 | C3 |C4 | +-----+----------+----------+-----+ |steak|1 |1 | 150| |steak|2 |2 | 180| | fish|3 ...
Como você pode analisar uma string json de uma tabela temporária existente usando o PySpark?
Eu tenho um quadro de dados Spark existente que possui colunas como tais: -------------------- pid | response -------------------- 12 | {"status":"200"} resposta é uma coluna de sequência. Existe uma maneira de convertê-lo em JSON e extrair ...
collect () ou toPandas () em um DataFrame grande no pyspark / EMR
Eu tenho um cluster EMR de uma máquina "c3.8xlarge", depois de ler vários recursos, entendi que tenho que permitir uma quantidade decente de memória fora do heap porque estou usando o pyspark; portanto, configurei o cluster da seguinte ...
Spark kafka de fluxo estruturado converter JSON sem esquema (inferir esquema)
Eu li o Spark Structured Streaming não suporta inferência de esquema para ler mensagens Kafka como JSON. Existe uma maneira de recuperar o esquema da mesma forma que o Spark Streaming: val dataFrame = spark.read.json(rdd.map(_.value())) ...
Obter o tamanho / comprimento de uma coluna da matriz
Eu sou novo na programação Scala e esta é a minha pergunta: Como contar o número de strings para cada linha? Meu Dataframe é composto por uma única coluna do tipo Array [String]. friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]
Como o dataframereader pode ler http?
Meu ambiente de desenvolvimento: IntellijMavenScala2.10.6win7 x64Dependências: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...