Resultados da pesquisa a pedido "user-defined-functions"
Retornando várias matrizes da função agregada definida pelo usuário (UDAF) no Apache Spark SQL
Estou tentando criar uma função agregada definida pelo usuário (UDAF) em Java usando o Apache Spark SQL que retorna várias matrizes na conclusão. Pesquisei on-line e não consigo encontrar exemplos ou sugestões sobre como fazer isso. Sou capaz de ...
Existe uma maneira de usar uma função em uma Consulta do Microsoft SQL Server sem usar "dbo". Antes da função?
Existe uma maneira de chamar uma função definida pelo usuário sem usar "dbo". antes do nome da função e parâmetros? Usando: SELECT USERFUNCTION(PARAM1, PARAM2, PARAM3, PARAMN)ao invés de: SELECT dbo.USERFUNCTION(PARAM1, PARAM2, PARAM3, PARAMN)
Como converter uma coluna WrappedArray no spark dataframe para Strings?
Estou tentando converter uma coluna que contém Array [String] para String, mas sempre recebo esse erro org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 78.0 failed 4 times, most recent failure: Lost task 0.3 in ...
Estouro de pilha ao processar várias colunas com um UDF
eu tenho umDataFrame com muitas colunas destr tipo e quero aplicar uma função a todas essas colunas, sem renomear seus nomes ou adicionar mais colunas, tentei usar umfor-in execução de loopwithColumn (veja o exemplo abaixo), mas normalmente ...
Como criar um transformador personalizado a partir de um UDF?
Eu estava tentando criar e salvar umPipeline [https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.Pipeline] com estágios personalizados. Preciso adicionar umcolumn para o meuDataFrame usando umUDF. Portanto, eu queria ...
Aplicando a Função à Coluna Spark Dataframe
Vindo de R, estou acostumado a fazer operações facilmente em colunas. Existe alguma maneira fácil de executar essa função que eu escrevi no scala def round_tenths_place( un_rounded:Double ) : Double = { val rounded ...
Como passar um valor constante para o Python UDF?
Eu estava pensando se era possível criar umUDF que recebe dois argumentos porColumn e outra variável (Object,Dictionary, ou qualquer outro tipo), faça algumas operações e retorne o resultado. Na verdade, tentei fazer isso, mas tive uma exceção. ...
Apache Spark - Atribua o resultado do UDF a várias colunas do quadro de dados
Estou usando o pyspark, carregando um arquivo csv grande em um dataframe com spark-csv e, como etapa de pré-processamento, preciso aplicar uma variedade de operações aos dados disponíveis em uma das colunas (que contém uma string json) . Isso ...
junção interna versus função escalar
Qual das seguintes consultas é melhor ... Este é apenas um exemplo, existem inúmeras situações em que desejo que o nome do usuário seja exibido em vez do UserID Select EmailDate, B.EmployeeName as [UserName], EmailSubject from Trn_Misc_Email as ...
Registre UDF no SqlContext do Scala para usar no PySpark
É possível registrar um UDF (ou função) escrito em Scala para usar no PySpark? Por exemplo.: val mytable = sc.parallelize(1 to 2).toDF("spam") mytable.registerTempTable("mytable") def addOne(m: Integer): Integer = m + 1 // Spam: 1, 2No Scala, ...