Resultados de la búsqueda a petición "apache-spark-sql"
¿Cómo insisto en HDFS con chispa?
Tengo datos particionados en el HDFS. En algún momento decido actualizarlo. El algoritmo es: Lee los nuevos datos de un tema kafka. Encuentre nuevos nombres de partición de datos. Cargue los datos de las particiones con estos nombres que se ...
Detección de sufijo de cadena eficiente
Estoy trabajando con PySpark en un gran conjunto de datos, donde quiero filtrar el marco de datos basado en cadenas en otro marco de datos. Por ejemplo dd ...
¿Cómo ordenar DataFrame con mi comparador usando Scala?
Me gustaría ordenar un DataFrame basado en una columna con mi propio comparador. ¿Es posible hacer esto en Spark SQL? Por ejemplo, supongamos que tengo un DataFrame registrado como Tabla "MyTable" con una columna "Day" cuyo tipo es ...