SparklyR removendo uma tabela do contexto do Spark
Deseja remover uma única tabela de dados do Contexto Spark ('sc'). Eu sei que uma única tabela em cache pode ser des-armazenada em cache, mas isso não é o mesmo que remover um objeto do sc - até onde eu sei.
library(sparklyr)
library(dplyr)
library(titanic)
library(Lahman)
spark_install(version = "2.0.0")
sc <- spark_connect(master = "local")
batting_tbl <- copy_to(sc, Lahman::Batting, "batting")
titanic_tbl <- copy_to(sc, titanic_train, "titanic", overwrite = TRUE)
src_tbls(sc)
# [1] "batting" "titanic"
tbl_cache(sc, "batting") # Speeds up computations -- loaded into memory
src_tbls(sc)
# [1] "batting" "titanic"
tbl_uncache(sc, "batting")
src_tbls(sc)
# [1] "batting" "titanic"
Para desconectar o sc completo, eu usariaspark_disconnect(sc)
, mas neste exemplo, destruiria as tabelas "titanic" e "batting" armazenadas dentro de sc.
Em vez disso, gostaria de excluir, por exemplo, "bater" com algo comospark_disconnect(sc, tableToRemove = "batting")
, mas isso não parece possível.