работает просто отлично, не нуждаясь в html-конвертации (см. вопрос) ... и никто не захочет конвертировать большой массив данных в панд ... обойти это - конвертировать голову в панд
a pyspark.sql.DataFrameражает грязный сDataFrame.show() - перенос строк вместо свитка.
но отображается сpandas.DataFrame.head
Я пробовал эти варианты
import IPython
IPython.auto_scroll_threshold = 9999
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
from IPython.display import display
но не повезло. Хотя прокрутка работает при использовании в редакторе Atom с плагином jupyter:
