Перекошенные группы в PySpark без скачка памяти через итераторные applyInPandas и applyInArrow

Итераторные applyInPandas и applyInArrow (Iterator applyInPandas and applyInArrow) задуманы как ответ на типичную беду PySpark, когда один горячий ключ целиком попадает в память одного Python-воркера...

Поиск по сайту

Поиск по сайту