PySpark Tutorials

Aprenda a usar o PySpark com Column() de forma eficaz para adicionar, atualizar e transformar colunas do DataFrame com confiança. Aborda sintaxe, desempenho e melhores práticas.

Saiba como ler arquivos CSV com eficiência no PySpark. Explore as opções, o manuseio de esquemas, a compactação, o particionamento e as práticas recomendadas para o sucesso do big data.

Aprenda técnicas eficientes de filtragem do PySpark com exemplos. Aumente o desempenho usando pushdown de predicado, poda de partição e funções de filtro avançadas.

Saiba como criar, otimizar e usar UDFs do PySpark, incluindo UDFs do Pandas, para lidar com transformações de dados personalizadas de forma eficiente e melhorar o desempenho do Spark.

Saiba como otimizar as uniões do PySpark, reduzir embaralhamentos, lidar com distorções e melhorar o desempenho em pipelines de big data e fluxos de trabalho de machine learning.