Если нужно дать сервису или CI-джобе доступ к Spark, а ставить на каждый узел Java и полный дистрибутив не хочется, пригодится pyspark-client Spark Connect...