Kādu Python versiju spark izmanto?
Kādu Python versiju spark izmanto?

Video: Kādu Python versiju spark izmanto?

Video: Kādu Python versiju spark izmanto?
Video: Midjourney Level NEW Open Source Kandinsky 2.1 Beats Stable Diffusion - Installation And Usage Guide 2024, Novembris
Anonim

Dzirkstele darbojas uz Java 8+, Python 2,7+/3,4+ un R 3,1+. Scala API, Dzirkstele 2.3. 0 lietojumiem Scala 2.11. Jums vajadzēs izmantot saderīgu Scala versija (2.11.

Attiecīgi, vai spark darbojas ar Python 3?

Apache Dzirkstele ir klasteru skaitļošanas ietvars, kas šobrīd ir viens no visaktīvāk izstrādātajiem atvērtā pirmkoda lielo datu arēnā. Kopš jaunākās versijas 1.4 (2015. gada jūnijs), Dzirkstele atbalsta R un Python 3 (lai papildinātu iepriekš pieejamo Java, Scala un Python 2).

Papildus iepriekš minētajam, kā mainīt Python spark versiju? Gadījumā, ja tikai vēlaties mainīt uz python versija pašreizējam uzdevumam varat izmantot šādu pyspark start komandu: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ pitons PYSPARK_PYTHON=/usr/local/anaconda2/bin/ pitons pyspark -- meistars..

Turklāt kāda ir jaunākā spark versija?

Apache Spark

Oriģinālais(-i) autors(-i) Mateja Zaharija
Sākotnējā izlaišana 2014. gada 26. maijs
Stabila izlaišana 2.4.5 / 2020. gada 8. februāris
Repozitorijs Dzirksteles krātuve
Ierakstīts Scala

Kas ir spark Python?

Lielo datu pieradināšana ar Apache Dzirkstele un Python Py4J ir plaši integrēta bibliotēka PySpark tas ļauj pitons dinamiski saskarties ar JVM objektiem (RDD). Apache Dzirkstele nāk ar interaktīvu apvalku pitons tāpat kā Scala. Apvalks priekš pitons ir pazīstams kā PySpark ”.

Ieteicams: