Kas tiek samazināts ar atslēgu?

2024 Autors: Lynn Donovan | [email protected]. Pēdējoreiz modificēts: 2023-12-15 23:50

Funkcija Spark RDD reductionByKey apvieno katras vērtības taustiņu izmantojot asociatīvu samazināt funkciju. Tas intuitīvi nozīmē, ka šī funkcija rada tādu pašu rezultātu, ja to atkārtoti lieto vienai un tai pašai RDD datu kopai ar vairākiem nodalījumiem neatkarīgi no elementu secības.

Kāda ir atšķirība starp groupByKey un ReductionByKey?

groupByKey () ir tikai datu kopas grupēšana, pamatojoties uz atslēgu. samazinātByKey () ir kaut kas līdzīgs grupēšanai + apkopošanai. samazinātByKey var izmantot, ja mēs izmantojam lielu datu kopu. aggregateByKey() loģiski ir tāds pats kā samazinātByKey (), bet tas ļauj atgriezt rezultātu savādāk veids.

Zināt arī, kāpēc samazināt darbības dzirksteles? Samazināt dzirksteles operācija ir darbība veida operācija, un tā aktivizē pilnu DAG izpildi visiem sarindotajiem slinkajiem norādījumiem. Dzirkstele RDD samazināt funkcija samazina šī RDD elementus, izmantojot norādīto komutatīvo un asociatīvo bināro operatoru. Samazināt dzirksteles darbība ir gandrīz līdzīga kā samazināt metode Scala.

Blakus iepriekš minētajam, kas ir Pairrdd?

Spark nodrošina īpašas darbības RDD, kas satur atslēgu/vērtību pārus. Šos RDD sauc par pāru RDD. Pāra RDD ir noderīgs pamatelements daudzās programmās, jo tie atklāj darbības, kas ļauj darboties ar katru taustiņu paralēli vai pārgrupēt datus visā tīklā. PārisRDD ir KEY/VALUE pāri.

Vai reductionByKey ir darbība?

Reduction() izvada kolekciju, kas nepievieno virzīto aciklisko grafiku (DAG), tāpēc tiek īstenota kā darbība . tomēr samazinātByKey () atgriež RDD, kas ir tikai vēl viens līmenis/stāvoklis DAG, tāpēc tā ir transformācija.