Kas ir dzirksteles pārraide?
Kas ir dzirksteles pārraide?

Video: Kas ir dzirksteles pārraide?

Video: Kas ir dzirksteles pārraide?
Video: Chevrolet spark transmission 2024, Novembris
Anonim

Raidījums Apache mainīgie Dzirkstele ir mehānisms mainīgo koplietošanai starp izpildītājiem, kas ir paredzēti tikai lasāmiem. Bez pārraide mainīgie šie mainīgie tiks nosūtīti katram izpildītājam katrai transformācijai un darbībai, un tas var radīt tīkla papildu izmaksas.

Tāpat cilvēki jautā, kad man vajadzētu raidīt dzirksteli?

Raidījums Mainīgie lielumi galvenokārt tiek izmantoti, ja uzdevumiem vairākos posmos ir nepieciešami vieni un tie paši dati vai ja ir nepieciešama datu kešatmiņa deserializētā formā. Raidījums mainīgie tiek izveidoti, izmantojot mainīgo v, izsaucot SparkContext.

Kā arī, kas ir akumulatori un apraides mainīgie dzirksteles? Dzirkstele atbalsta divu veidu koplietošanu mainīgie : apraides mainīgie , ko var izmantot, lai saglabātu vērtību atmiņā visos mezglos, un akumulatori , kuri ir mainīgie kas ir tikai “pievienoti”, piemēram, skaitītāji un summas.

Ņemot to vērā, kas ir dzirksteles akumulators?

Akumulatori ir mainīgie, kas tiek “pievienoti” tikai ar asociatīvu darbību, un tāpēc tos var efektīvi atbalstīt paralēli. Tos var izmantot, lai ieviestu skaitītājus (kā MapReduce) vai summas. Dzirkstele sākotnēji atbalsta akumulatori ciparu tipiem, un programmētāji var pievienot atbalstu jauniem veidiem.

Kā atjaunināt apraides mainīgo spark?

  1. Pārvietojiet atsauces datu meklēšanu uz forEachPartition vai forEachRdd tā, lai tas pilnībā attiektos uz darbiniekiem.
  2. Restartējiet Spark kontekstu katru reizi, kad mainās atjaunināšanas dati, izmantojot jaunu apraides mainīgo.

Ieteicams: