Satura rādītājs:

Kā palaist savu spark History serveri?
Kā palaist savu spark History serveri?

Video: Kā palaist savu spark History serveri?

Video: Kā palaist savu spark History serveri?
Video: БЕЛАРУСЬ | Вассальное государство России? 2024, Maijs
Anonim

Lai iespējotu Spark vēstures serveri, veiciet tālāk norādītās darbības

  1. DSEFS failu sistēmā izveidojiet direktoriju notikumu žurnāliem: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kad notikumu reģistrēšana ir iespējota, pēc noklusējuma tiek saglabāti visi žurnāli, kā rezultātā laika gaitā krātuve palielinās.

Papildus tam, kā iestatīt Spark History serveri?

Lai iespējotu Spark vēstures serveri, veiciet tālāk norādītās darbības

  1. DSEFS failu sistēmā izveidojiet direktoriju notikumu žurnāliem: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kad notikumu reģistrēšana ir iespējota, pēc noklusējuma tiek saglabāti visi žurnāli, kā rezultātā laika gaitā krātuve palielinās.

Tāpat kā es varu atrast savu spark History servera URL? Piemēram, par vēstures serveris , tie parasti būtu pieejami vietnē serveris - url >:18080/api/v1 un, ja lietojumprogramma darbojas, apmeklējiet vietni https://localhost:4040/api/v1. API uz lietojumprogrammu atsaucas ar tās lietojumprogrammas ID [app-id].

Tāpat, kas ir spark History serveris?

The Spark vēstures serveris ir uzraudzības rīks, kas parāda informāciju par pabeigto Dzirkstele lietojumprogrammas. Šī informācija ir izvilkti no datiem, ko lietojumprogrammas pēc noklusējuma ieraksta Hadoop izplatītās failu sistēmas (HDFS) direktorijā.

Kas ir Sparkui?

Spark Web UI ļauj skatīt plānotāja posmu un uzdevumu sarakstu, vides informāciju, informāciju par palaistajiem izpildītājiem un daudz ko citu. Noskatieties šo 30 minūšu demonstrāciju, lai uzzinātu par: Spark programmas komponentiem un dzīves ciklu. Kā jūsu Spark lietojumprogramma darbojas Hadoop klasterī.

Ieteicams: