Vai dzirkstele izmanto zookeeper?
Vai dzirkstele izmanto zookeeper?

Video: Vai dzirkstele izmanto zookeeper?

Video: Vai dzirkstele izmanto zookeeper?
Video: 064 ZooKeeper explained 2024, Novembris
Anonim

Sāciet Dzirkstele Apgūstiet vairākus mezglus un nodrošiniet, lai šiem mezgliem būtu vienādi Zoodārza sargs konfigurācija priekš Zoodārza uzraugs URL un direktorijs.

Informācija.

Sistēmas īpašums Nozīme
dzirkstele .izvietot. zoodārza uzraugs .rež Katalogs iekšā Zoodārza uzraugs lai saglabātu atkopšanas stāvokli (noklusējums: / dzirkstele ). Tas var būt neobligāts

Tātad, vai jūs varat palaist dzirksteli lokāli?

Spark can būt palaist izmantojot iebūvēto savrupo klasteru plānotāju vietējā režīmā. Tas nozīmē, ka visas Dzirkstele procesi ir palaist tajā pašā JVM efektīvi, vienu, vairāku pavedienu gadījumu Dzirkstele.

Otrkārt, vai Spark var izmantot bez Hadoop? Saskaņā ar Dzirkstele dokumentācija, Spark can palaist bez Hadoop . Varat to palaist kā savrupu režīmu bez jebkurš resursu pārvaldnieks. Bet, ja vēlaties darboties vairāku mezglu iestatījumos, jums ir nepieciešams resursu pārvaldnieks, piemēram, YARN vai Mesos, un izplatīta failu sistēma, piemēram, HDFS , S3 utt. Jā, dzirksteles var palaist bez hadoop.

Ir arī jāzina, kāpēc ZooKeeper tiek izmantots Hadoop?

Zoodārza sargs iekšā Hadoop var uzskatīt par centralizētu repozitoriju, kurā izplatītās lietojumprogrammas var ievietot datus un iegūt datus no tā. Tas ir lietots lai izplatītā sistēma darbotos kopā kā viena vienība, izmantojot tās sinhronizācijas, serializācijas un koordinācijas mērķus.

Kā darbojas Spark standalone?

Savrups režīms ir vienkāršs klasteru pārvaldnieks, kas apvienots ar Dzirkstele . Tas atvieglo klastera iestatīšanu Dzirkstele pati pārvalda un var darboties operētājsistēmās Linux, Windows vai Mac OSX. Bieži vien tas ir vienkāršākais skriešanas veids Dzirkstele pielietojums klasteru vidē. Uzziniet, kā instalēt Apache Spark Ieslēgts Savrups Režīms.

Ieteicams: