Satura rādītājs:

Kādi ir galvenie konfigurācijas parametri, kas lietotājam jānorāda, lai palaistu MapReduce darbu?
Kādi ir galvenie konfigurācijas parametri, kas lietotājam jānorāda, lai palaistu MapReduce darbu?

Video: Kādi ir galvenie konfigurācijas parametri, kas lietotājam jānorāda, lai palaistu MapReduce darbu?

Video: Kādi ir galvenie konfigurācijas parametri, kas lietotājam jānorāda, lai palaistu MapReduce darbu?
Video: Hadoop Map Reduce Development - Parameter files, parameters, split size 2024, Novembris
Anonim

Galvenie konfigurācijas parametri, kas lietotājiem jānorāda “MapReduce” ietvarā, ir:

  • Darbs ievades vietas izplatītajā failu sistēmā.
  • Darbs izvades vieta izplatītajā failu sistēmā.
  • Datu ievades formāts.
  • Datu izvades formāts.
  • Klase, kas satur kartes funkciju.
  • Klase, kas satur samazināšanas funkciju.

Kādi ir galvenie konfigurācijas parametri programmā MapReduce?

Galvenie konfigurācijas parametri “MapReduce” ietvarā ir:

  • Ievadiet darbu atrašanās vietu izplatītajā failu sistēmā.
  • Darbu izvades atrašanās vieta izplatītajā failu sistēmā.
  • Datu ievades formāts.
  • Datu izvades formāts.
  • Klase, kurā ir kartes funkcija.
  • Klase, kas satur samazināšanas funkciju.

Var arī jautāt, kādi ir kartētāju un reduktoru parametri? Četri kartētāju parametri ir:

  • LongWritable (ievade)
  • teksts (ievade)
  • teksts (starpprodukts)
  • IntWritable (starpposma izvade)

Jautājums ir arī par to, kādas ir MapReduce darba galvenās sastāvdaļas?

  • Galvenā draivera klase, kas nodrošina darba konfigurācijas parametrus.
  • Kartētāja klase, kurai jāpaplašina org. apache. hadoop. mapreduce. Kartētāju klase un nodrošināt kartes () metodes realizāciju.
  • Reducētāja klase, kurai vajadzētu paplašināt org. apache. hadoop. mapreduce. Reduktoru klase.

Kas ir sadalītājs un kā tas palīdz MapReduce darba procesā?

Sadalītājs iekšā MapReduce darbs izpilde kontrolē starpkartes izvades atslēgu sadalīšanu. Ar palīdzēt no jaucējfunkcijas atslēga (vai atslēgas apakškopa) iegūst nodalījums . Ieraksti, kuriem ir viena un tā pati atslēgas vērtība, tiek iekļauti vienā un tajā pašā veidā nodalījums (katrā kartētāja ietvaros).

Ieteicams: