Satura rādītājs:

Ko sqoop izmanto datu importēšanai un eksportēšanai?
Ko sqoop izmanto datu importēšanai un eksportēšanai?

Video: Ko sqoop izmanto datu importēšanai un eksportēšanai?

Video: Ko sqoop izmanto datu importēšanai un eksportēšanai?
Video: Apache Sqoop Tutorial | Sqoop: Import & Export Data From MySQL To HDFS | Hadoop Training | Edureka 2024, Maijs
Anonim

Sqoop ir rīks, kas paredzēts pārsūtīšanai datus starp Hadoop un relāciju datu bāzēm. Sqoop automatizē lielāko daļu šī procesa, paļaujoties uz datu bāze lai aprakstītu shēmu datus būt importēti . Sqoop izmanto MapReduce uz importēt un eksportēt datus , kas nodrošina paralēlu darbību, kā arī kļūdu toleranci.

Kā eksportēt datus no sqoop?

Darba sākšana

  1. 1. darbība. Izveidojiet jaunu datubāzi MySQL instancē. IZVEIDOT DATU BĀZI db1;
  2. Izveidojiet tabulu ar nosaukumu akad.
  3. 3. darbība. Eksportējiet failu input.txt un input2.txt no HDFS uz MySQL. sqoop export – connect jdbc:mysql://localhost/db1 –lietotājvārds sqoop –paroles sakne –table acad –export-dir /sqoop_msql/ -m 1.

Kā arī darbojas sqoop eksports? Sqoop - Eksportēt Sqoop eksportu komanda sagatavo INSERT paziņojumus ar ievades datu kopu, pēc tam nonāk datu bāzē. Tas ir paredzēts eksportē jauni ieraksti, ja tabulai ir unikāla vērtību konstante ar primāro atslēgu, eksportēt darbs neizdodas, jo ievietošanas priekšraksts neizdodas. Ja jums ir atjauninājumi, varat izmantot opciju --update-key.

Tāpat cilvēki jautā, kā importēt datus sqoop?

Lūk, ko nozīmē katra atsevišķa Sqoop komandas opcija:

  1. savienot - nodrošina jdbc virkni.
  2. lietotājvārds – datu bāzes lietotājvārds.
  3. -P – prasīs paroli konsolē.
  4. tabula - norāda datoram, kuru tabulu vēlaties importēt no MySQL.
  5. split-by - norāda sadalīšanas kolonnu.
  6. target-dir - HDFS mērķa direktorijs.

Kas ir sqoop imports?

Sqoop rīks' imports ' ir pieradis imports tabulas datus no tabulas uz Hadoop failu sistēmu kā teksta failu vai bināru failu. Tiek izmantota šāda komanda imports emp tabula no MySQL datu bāzes servera uz HDFS.

Ieteicams: