Flashcards: BigData Frylabs Questions

A master és slave node-ok között LAN hálózat biztosítja a kapcsolatot..

A Hadoop a nagy mennyiségű adatokat elosztottan kezeli..

klaszter.

YARN.

Pig.

Oozie.

4.

8.

A HDFS-en lévő fájlok feldarabolása párhuzamosítás céljából szükséges..

petaByte.

gigaByte.

nő a metaadat, javul a párhuzamosíthatóság.

csökken a blokkszám, romlik a párhuzamosíthatóság.

több, Master node, memória.

A blokkosítás hozzájárul az I/O műveletek gyorsításához..

egyszer írhatóak, sokszor olvashatóak..

a fájlblokkokból másolatok készülnek és fizikailag különböző helyen tárolódnak.

Hadoop Distributed File System.

A mester gép megléte kritikus, mivel a memóriájában van a fájlok elhelyezkedését tartalmazó metaadat..

job.

kulcs.

a probléma részfeladatokra osztható, majd a részfeladatok a végén kiértékelésre kerülnek..

kulcs-érték párok generálódnak..

előkészítési idővel rendelkezik..

az adatok további node-okra kerülnek rendezve..

egy map és egy reduce fázisra.

map kötelező, reduce opcionális.

input stitching.

Hadoop 2.0 óta több adatfeldolgozó keretrendszert támogat..

a map fázis azon a node-on fut, ahol az adat fizikailag található.

Yet Another Resource Negotiator.

hiba esetén a Resource Manager megkísérli a hibaelhárítást.

Task.

Application Master.

Resource Allocator.

Resource Manager.

Node Manager.

Container.

Avro.

ORC.

Strukturált.

Strukturálatlan.

Az oszlop-orientált fájlformátumok jól használhatóak stream adatok esetén..

Az oszlop-orientált fájlformátumok használata a táblára nézve nagy oszlopszám esetén kevés oszlop használata mellett előnyös..

gyorsabb.

compress decompress.

Bzip2.

szerializáció.

gyorsabb adattranszfer.

impalad, statestored, catalogd.

HiveQL.

Parquet.

Massive Parallel Processing.

impala daemon.

catalogservice daemon.

C++.

snappy, gzip, bzip.

a DataNode-kon fut..

Statestore daemon.

Az Impala meglévő Hadoop interfészeket, komponenseket használ..

Sqoop2.

File Browser.

User Admin.

Oozie Editor and Dashboard.

Solr Search.

Hue Shell.

MySQL.

Hadoop User Experience.

JDBC-t támogat.

Bemenet és kimenetnél a sorok száma nem mindig azonos..

gyors adatbetöltést tesz lehetővé, mivel a séma nem íráskor kerül ellenőrzésre..

ODBC application.

partitioning, bucketing.

Data Manipulation Language.

Data Definition Language.

Azt, hogy a tábla teljes élettartamát a Hive kezeli, törléskor az adat is törlődik..

A tábla teljes élettartamát nem a Hive kezeli, törléskor csak a Hive-beli megfelelője törlődik..

Particionálás során a tábla oszlopszáma bővül..

Thrift.

HiveQL.

A Hive a Hadoop SQL adatbázisa..

A Hive SQL lekérdezései mindig a kiválasztott végrehajtó motor szerint fordítódnak le..

--connect.

--as-textfile.

sqoop-import-all-tables.

SQL to Hadoop.

--incremental, --check-column, --last-value.

Tetszőleges SQL lekérdezéseket intézhetünk egy távoli adatbázis felé.

free-form-query import.

batch alapú.

egy vagy több.

Flume.

Egy Sink több csatornából is olvashat..

Egy Sink egyetlen csatornával köthető össze..

Spooling Channel.

channel.

sink.

source.

háttérben futó Java process.

Egy source-ból csak a hozzárendelt csatornába/csatornákba jut el az adat..

Egy source-ból az összes csatornába eljut az adat..

egy rekord beérkezése.

Azért, mert az adatok beérkezésének és feldolgozásának (továbbítás) sebessége között különbség lehet..

source, channel, sink.

Azt, hogy egy rekord egyszer kerül csak feldolgozásra..

Spooling Source, Memory Channel, Hive Sink.

Az adatbeírás a csatornába batch alapon, konfigurálható darabszámban zajlik..

stream-alapú real-time műveletvégzés.

take().

Ganglia.

Ganglia.

CACHE_ONLY.

read().

Kotlin API.

Spark Streaming.

MLib.

gyors in-memory műveletvégzés.

saját motor Spark.

driver applikáció belépési pontja.

Resilient Distributed Dataset.

csak olvasható, partíciókból áll.

allokálni kívánt memória órajele.

a transzformációk csak egy action-höz érve hajtódnak végre.

az RDD a memóriában és a lemezen byte array-ként kerül tárolásra.

HDFS-ben, de képes lokálisan is.

MasterServer, RegionServer.

RegionServer.

MasterServer.

RowKey;Column Family:{Column Qualifier:Version:Value}.

HBase fájlformátuma a HDFS-en való tárolásra.

Atomi művelet a sorok frissítésére.

az adattáblák régiókra való automatikus felosztása, és Region Server-ekhez való hozzárendelése.

kis adatsűrűségű, perzisztens multidimenziós kulcs-érték párokat tartalmaz.

hozzáadható új Column Qualifier.

ZooKeper klaszter.

új régió jön létre.

kulcs.

az adatok további node-okra kerülnek rendezve..

olyan adatok, amelyek nem illeszthetők egyszerűen egy relációs adatstruktúrába → strukturálatlan adatok, megtalálható valamiféle struktúra, de hiányosan vagy nem szabályosan. → félig-strukturált adatok:, relációs adatmodellbe illesztett adatok → strukturált adatok.

hagyományos PC-ken elosztott rendszerben gondolkodunk → scale out, egy gépen szeretnénk minél nagyobb számítási kapacitást, akkor csak egyszerűen felskálázzuk → scale up.

Volume (mennyiség), Variety (változatosság), Velocity (sebesség):

Igaz.

Igaz.

Igaz.

Hamis.

Hamis.

CALL Maci();.

SELECT Maci();.

Lehet tárolt eljárás és tárolt függvény is..

Bárhol, a BEGIN előtt vagy után.

Hamis.

Hamis.

Igaz.

egy gépen szeretnénk minél nagyobb számítási kapacitást, akkor csak egyszerűen felskálázzuk → scale up, hagyományos PC-ken elosztott rendszerben gondolkodunk → scale out.

Complexity.

Míg eredetileg csak maroknyi egymással együttműködő komponenst tartalmazott, azóta különféle technológiák hatalmas ökoszisztémájává vált., A Hive maga nem adatbázis, hanem SQL-szerű hozzáférést biztosít az elosztott tárolórendszeren (pl. HDFS) tárolt adatokhoz.

Hamis.

Atomosság: a tranzakció összes elemi utasítását vagy végrehajtjuk vagy egyet sem (mindent vagy semmit), Konzisztencia: a tranzakciót követően is teljesülnek az adatbázisban előírt konzisztencia megszorítások (integritás megszorítások), azaz az adatelemekre és a közöttük lévő kapcsolatokra vonatkozó elvárások., Elkülönítés: ha több tranzakció fut párhuzamosan, egyszerre és ezek az utasítások keverednek, a tranzakciók végén az állapot olyan, mintha nem keveredtek volna, Tartósság: ha befejeződött egy tranzakció, annak az adatbázisban kifejtett hatása nem veszhet el.

Basic Availability: az adatbázis alapvetően elérhető (a kisebb kiesésekből gyorsan, automatikusan helyreáll), Soft state: nem kell minden pillanatban konzisztensnek lennie az adatoknak a masterrel (hiszen a replikáció időbe telik), a rendszer állapota direkt beavatkozás nélkül is változhat, ahogy a módosítások továbbterjednek a clusterben, Eventually Consistent: a replikáció lezajlása után majd valamikor konzisztens lesz az egész cluster

Céljuk a nagy adatmennyiség, sebesség és változatosság problémáinak megoldása, ami a hagyományos adattechnológiákkal nem lehetséges..

A neve a konzisztencia, rendelkezésre állás és partíció tolerancia kifejezésekből áll össze..

Az elosztott kulcsmező szűrése jelentősen javíthatja a lekérdezés teljesítményét..

Eredetileg a HDFS, MAPREDUCE és YARN állt.

Több párhuzamos szerver bevonása..

Általában jó ötlet a módosítandó mezők együttes tárolása ugyanabban a dokumentumban., Indexeket használni a gyakran szűrt vagy rendezett mezőkre.

Dokumentumtároló.

Nem csupán SQL-re támaszkodik. (Not Only SQL.).

Kulcs érték tároló, Van lehetőség STACK és LIST jellegű adatszerkezeti működésre

Magas rendelkezésre állású olvasási lehetőség biztosítása még elsődleges hiba esetén is..

Igaz.

Igaz.

Igaz.

Igaz.

Igaz.

Hamis.

Igaz.

Adatbázis / gyűjtemények / dokumentumok / kulcsok.

Jól bevált, jól ismert, általános felhasználási célú, megbízható..

Flexibilis szerkezet., Könnyen skálázható.

Igaz.

Holtpontok keletkezhetnek..

A szerver adattárolási és kiolvasási gyorsaságának növelése., A memória egyre nagyobb léptékekkel való bővítése.

Igaz.

Az adatok több példányban tárolódnak (replikáció), különböző csomópontokon, A CAP tétel három feltételéből, két vagy három feltétel tud teljesülni

Ez egy dokumentum-orientált adatbázis., Elosztást/feldarabolást (sharding) használ a vízszintes skálázhatóság érdekében.

Dataframe.select(col("col_1", "col_2"))

spark.read.format("parquet").load(FILEPATH)

...HDFS-en vagy HBase-ben tárolja.

A fájlokról metaadat készül amely a Master node lemezén tárolódik.

Az Impala működéséhez teljes Hive telepítés szükséges.

HDFS

DataFrame.coalesce()

Hogy a gyorsabb termelők nem befolyásolják a lassabb olvasókat.

Nem, akármilyen tarolót hozzá lehet csatlakoztatni futás közben.

...a Resource Manager megbecsüli a szükséges kapacitást, melyet a Node Managerek allokálnak.

...a fájlok blokkokra vannak felosztva, és fizikailag különálló gépeken helyezkednek el.

gigaByte

DataFrame.join()

...nő a metaadat, romlik a párhuzamosíthatóság.

Dataframe.count()

...ütemezés és erőforrás menedzsment.

...Bzip2.

Mindegyik szereplőnek lehet más a sebessége.

Stage - Job - Executor

Dataframe.select("col_1", "col_2").

spark.read.format("parquet").load(FILEPATH).

...HDFS-en vagy HBase-ben tárolja..

A fájlokról metaadat készül amely a Master node memóriájában tárolódik..

Az Impala működéséhez a Hive metastore jelenléte szükséges..

HDFS.

DataFrame.repartition(), DataFrame.coalesce()

Hogy a gyorsabb termelők nem befolyásolják a lassabb olvasókat..

Nem, akármilyen tarolót hozzá lehet csatlakoztatni futás közben..

...az Application Master megbecsüli a szükséges kapacitást, és kérést küld a Resource Manager-nek..

...a fájlok blokkokra vannak felosztva, és fizikailag különálló gépeken helyezkednek el..

megaByte.

DataFrame.select().

...nő a metaadat, javul a párhuzamosíthatóság..

Dataframe.count().

...ütemezés és erőforrás menedzsment..

...Bzip2..

Mindegyik szereplőnek lehet más a sebessége..

Job - Stage - Task.

...az Application Master megbecsüli a szükséges kapacitást, és kérést küld a Resource Manager-nek.

spark.readStream.format("socket").option("host","localhost").option("port",12339).load()

...további gépek hozzáadásával növelhető.

Mini batch alapú, amelyben a működési módot és frissítési időt be lehet állítani.

RDD

Write Once Read Often

Dataframe.printSchema()

Input splitting, mapping, shuffling & sort, reducing.

...kulcs-érték párok aggregálódnak.

...statestore daemon.

Resilient Distributed Dataset

4

Job - Stage - Task

Dataframe.rdd.getNumPartitions()

...HiveQL.

Write Once Read Often

spark.readStream.format("socket").option("host","localhost").option("port",12339).load(), StreamingContext(sc, Seconds(60)).fileStream("temp.txt”).load().start()

...további gépek hozzáadásával növelhető..

Mini batch alapú, amelyben a működési módot és frissítési időt be lehet állítani..

RDD.

Write Once Read Often.

Dataframe.printSchema().

Input splitting, mapping, shuffling & sort, reducing..

...kulcs-érték párok aggregálódnak..

...statestore daemon..

Resilient Distributed Dataset.

4.

Dataframe.rdd.getNumPartitions().

...HiveQL..

Write Once Read Often.

Dataframe.select("col_1", "col_2")

...nő a metaadat, javul a párhuzamosíthatóság.

UPDATE

Az Impala működéséhez a Hive metastore jelenléte szükséges.

DataFrame.select()

Az Application Master több ugyanolyan taszkot futtat egyszerre.

A fájlokról metaadat készül amely a Master node memóriájában tárolódik.

UPDATE, DELETE, INSERT

Az Application Master több ugyanolyan taszkot futtat egyszerre..

Absztraktálja a háttérben zajló párhuzamos műveletvégzést.

DELETE

Topic-on keresztüli betöltés.

DataFrame.repartition()

Nincs, ahányat akarok, annyit hozok létre.

StreamingContext(sc, Seconds(60)).fileStream("temp.txt”).load().start()

Topic-on keresztüli betöltés..

Nincs, ahányat akarok, annyit hozok létre..

Absztraktálja a háttérben zajló párhuzamos műveletvégzést..

Dataframe.rdd.setNumPartitions

megaByte

Dataframe.select(col_1, col_2)

...Snappy.

...a fájlokból több példány is van, melyek fizikailag különálló gépeken helyezkednek el.

...kulcs-érték párok generálódnak.

spark.read().path(FILEPATH, source = "parquet")

...Hive SQL.

Flexibilis szerkezet., Könnyen skálázható.

Az elosztott kulcsmező szűrése jelentősen javíthatja a lekérdezés teljesítményét..

Holtpontok keletkezhetnek..

Az adatok több példányban tárolódnak (replikáció), különböző csomópontokon, A CAP tétel három feltételéből, két vagy három feltétel tud teljesülni

A neve a konzisztencia, rendelkezésre állás és partíció tolerancia kifejezésekből áll össze..

Ez egy dokumentum-orientált adatbázis., Elosztást/feldarabolást (sharding) használ a vízszintes skálázhatóság érdekében.

Míg eredetileg csak maroknyi egymással együttműködő komponenst tartalmazott, azóta különféle technológiák hatalmas ökoszisztémájává vált., A Hive maga nem adatbázis, hanem SQL-szerű hozzáférést biztosít az elosztott tárolórendszeren (pl. HDFS) tárolt adatokhoz.

Adatbázis / gyűjtemények / dokumentumok / kulcsok.

Basic Availability: az adatbázis alapvetően elérhető (a kisebb kiesésekből gyorsan, automatikusan helyreáll), Soft state: nem kell minden pillanatban konzisztensnek lennie az adatoknak a masterrel (hiszen a replikáció időbe telik), a rendszer állapota direkt beavatkozás nélkül is változhat, ahogy a módosítások továbbterjednek a clusterben, Eventually Consistent: a replikáció lezajlása után majd valamikor konzisztens lesz az egész cluster

Nem csupán SQL-re támaszkodik. (Not Only SQL.).

Jól bevált, jól ismert, általános felhasználási célú, megbízható..