Big Data-мен жұмыс жасаудың технологиялары мен бағыттары

Алматы технологиялық университеті

Факультет: «Инженерлік және ақпараттық технологиялар»

Реферат

Тақырыбы: Big Data-мен жұмыс жасаудың технологиялары мен бағыттары

                                                                              Орындаған: Қуанышбек Е.К

ИС 20-13

Тексерген: Айтуганова.Ж.Т.

Алматы 2022 ж.

Жоспары:

I Кіріспе

II Негізгі бөлім:

2.1 Big Data мен  жұмыс жасаудың технологиялары

2.2 Big Data технологиясының басқа мүмкіндіктері:

2.2 Бағыттары

Қорытынды.

Кіріспе

Үлкен деректер (ағыл. Big Data, [ˈbɪɡ ˈdeɪtə]) дегеніміз - ақпаратты талдауға, жүйелі түрде шығаруға немесе деректерді өңдеудің дәстүрлі қолданбалы бағдарламалық жасақтамасымен өңделуге тым үлкен немесе күрделі деректер жиынымен жұмыс істеуге арналған тәсілдерді зерттейтін саласы. Деректерді талдағанда көптеген кейстерді зерттеу, немесе кейстердің аттрибуттерді көбею, зерттеудің жоғары анықтығына жеткізеді.[1] Үлкен деректер деректерді талдау, деректерді сақтау, ақпаратты іздеу, визуалдауда және тағы басқа салаларында қолданылады. Үлкен деректердің негізгі концепті volume (деректердің үлкен көлемі), variety (әртүрлі ақпараттың түрлерін талдау) және velocity (жылдам өсетін деректердің көлемі).

2.1 JavaScript

Big Data — бұл құрылғылар жиынтығынен мәліметтерді жинау, сақтау, өңдеу және анализда пайдаланылатын жобалау технологиялары мен өнімдерін айтуға арналған. Осы технологиялардың көбі Big Data-нің көлемінен, жиынтықтардың құрамынан және түрлі мәліметтерді жинау, өңдеу және анализдағы қажеттіліктерінен болжамды.

Мұндай технологиялардың бірі Apache Hadoop. Бұл әзірлеу топтарының және олардың байланыстыруындағы жүйелерді құруға арналған ашық көлемді құрылғы түрі. Apache Hadoop, мәліметтерді өңдеуге болатын жылдамдықты жоғарылату және жиынтық мәліметтерді талдау және анализдағы басқа қажеттіліктерді алдын алуға мүмкіндік береді.

Apache Spark - Hadoop-ға қатысты және бөлісік кластерлерде өңдеуді жылдамдатуға арналған екінші көлемді өңдеу жүйесі. Ол жоғары мәліметтерді ағымдағы бөлшектерде талдау және анализдағы қажеттіліктерге жақсы қарағанда, жылдам жұмыс істеу мүмкіндіктерін арттыруға мүмкіндік береді.

NoSQL, алдымен "Not Only SQL" дегенің сақталатын мәліметтер жиынтығын қабылдау және өңдеу үшін SQL-ден басқа бір технологиясының пайдаланылуын енгізуі мүмкін болатын технологиялар жиынтығын сипаттайды. Бұл технологиялары көптеген жағдайларда табысқа арналған және өнімдерді жинау және өңдеуге жақсы болады.

NoSQL деректер базаларында SQL-ден қашанғы әрекеттер жасалмайды. Олардың біреуі MongoDB, Couchbase, Cassandra және Redis. Бұл деректер базалары, алғашқы ретте, жылдам жиынтықтар жинауға және жиынтық мәліметтерді жылдам алудың кереметіне сенімді. Олар басқа бір технологияның мүмкіндіктерінде қатынасуға мүмкіндік беретін деректердің түрлерінің көбінен жоғары деңгейде технологияларды пайдаланады.

NoSQL технологиялары бірнеше әсерлі болуы мүмкін. Бірінші олардың бұл жұмысқа орнатылатын мән-мазмұны. NoSQL технологиялары жоғары талдау кереметтері мен басқа қажеттіліктерге арналған бұлшық мәндерін қамтамасыз етуге мүмкіндік береді.

Бірінші топ, деректерді бөлісу және алмастыру бойынша төмендегі технологияларға мүмкіндік береді: Cassandra, Hbase, Couchbase және Riak.

Екінші топ, деректерді өңдеу және сақтау бойынша төмендегі технологиялардың арасында мүмкіндік береді: MongoDB, Redis, CouchDB және Neo4j.

MongoDB - бұл жиынтықтық мәліметтерді жинау және басқару үшін кереметті деректер базасы. Ол Apache Hadoop, Apache Spark және Apache Cassandra сияқты еңбекті технологиялармен қатынаса алады.

Redis - бұл деректер жиынтығын сақтау мен өңдеу және өтініштері жинау үшін кереметті деректер базасы. Redis мән мәліметтерін жүзеге асыру, токендерді жасау, сессиялар мен тізімдерді қолдануға мүмкіндік беретін кереметтерімен танымал.