Hadoop экожүйесіндегі өзара әрекеттесу процестерін зерттеу

ҚАЗАҚСТАН РЕСПУБЛИКАСЫ БІЛІМ ЖӘНЕ ҒЫЛЫМ МИНИСТРЛІГІ

«АЛМАТЫ ЭНЕРГЕТИКА ЖӘНЕ БАЙЛАНЫС УНИВЕРСИТЕТІ»

коммерциялық емес акционерлік қоғамы

Басқару жүйелері және ақпараттық технологиялар институты

Ақпараттық қауіпсіздік жүйелер кафедрасы

[pic 1]

№ 2 зертханалық  жұмыс

бойынша 

ЕСЕП БЕРУ

Пәннің атауы: Big Data Негіздері

Тақырыбы: Hadoop экожүйесіндегі өзара әрекеттесу процестерін зерттеу.

Үлкен деректерді өңдеу

Мамандығы: Ақпараттық жүйелер

Орындаған: Қуанышбеков Азамат

Тобы: ИС(СМВР)к 20-2

Қабылдаған: Черикбаева Л.

Алматы 2024

 №2 Зертханалық  жұмыс

Hadoop экожүйесіндегі өзара әрекеттесу процестерін зерттеу.

Үлкен деректерді өңдеу

Python көмегімен веб-бетті оқу
# Импорт модуля request библиотеки urllib для работы со веб-страницами /

# Веб-беттермен жұмыс істеу үшін urllib кітапханасының request модулін импорттау

import urllib.request

# Открытие веб-страницы для чтения / Оқу үшін веб-бетті ашу

link = urllib.request.urlopen('https://kz.coral.club/shop/vitamins-and-minerals/')

lines = []

for line in link.readlines():

 #Взяли все строки с именами препаратов / Дәрілердің атаулары бар барлық жолдарды

 if line.find(b'<div class=') != -1 and line.find(b'name=') != -1:

 lines.append(line.decode('utf-8'))

link.close()

for i in range(len(lines)):

 line = lines[i].split('>')[-2]

 lines[i] = line.split('</div')[0]

lines = sorted(set(lines))

for line in lines:

 print(line)

In [ ]:

import requests

from bs4 import BeautifulSoup

URL = "https://kz.coral.club/shop/vitamins-and-minerals/"

page = requests.get(URL)

soup = BeautifulSoup(page.content, "html.parser")

results = soup.find_all('div', class_="productTitle")

names = []

for line in results:

 line = str(line).split('<')[-2]

 line = line.split('>')[-1]

 names.append(line)

Задание / Тапсырма

Выведите цены продуктов по служебному слову class_="productPriceContainer mainPrice"

Өнімдердің бағаларын class_="productPriceContainer mainPrice" қызмет сөзі арқылы шығарыңыз

Кодтың листингі

import requests

url = 'http://www.example.com'

response = requests.get(url)

if response.status_code == 200:

    print('Сұраным сәтті шықты!')

    content = response.text