257 subscribers

Парсер обхода страниц на Python

123 full reads
Парсер обхода страниц на Python
Парсер обхода страниц на Python

В данной статье обсудим инструментарий обхода страниц в парсере/скрапере на Python. Напомню, что мы реализуем программу скачивания содержимого с сайтов, имеющих типичную структуру из набора страниц со ссылками на описания товаров либо произошедшие события (например, спортивные мероприятия). Общая схема парсера имеет следующий вид (подробнее здесь):

Парсер обхода страниц на Python
Парсер обхода страниц на Python

Ранее мы показали, как осуществлять обход ссылок на записи на одной странице (подробнее здесь) и сбор данных по каждой ссылке на примере конкретного сайта (подробнее здесь). Теперь напишем метод циклического обхода страниц и встроим в него уже реализованный функционал.

Ниже представляю код соответствующего метода обхода страниц start_items_parser класса ItemsParser и его конструктора:

class ItemsParser(metaclass=ABCMeta):

def __init__(self,cur_url, tag_container_el,tag_el, rec_ign_bef_stop_max = REC_IGN_BEF_STOP_MAX, pages_load_stop_num=PAGES_LOAD_STOP_NUM):
self.cur_url = cur_url
# строчные описания для тега контейнера ссылок и тегов,
# в которых непосредственно хранятся ссылки
self.tag_container_el = tag_container_el
self.tag_el=tag_el
# переменная хранит собранные записи
self.items_list = []
# подсчет количества собранных записей
self.records_pass_in_page_num = 0
# используется, если посылаем останов извне
self.pause_flag=False
# после стольки страниц скачивание
# останавливается автоматически
# сделано, чтобы много с одного ip не скачивать
# (а то заблокировать могут) и переключиться на другой
self.pages_load_stop_num = pages_load_stop_num
# иногда старые объявления поднимаются
# наверх, поэтому для критерия останова
# надо пройти несколько старых записей,
# чтобы убедиться в отсутствии новых
self.rec_ign_bef_stop_num = 0
self.rec_ign_bef_stop_max = rec_ign_bef_stop_max
def start_items_parser(self, messages_queue = None, item_last_datetime = ''):
i=0
time1 = time.time()
try:
# self.cur_url хранит адрес текущей страницы
while self.cur_url !='':
if not self.pause_flag and i <= int(self.pages_load_stop_num):
# получает ссылки на товары/события с текущей страницы,
# реализуется в специфическом модуле, так как
# зависит от конкретного сайта
items_hrefs = self.get_item_hrefs(self.cur_url,self.tag_container_el,self.tag_el, self.delay)
# собирает записи по полученным ссылкам, реализована ранее
items_list = self.get_items_params(items_hrefs, messages_queue, item_last_datetime)
self.items_list.extend(items_list)

if messages_queue:
time2 = time.time()
messages_queue.put(
'закончили итерацию по {} странице, ее обработка заняла {} секунд'\
.format(self.params[self.page_param], time2-time1))
# получение url новой страницы,
# реализуется в специфическом модуле
self.cur_url = self.get_next_url()
self.records_pass_in_page_num = 0
i = i + 1
else:
# после стольки страниц принудительный останов и смена ip
if i>int(self.pages_load_stop_num):
self.pause_flag = True
if messages_queue:
messages_queue.put(
'change ip')
raise StopException
# это исключение генерирует get_items_params,
# если новых записей нет
except NoMoreNewRecordsException:
if messages_queue:
messages_queue.put(
'no more new records')
finally:
pass

При этом get_items_params мы реализовали ранее (обход ссылок на записи на одной странице), а get_one_item_params, которая скачивает содержимое по заданной ссылке, возвращает словарь, объединяющий данные, полученные из каждого тега (подробнее здесь и здесь).

Для страницы с описанием одного поединка на http://www.ufcstats.com get_one_item_params можно задать в классе UFCFightsParser, наследующем ItemsParser, следующим образом:

class UFCFightsParser(ItemsParser):
---здесь конструктор, о котором расскжу позже
@classmethod
def get_head_details(cls, section, tag_container, tag_els, delay):
sec_head_t,_ = ItemsParser.get_items_list_from2tags(section,tag_container,tag_els, delay)
sec_head = [item.get_text().strip() for item in sec_head_t]
return sec_head

@classmethod
def get_fight_det_l(cls,tags_l):
res_l = []
for item in tags_l:
l = item.get_text().strip().split(
'\n')
res_l.append([item.strip() for i, item in enumerate(l) if i in[0,len(l)-1]])
return res_l

@classmethod
def fill_2fighters_stat(cls,fight_d,keys_l,body_l,round_num=
''):
for i, key in enumerate(keys_l):
if i!=0:
fight_d[key+
'_l'+round_num] = body_l[i][0]
fight_d[key+
'_r'+round_num] = body_l[i][1]


def get_one_item_params(self, url):

html = net_scrape.get_url_delay(url = url, delay=self.delay).text
bsObj = BeautifulSoup(html,
'lxml')
# словарь с описанием всего события
fight_desc_d = OrderedDict()

# далее извлекается содержимое
# описанным ранее методом
event = bsObj.find('a',{'class':'b-link'}).get_text().strip()
fight_desc_d[
'Event'] = event

f_names_t = bsObj.findAll(
'h3',{'class':'b-fight-details__person-name'})
f_names = [tag.get_text().strip() for tag in f_names_t]
fight_desc_d[
'Fighter_left'] = f_names[0]
fight_desc_d[
'Fighter_right'] = f_names[1]

f_res_t = bsObj.findAll(
'i',{'class':'b-fight-details__person-status'})
f_res = [tag.get_text().strip() for tag in f_res_t]
fight_desc_d[
'Win_lose_left'] = f_res[0]
fight_desc_d[
'Win_lose_right'] = f_res[1]

f_det_res_t = bsObj.findAll(
'i',{'class':'b-fight-details__label'})

det_res = {}
for i,f_det_res_tag in enumerate(f_det_res_t):
key = f_det_res_tag.get_text().strip()
if not key==
'Details:':
det_res[key] = f_det_res_tag.parent.get_text().strip().replace(key,
'').strip()
else:
det_res[key] = f_det_res_tag.parent.parent.get_text().strip().replace(key,
'').strip()

fight_desc_d.update(det_res)

sections = bsObj.findAll(
'section', {'class':'b-fight-details__section js-fight-section'})
sections = [sec for i, sec in enumerate(sections) if not i in [0,3] ]
sign_st_parent = bsObj.find(
'div',{'class':'b-fight-details'})
for child in sign_st_parent.children:
try:
if
'style' in child.attrs:
sign_st_table = child
except:
pass


sign_act_head = UFCFightsParser.get_head_details(sections[0],
'thead,class,b-fight-details__table-head',\
'th,class,b-fight-details__table-col', self.delay)


sign_st_head = UFCFightsParser.get_head_details(sign_st_table,
'thead,class,b-fight-details__table-head',\
'th,class,b-fight-details__table-col', self.delay)



sign_act_body_t,_ = ItemsParser.get_items_list_from2tags(sections[0],
'tbody,class,b-fight-details__table-body',\
'td,class,b-fight-details__table-col', self.delay)
sign_act_body = UFCFightsParser.get_fight_det_l(sign_act_body_t)

sign_st_body_t,_ = ItemsParser.get_items_list_from2tags(sign_st_table,
'tbody,class,b-fight-details__table-body',\
'td,class,b-fight-details__table-col', self.delay)
sign_st_body = UFCFightsParser.get_fight_det_l(sign_st_body_t)



UFCFightsParser.fill_2fighters_stat(fight_desc_d,sign_st_head, sign_st_body)
UFCFightsParser.fill_2fighters_stat(fight_desc_d,sign_act_head, sign_act_body)

for i, key in enumerate(sign_act_head):
if i!=0:
fight_desc_d[key+
'_l'] = sign_act_body[i][0]
fight_desc_d[key+
'_r'] = sign_act_body[i][1]


sign_act_rounds = []
rounds_body = sections[1].findAll(
'tr',{'class','b-fight-details__table-row'})
for i,sec in enumerate(rounds_body):
if (i!=0):
sign_act_rounds.append(UFCFightsParser.get_fight_det_l(sec.findAll(
'td',{'class':'b-fight-details__table-col'})))

for i,round_stat in enumerate(sign_act_rounds):
UFCFightsParser.fill_2fighters_stat(fight_desc_d,sign_act_head,round_stat,round_num=
f'_{(i+1)}')


sign_st_rounds=[]
rounds_body = sections[2].findAll(
'tr',{'class','b-fight-details__table-row'})

for i,sec in enumerate(rounds_body):
if (i!=0):
sign_st_rounds.append(UFCFightsParser.get_fight_det_l(sec.findAll(
'td',{'class':'b-fight-details__table-col'})))

for i,round_stat in enumerate(sign_st_rounds):
UFCFightsParser.fill_2fighters_stat(fight_desc_d,sign_st_head,round_stat,round_num=
f'_{(i+1)}')


return fight_desc_d