Сохраняем данные с сайтов

В данной статье опишу вам реализацию одной идеи несколькими способами.

Задание: Требуется пройти по трем URL адресам и сохранить информацию.

Реализация: Будет представлено три варианта реализации — Imacros, Autoit, Bash Linux.
Судите сами какой вариант вам выбрать. Будем заходить последовательно на yandex, google и bing, делать запрос «купить слона» и сохранять результаты выдачи в папку.

Итак, начнем с Imacros.

Yandex

  1. VERSION BUILD=8890130 RECORDER=FX 
  2. TAB T=1 
  3. URL GOTO=about:newtab 
  4. URL GOTO=yandex.ru/ 
  5. EVENTS TYPE=KEYPRESS SELECTOR="#text" CHARS="купить слона" 
  6. EVENT TYPE=KEYPRESS SELECTOR="#text" KEY=13 
  7. SAVEAS TYPE=CPL FOLDER=* FILE=+_{{!NOW:yyyymmdd_hhnnss}}

Google

  1. VERSION BUILD=8890130 RECORDER=FX
  2. TAB T=1
  3. URL GOTO=about:newtab
  4. URL GOTO=www.google.com/
  5. EVENT TYPE=KEYPRESS SELECTOR="#lst-ib" KEY=0
  6. EVENTS TYPE=KEYPRESS SELECTOR="#lst-ib" CHARS="купить слона"
  7. EVENT TYPE=CLICK SELECTOR="#tsf>DIV:nth-of-type(2)" BUTTON=0
  8. EVENT TYPE=CLICK SELECTOR="#tsf>DIV:nth-of-type(2)>DIV:nth-of-type(3)>CENTER>INPUT" BUTTON=0
  9. SAVEAS TYPE=CPL FOLDER=* FILE=+_{{!NOW:yyyymmdd_hhnnss}}

Bing

  1. VERSION BUILD=8890130 RECORDER=FX
  2. TAB T=1
  3. URL GOTO=http://www.bing.com/
  4. TAG POS=1 TYPE=INPUT:SEARCH FORM=ID:sb_form ATTR=ID:sb_form_q CONTENT=купитьслонавкараганде
  5. TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:sb_form ATTR=ID:sb_form_go
  6. SAVEAS TYPE=CPL FOLDER=* FILE=+_{{!NOW:yyyymmdd_hhnnss}}
Для тех, кто «не в теме», Imacros сохраняет данные в папку по-умолчанию. Посмотреть где она или задать новый путь вы можете так, как показано на картинках.

Жмете на кнопку «Опции» на панели Imacros.

Теперь сделаем то же самое в Autoit:

Yandex

  1. #Include <INet.au3>
  2. $HTML = _INetGetSource('http://yandex.ru/yandsearch?lr=13&text=купить+слона')
  3. FileWrite(@ScriptDir & '\yandex-search.html', $HTML)
В первой строке подключаем библиотеку. 
Во второй строке получаем html код страницы. 
В третьей строке сохраняем все в файл yandex-search.html в папку откуда запускаем скрипт.

Google

  1. #Include <INet.au3>
  2. $HTML = _INetGetSource('https://www.google.ru/search?q=купить+слона')
  3. FileWrite(@ScriptDir & '\google-search.html', $HTML)
Тут все то же самое, только другое название файла.

Bing

  1. #Include <INet.au3>
  2. $HTML = _INetGetSource('http://www.bing.com/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D1%81%D0%BB%D0%BE%D0%BD%D0%B0')
  3. FileWrite(@ScriptDir & '\bing-search.html', $HTML)
В данном примере пришлось преобразовать кириллицу в html символы, чтобы Bing «понял» что нам нужно.

Если вы работаете с браузером, то допустимо так делать если, скрипт «затыкается» на кириллице.

Как вы успели заметить, размер скрипта в Autoit намного короче, чем в Imacros. К тому же скрипт Imacros жестко привязан к верстке сайта и при его изменении его надо заново переделывать.

А скрипты для Autoit, приведенные в примере выше, вообще не привязаны к верстке сайта и работают в фоне не мешая браузеру. Скрипт Autoit можно преобразовать в .exe файл и запускать по времени через планировщик в фоновом режиме.

Ну, и в заключении реализуем это в скрипте Bash, работающем в Linux:

Yandex,Google,Bing — 3 в одном файле

  1. #!/bin/bash
  2. sss="http://yandex.ru/yandsearch?lr=13&text=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D1%81%D0%BB%D0%BE%D0%BD%D0%B0"
  3. wget -E -nc --load-cookies=cook --save-cookies=cook --keep-session-cookies --user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:26.0) Gecko/20100101 Firefox/26.0" $sss
  4. sss="https://www.google.ru/search?q=купить+слона"
  5. wget -E -nc --load-cookies=cook --save-cookies=cook --keep-session-cookies --user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:26.0) Gecko/20100101 Firefox/26.0" $sss
  6. sss="http://www.bing.com/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D1%81%D0%BB%D0%BE%D0%BD%D0%B0"
  7. wget -E -nc --load-cookies=cook --save-cookies=cook --keep-session-cookies --user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:26.0) Gecko/20100101 Firefox/26.0" $sss
  8. # После этого символа можно комментировать
Скрипт на bash работает без привязки к браузеру. Хотя в коде пришлось эмулировать user-agent и cookies чтобы «обмануть» эти сайты. Также данный скрипт можно запускать по крону (по времени) в фоновом режиме.

Вот что мне потребовалось для реализации этой задачи:
  • На Imacros — windows+mozilla firefox+imacros для firefox
  • На Autoit — windows+autoit
  • На Bash — Любой Linux+wget

Комментарии

Отправить комментарий

Популярные сообщения из этого блога