Генератор запросов для парсинга
Каждый дорвейщик знает, чем лучше база для спама постинга в дружественные ресурсы, тем больше в конечном итоге можно съесть бутербродов с икрой.
Наша задача попробовать собрать базу.
Для этого нам потребуются запросы для парсинга поисковых систем (в нашем случае гугла)
Для парсинга нам надо знать следующие спец. запросы, которые обрабатывает гугл
inurl - поиск указанной строки в урле документа
intitle - поиск строки в тегах <title>
intext - банальный поиск в контенте страницы
site - поиск сайтов в указаной доменной зоне
Все эти специальные макросы указываются с разделителем : (двоеточие)
Например
inurl:add_entry.php site:com intitle:"Add comment"
Что будет делать этот запрос?
Думаю всем понятно: поиск в гугле гестбуков в зоне com у которых в заголовке страницы будет текст Add comment
Конечно можно самому сидеть и составлять такие запросы, НО
Предлагаю вам воспользоваться моим маленьким скриптиком,
который облегчит жизнь и позволит автоматически генерировать запросы для парсинга (конечно по заданным параметрам)
Та-дам
<? if(isset($_POST['GO'])) { $urls = array_unique(explode("n", $_POST['urls'])); $minus = array_unique(explode("n", $_POST['minus'])); $titles = array_unique(explode("n", $_POST['titles'])); $domains = array_unique(explode("n", $_POST['domains'])); $intext = array_unique(explode("n", $_POST['text'])); $url_count = count($urls); $minus_count = count($minus); $titles_count = count($titles); $domains_count = count($domains); $intext_count = count($intext); for ($i = 0; $i < $url_count; $i++) { for ($ii = 0; $ii < $minus_count; $ii++) { for ($iii = 0; $iii < $titles_count; $iii++) { for ($iiii = 0; $iiii < $domains_count; $iiii++) { for ($iiiii = 0; $iiiii < $intext_count; $iiiii++) { echo 'inurl:'.$urls[$i]. ' intitle:'.$titles[$iii]. ' intext:'.$intext[$iiiii]. ' site:'.$domains[$iiii].''; } } } } } die(); } ?>
Все это можно скачать в архиве, там уже с готовым html кодом
Скачать генератор запросов для парсинга гугла
На супер актуальность не претендую, скрипт выкладывается как есть, кто хочет модернизирует его под себя ![]()

January 25th, 2008 at 1:25 am
[…] Генератор запросов для парсинга […]
September 10th, 2008 at 10:31 am
спасибо за статью… добавил в ридер