Поисковый сrawler на PHP

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
// известное количество страниц, которые мы будем кравлить
$MaxCountPages = 1;
for ($i=1;$i<=$MaxCountPages;$i++)
{
$filename = "http://luxhome.ru/search.asp?page=".$i;
//$filename = "luxhome.txt"; // отладка с локальной копии сайта, сохраненный html в файл
$f = fopen($filename,'r');
while ($buf = fread($f, 1024))
{
$page .= $buf;
}
fclose($f);
$text .=$page;
//if (!preg_match ($reg_pattern, $page, $matches)) break; // проверка на то что нужные нам страницы закончились (это при бесконечном цикле, когда мы не знаем количество страниц)
$page = "";
}