GoFuckBiz.info
Форум успешных вебмастеров - GoFuckBiz.info
SEO · трафик · партнерские программы

   Форум успешных вебмастеров - Gofuckbiz.com > Бизнес-решения > Скрипты, программы и технические решения > Потестите парсер плз

Просмотр полной версии : Потестите парсер плз

04.02.2008, 17:26
pina
Вот сам парсер, http://milok.biz/tools/blog_parser.php
По задумке он должен парсить блоги, но так же может парсить сайты... Потестите плиз кому не вломы. Пишите, пожалуйста, сюда ошибки которые заметили. В итоге после парсинга должен получиться контент который был на блоге/сайте с тегами b, strong, p, h1, h2 и т.д.

В поле Site url введите url той страницы которую хотите распарсить, обязательно с http:// или https://

PS: после тысячи обращений, откуда угодно, от кого угодно, он прекратит работу.
04.02.2008, 17:50
mudoeb
Valid host : http://yandex.ru
Start parse

To many errors! STOP!
04.02.2008, 18:01
mudoeb
Valid host : http://suka.com
Start parse

To many errors! STOP!
04.02.2008, 18:01
mudoeb
дорген делаешь ?
04.02.2008, 18:11
pina
хм... это не тот парсер который выдирает результаты поиска. Он выдирает контент с какого то блога или сайта. Введи внутреннюю страницу какого нить блога, он должен показать именно контент, без навигации и прочеого мусора. Если блог русский, могут быть проблемы с кодировкой поставь в броузере utf-8 все станет ОК.
04.02.2008, 18:26
mudoeb
это не тот парсер который выдирает результаты поиска. Он выдирает контент с какого то блога или сайта
это я как то сам понял
http://google.com нормально парсится, а http://yandex.ru нет

и http://homelessinkiev.blogspot.com без ошибок парсит, правда весь контент без учёта тегов

http://homelessinkiev.blogspot.com/2007/12/blog-post.html - распарсил вместе с навигацией
04.02.2008, 18:39
mudoeb
щас попробовал - http://homelessinkiev.blogspot.com/2007/12/blog-post.html - одни каменты

опять попробовал - пост + каменты
04.02.2008, 19:05
pina
дело в том что за эталон парсинга скрипт рандомно берет любую внутреннюю страницу, т.е. если парсить например http://homelessinkiev.blogspot.com/2007/12/blog-post.html то под эталон может попасть и http://homelessinkiev.blogspot.com/2007/11/blog-post.html и какая нить страница типа архивов. В первом случае результат будет в виде поста и комментов, во втором случае может оказаться что только комменты, потому что пост http://homelessinkiev.blogspot.com/2007/12/blog-post.html продублирован в архиве, а коменты то нет :)
Можешь нажимать несоколько раз на кнопку "парсинг", у тебя могут получиться разные варианты парсинга одной и той же страницы
04.02.2008, 19:16
mudoeb
а нафиг эталон если
должен получиться контент который был на блоге/сайте с тегами b, strong, p, h1, h2
04.02.2008, 19:29
pina
За контент я не считаю меню навигации и так далее. Для этого и берется эталон, что бы отсечь повторяющееся на страницах.
04.02.2008, 20:45
kiwi
я, если честно, не смотрел, чего и как, но поделюсь своим опытом.
Когда Арахно писал под мои нужды парсер, мы сделали так - берем какой-то интересующий нас ресурс, первую страницу вытягиваем plain html'ем. После чего руками расставляем спец. метки, которые указывают на границы контента.
Одна страница сделана (это занимает примерно с минуту времени) - потом все автоматически и очень четко парсится. Есессна, забор новых статей и т.п. шел через rss
05.02.2008, 03:58
mudoeb
парсер был составной частью кнопки бабло ?

Работает на vBulletin® версия 3.8.4. Copyright ©2000-2010, Jelsoft Enterprises Ltd. Перевод: zCarot