| 04.02.2008, 17:26 | pina | Вот сам парсер, http://milok.biz/tools/blog_parser.php
По задумке он должен парсить блоги, но так же может парсить сайты... Потестите плиз кому не вломы. Пишите, пожалуйста, сюда ошибки которые заметили. В итоге после парсинга должен получиться контент который был на блоге/сайте с тегами b, strong, p, h1, h2 и т.д.
В поле Site url введите url той страницы которую хотите распарсить, обязательно с http:// или https://
PS: после тысячи обращений, откуда угодно, от кого угодно, он прекратит работу. |
| 04.02.2008, 17:50 | mudoeb | Valid host : http://yandex.ru
Start parse
To many errors! STOP! |
| 04.02.2008, 18:01 | mudoeb | Valid host : http://suka.com
Start parse
To many errors! STOP! |
| 04.02.2008, 18:01 | mudoeb | дорген делаешь ? |
| 04.02.2008, 18:11 | pina | хм... это не тот парсер который выдирает результаты поиска. Он выдирает контент с какого то блога или сайта. Введи внутреннюю страницу какого нить блога, он должен показать именно контент, без навигации и прочеого мусора. Если блог русский, могут быть проблемы с кодировкой поставь в броузере utf-8 все станет ОК. |
| 04.02.2008, 18:26 | mudoeb | это не тот парсер который выдирает результаты поиска. Он выдирает контент с какого то блога или сайта
это я как то сам понял
http://google.com нормально парсится, а http://yandex.ru нет
и http://homelessinkiev.blogspot.com без ошибок парсит, правда весь контент без учёта тегов
http://homelessinkiev.blogspot.com/2007/12/blog-post.html - распарсил вместе с навигацией |
| 04.02.2008, 18:39 | mudoeb | щас попробовал - http://homelessinkiev.blogspot.com/2007/12/blog-post.html - одни каменты
опять попробовал - пост + каменты |
| 04.02.2008, 19:05 | pina | дело в том что за эталон парсинга скрипт рандомно берет любую внутреннюю страницу, т.е. если парсить например http://homelessinkiev.blogspot.com/2007/12/blog-post.html то под эталон может попасть и http://homelessinkiev.blogspot.com/2007/11/blog-post.html и какая нить страница типа архивов. В первом случае результат будет в виде поста и комментов, во втором случае может оказаться что только комменты, потому что пост http://homelessinkiev.blogspot.com/2007/12/blog-post.html продублирован в архиве, а коменты то нет :)
Можешь нажимать несоколько раз на кнопку "парсинг", у тебя могут получиться разные варианты парсинга одной и той же страницы |
| 04.02.2008, 19:16 | mudoeb | а нафиг эталон если
должен получиться контент который был на блоге/сайте с тегами b, strong, p, h1, h2 |
| 04.02.2008, 19:29 | pina | За контент я не считаю меню навигации и так далее. Для этого и берется эталон, что бы отсечь повторяющееся на страницах. |
| 04.02.2008, 20:45 | kiwi | я, если честно, не смотрел, чего и как, но поделюсь своим опытом.
Когда Арахно писал под мои нужды парсер, мы сделали так - берем какой-то интересующий нас ресурс, первую страницу вытягиваем plain html'ем. После чего руками расставляем спец. метки, которые указывают на границы контента.
Одна страница сделана (это занимает примерно с минуту времени) - потом все автоматически и очень четко парсится. Есессна, забор новых статей и т.п. шел через rss |
| 05.02.2008, 03:58 | mudoeb | парсер был составной частью кнопки бабло ? |
Работает на vBulletin® версия 3.8.4. Copyright ©2000-2010, Jelsoft Enterprises Ltd. Перевод: zCarot
|