| 28.12.2007, 11:40 | Adm | Десктопный парсер выдачи Google. Сохраняет базу в txt-формате. Выдает заданное количество результатов поиска. Парсит с любой страницы до конца выдачи. Не берет ссылки на сам Google - только на результаты поиска. Никаких наворотов, только функционал.
Писал сам, поэтому буду благодарен за комменты - чего добавить/убрать.
Взять можно тут (http://tospam2008.narod.ru). |
| 28.12.2007, 15:11 | Ar2r | Отличная прога! |
| 28.12.2007, 16:28 | Madbe | бесплатно покликать по рекламе :) |
| 28.12.2007, 16:31 | Adm | Пасиб! Приятно, что Вам понравилась! В процессе написания - обслуживалка для напарсенных баз. Можно будет использовать для txt-баз, созданных любым парсером. Будет готова - выложу там же. |
| 28.12.2007, 16:33 | Adm | бесплатно покликать по рекламе
Ну, это, конечно - желательно, но не обязательно...
А вот парсит она нормально, так что можно мне и простить некоторую меркантильность :) |
| 28.12.2007, 19:18 | Crazy Joker | Даешь подарки на новый Год!СПС за программку |
| 28.12.2007, 21:33 | Ar2r | Пожелание: Таймаут чтоб можно было устанавливать в секундах. а то банит быстро. |
| 28.12.2007, 22:16 | Adm | Пожелание: Таймаут чтоб можно было устанавливать в секундах. а то банит быстро.
Дело в том, что это - первый опыт... Объясните лоху - кто такой таймаут, а как его реализовать я придумаю сам! |
| 29.12.2007, 00:32 | Dmitry HT | задержка между запросами |
| 29.12.2007, 00:43 | Adm | задержка между запросами
О.к., понял. Реализовать это - не проблема, но, ИМХО, большого смысла не имеет.
Ведь во-первых - юзеру ничто не мешает задать новый запрос, реультаты которого будут запарсены в ту же базу.
А во-вторых - как показала моя личная практика (в ходе отладки программы) - изменение текста запроса ничуть не влияет на решение Гугла забанить запрос... |
| 29.12.2007, 01:16 | Le Comte de Monte-Cristo | но, ИМХО, большого смысла не имеет.
Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты.... |
| 29.12.2007, 01:23 | Adm | Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....
Возможно.
Я уже, вроде, говорил, что не спец в этих вопросах и буду благодарен за советы.
Ведь не хочете - не юзайте, всё честно, вроде!
А если у Вас есть знанияи относительно того, как обойти баг - давайте спишемся! |
| 29.12.2007, 01:47 | sevian | Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....
значит надо вешать на несколько ИП))) |
| 29.12.2007, 02:08 | Le Comte de Monte-Cristo | Точно. Проксей много надо. :) |
| 29.12.2007, 02:20 | seocoder | кто мне объяснит. новички пишут парсер (зачем ХЗ) и еще претензии к тем кто дает дельные советы.
Видно я отстал от жизни, но может пинча пихают нам юные хакеры ) |
| 29.12.2007, 02:35 | Le Comte de Monte-Cristo | Заутро усе пароли уедут наусегда? |
| 29.12.2007, 09:27 | Adm | кто мне объяснит. новички пишут парсер (зачем ХЗ) и еще претензии к тем кто дает дельные советы.
Видно я отстал от жизни, но может пинча пихают нам юные хакеры )
Пишут для себя, выкладывают из соображений "может кому пригодится". Вам ничего не пихают, не нравится - не пользуйте. |
| 29.12.2007, 10:32 | mommalomas | топик хуйня |
| 29.12.2007, 12:52 | Adm | топик хуйня
И Вам - того же, тем же и по тому же месту! :) |
| 29.12.2007, 12:57 | Adm | Заутро усе пароли уедут наусегда?
Какие пароли? Нет там никаких паролей. Может измениться только признак конца парсинга, это зависит от Google. Но и в этом случае напарсенную базу можно будет сохранить после сообщения об ошибке. |
| 29.12.2007, 13:02 | Adm | Имеет. Банит сцуко через некоторое время.
Практика: с одного IP при холде 6 секунд банит примерно через 5000 запросов. При холде 10 сек вообще не банит, только внуки потом будут разгребать результаты....
Поясните, плз, что такое 10 сек - задержка м/ду запросами? Или м/ду перелистыванием страниц запроса? Сделать-то задержку - не проблема, но где? |
| 29.12.2007, 13:02 | regulus | Какие пароли? Нет там никаких паролей. Может измениться только признак конца парсинга, это зависит от Google. Но и в этом случае напарсенную базу можно будет сохранить после сообщения об ошибке.
:) :p |
| 29.12.2007, 13:03 | Adm | :) :p
:d :pardon: |
| 30.12.2007, 17:13 | mudoeb | афтору респект, только сделай
- управляемую задержку между обращениями к странице
- поменьше окно и чтоб, посередине экрана, а то у мине при 1024х768 оно где то справа внизу и слишком длинное
на чём писал ? |
| 30.12.2007, 19:06 | reddik | привет
программка может стать еще полезнее после минимальных исправлений
я написал недавно парсер гугла для моих узкоспецифических нужд, он у меня круглосуточно парсит, не быстро, зато осторожно
задержку меду запросами сделал рандомную от 10 до 30 секунд, и запросы постоянно чередуются
забанили всего пару раз за месяц
т.е. если добавить задержку и возможность задавать несколько запросов, будет хорошо |
| 30.12.2007, 19:41 | Adm | привет
программка может стать еще полезнее после минимальных исправлений
я написал недавно парсер гугла для моих узкоспецифических нужд, он у меня круглосуточно парсит, не быстро, зато осторожно
задержку меду запросами сделал рандомную от 10 до 30 секунд, и запросы постоянно чередуются
забанили всего пару раз за месяц
т.е. если добавить задержку и возможность задавать несколько запросов, будет хорошо
Спишемся в асе? Очень нужен совет - как сделать лучше! Т.е. код я и сам реализовать смогу, а вот где задержку ставить - между перелистыванием страниц запроса, или между запросами? |
| 30.12.2007, 19:43 | Adm | афтору респект, только сделай
- поменьше окно и чтоб, посередине экрана, а то у мине при 1024х768 оно где то справа внизу и слишком длинное
на чём писал ?
Окно - сделаю, чтоб вылезало посерёдке. Как откомпилировал, так и лезет. Не проблема. Да и автосайз под расширение можно замандить...
Писал на Delphi7. |
| 30.12.2007, 20:27 | mudoeb | делай ... жду обновлений, буду юзать и осторожно кликать по рекламе (не больше 2 раз в день)
ОБЯЗАТЕЛЬНО СДЕЛАЙ чтобы можно было вставлять не только текстовый запрос, но и адрес который получается в адресной строке например - http://www.google.ru/search?hl=ru&q=site%3Ablogspot.com&lr= < чтобы вот это можно было вставлять и парсить (а то там бывает много важных параметров, которые в поисковом поле не пропишешь)
добавь ещё кнопки пауза/продолжить и стоп
баги
- у меня прога после парсинга не закрывается, приходится применять насилие
- "хотим результатов" = 10 а парсит = 100
- иногда нельзя вставить новый запрос для парсинга,после того как закончил первый парсинг (было выставлено максимальное количество результатов) |
| 30.12.2007, 20:33 | Adm | Постараюсь исправить все вышеуказанное.
С наступающим! |
| 30.12.2007, 20:44 | mudoeb | тебя тоже ...
сделай чтобы результаты предыдущего парсинга сбрасывались (или не сбрасывались - опционально) после начала нового парсинга
убери ещё эти дурацкие полосы прокрутки по краям программы а то раздражают ...
и поменяй дизайн проги, имхо браузер там ваще не нужен ... сделай окно проги покомпактнее и посимпатичнее - типа вверху твой банер с приглашением кликнуть, ниже окно для запросов и для вставки адреса (см. мой пост выше), потом кнопки управления, ниже окно с результатами, под ним кнопки для сохранения и всякие опции |
| 30.12.2007, 20:47 | Adm | Принято. Записано в блокнот. Возможно, будет учтено (хотя не обещаю) :) |
| 30.12.2007, 23:45 | reddik | Спишемся в асе? Очень нужен совет - как сделать лучше! Т.е. код я и сам реализовать смогу, а вот где задержку ставить - между перелистыванием страниц запроса, или между запросами?
Аську редко запускаю, лучше в личку пиши.
Паузы - между перелистываниями. Это ведь полноценные запросы, просто со start=100,start=200 и т.д. За них-то, подряд идущие, как правило и банят.
В идеале, я бы сделал так. Допустим, юзер задал 10 запросов, по каждому в выдаче по 10 страниц (максимум). Я бы их перемешал в случайном порядке. Типа
запрос 7, страница 2
запрос 4, страница 5
запрос 1, страница 10
и т.д.
И после каждого запроса - пауза, хотя бы 5-10 секунд, лучше тоже рандомная. |
| 31.12.2007, 02:37 | Adm | Ясно! Пасиб! Сделаю. |
| 31.12.2007, 10:31 | mudoeb | ты главное сделай чтобы можно было вставлять не только слова для поиска и последующего парсинга но и адрес который получается при поиске
а с остальным можешь подождать |
| 31.12.2007, 11:11 | Adm | ты главное сделай чтобы можно было вставлять не только слова для поиска и последующего парсинга но и адрес который получается при поиске
Не понял! Что за адрес? Куда вставлять? |
| 31.12.2007, 11:23 | mudoeb | ну пишешь например в поисковом окне гугла FUCK и получаешь строку
http://www.google.ru/search?hl=ru&q=FUCK&lr=
вот сделай чтобы эту строку (а не слова) можно было вставлять, нажимать на кнопку, и получать список урлов в результате парсинга
просто в строке урла можно прописать много параметров, для которых нет соответствующих операторов |
| 31.12.2007, 11:55 | Adm | Понятно. Но в принципе, можно писать такую строку в Гугле во встроенном браузере - парсинг пойдет. |
| 31.12.2007, 12:58 | mudoeb | ты чё то путаешь, короче отсутствует такая возможность, проверено
так что добавь хоть эту функцию + настраиваемая задержка между обращениями к странице |
| 31.12.2007, 14:18 | seocoder | http://www.seocoder.org/2007/04/18/parser-google-za-neskolko-minut-na-delphi7/ вообще то это мой бесплатный парсер взят за основу.
А как переделать его на блоге не написано, вот и нет таких фич ;) |
| 01.01.2008, 11:33 | Adm | http://www.seocoder.org/2007/04/18/parser-google-za-neskolko-minut-na-delphi7/ вообще то это мой бесплатный парсер взят за основу.
А как переделать его на блоге не написано, вот и нет таких фич ;)
Совершенно верно, идея Ваша. О чем и написан благодпрственный отзыв на соответствующей странице блога. А фич и сам навешаю - просто я не сео-спец и узнаю о том, что требуется в такой проге как раз из общения на таких вот форумах. |
| 01.01.2008, 11:35 | Adm | так что добавь хоть эту функцию + настраиваемая задержка между обращениями к странице
Сделаю! |
| 01.01.2008, 13:09 | mudoeb | сделай исчо чтобы можно было вставлять список запросов и чтобы прога их проверяла |
| 01.01.2008, 13:49 | Adm | сделай исчо чтобы можно было вставлять список запросов и чтобы прога их проверяла
Т.е. - парсила не по одному запросу, а по нескольким? Будет и такое, но не сразу, ладно? Сначала - более насущные исправления. О выходе новых версий можно будет узнать, юзая прогу - над рекламкой в нижнем окне браузера буду давать соответствующую инфу. |
| 01.01.2008, 17:32 | Adm | ОБЯЗАТЕЛЬНО СДЕЛАЙ чтобы можно было вставлять не только текстовый запрос, но и адрес который получается в адресной строке например - http://www.google.ru/search?hl=ru&q=site%3Ablogspot.com&lr= < чтобы вот это можно было вставлять и парсить (а то там бывает много важных параметров, которые в поисковом поле не пропишешь)
добавь ещё кнопки пауза/продолжить и стоп
Готово. Адрес поиска можно вставлять в том же поле, что запрос, поставив галку "не передавать в браузер". Кнопки - под полем результатов. Испытывайте, пишите - где накосячил! |
| 01.01.2008, 19:43 | mudoeb | есть один косяк, прога просто так падаети после 20-30 запросов
имхо на php лучше будет и быстрее |
| 01.01.2008, 19:46 | Adm | есть один косяк, прога просто так падаети после 20-30 запросов
имхо на php лучше будет и быстрее
Падает, видимо потому, что рандомная задержка еще не сделана. Но это - после каникул! |
| 01.01.2008, 19:47 | Adm | имхо на php лучше будет и быстрее
php не знаю...
А чего говорит-то при падении? |
| 01.01.2008, 20:10 | mudoeb | блин в проге косяков дофига и больше, пауза не работает, постоянные сбои, недопарс, падения (я имею ввиду как будто через ctrl alt del закрыта), короче прога сырая, я на неё время тратить не буду, сам тестируй и до ума доводи
А чего говорит-то при падении?
ничего не говорит, раз и нет
имхо на php лучше будет и быстрее
php не знаю...
я про себя говорю |
| 02.01.2008, 00:25 | Adm | ничего не говорит, раз и нет
так не бывает! |
| 11.01.2008, 12:01 | Ar2r | Автор программы вроде забил на прогу :-)
Написал аналогичную прогу, но на C#
Добавил динамически генерируемое время между запросами. от 1 секунды до 15 секунд.
+ Добавил фишку, чтоб не по одному запросу перебирались все страницы, а вперемешку.Список из 500 запросов хорошо парсит. |
| 11.01.2008, 13:02 | Adm | Не забил! Есть обновленная версия, ссылка видна в "подвале". Там пока нет возможности задавать список запросов и рандомной задержки, но будет. Ща занимаюсь прогой для обработки txt-баз. Тоже, вроде, нужная весч... |
| 12.01.2008, 13:20 | Ar2r | Не забил! Есть обновленная версия, ссылка видна в "подвале". Там пока нет возможности задавать список запросов и рандомной задержки, но будет. Ща занимаюсь прогой для обработки txt-баз. Тоже, вроде, нужная весч...
Думаю нужно чтоб прога умела открывать txt базу запросов, парсила их по очереди например.
+ возможность остановить процесс парсинга и сохранить список запросов из которого будут удалены все отпарсеные запросы или метку поставить какую-то =))) :)):)):)) |
| 14.01.2008, 08:36 | Adm | + возможность остановить процесс парсинга...
В новой версии есть кнопки "Стоп" и "Пауза". Остальное постараюсь учесть к следующей версии, но пока много работы на работе - некогда заняться :(( |
| 14.01.2008, 10:59 | mudoeb | Adm смирись, твоя прога ацтой
Ar2r ссылку на твою прогу в студию (там кстати можно использовать список урлов которые получаются при запросе (например http://www.google.ru/search?hl=ru&q=fuck&lr=) и чтобы они парсились ? а не просто список поисковых слов)
+ если вдруг по запросу найдено 0 результатов, парсинг дальше продолжится ? а то в в agress parser иногда парсинг останавливаетс если на текущий запрос ничё нет |
| 14.01.2008, 11:32 | Ar2r | Ar2r ссылку на твою прогу в студию (там кстати можно использовать список урлов которые получаются при запросе (например http://www.google.ru/search?hl=ru&q=fuck&lr=) и чтобы они парсились ? а не просто список поисковых слов)
+ если вдруг по запросу найдено 0 результатов, парсинг дальше продолжится ? а то в в agress parser иногда парсинг останавливаетс если на текущий запрос ничё нет
Скоро выложу. Но прога написана на C# поэтоум нужен Framework от MS :cool: :cool:
Но, я еще пока не придумал какую страницу крутить во фрейме программы :-))
Но, я не понимаю чем моя прога будет улчше Agress Parser :-) |
| 14.01.2008, 13:18 | mudoeb | в agress parser парсинг останавливается если на текущий запрос не найдено результатов и нельзя парсить список собственных адресов |
Работает на vBulletin® версия 3.8.0 Alpha 2. Copyright ©2000-2009, Jelsoft Enterprises Ltd. Перевод: zCarot
|
