ВХУИЗ-парсинг
Суббота, Сентябрь 30, 2006 в 12:56 am в рубрике домены и хостингДопустим, у вас появилось желание прикупить доменчик. Уже и название придумали…
Пошли к своему любимому регистратору - ща, думаете, зарегаю.
Вбиваете имя, а вам в ответ:
- А доменчег то занят!
Ну че делать, вбиваете другой, скриптик вам тут же:
- А про этот вапще забудьте! Он на 10 лет вперед проплачен.
Это то еще ничего, он еще и издеваться над нами будет:
- А может вы другой прикупите? Есть у нас тут парочка. Вот такой например как вам - owner-tupen.com?
А ведь бывают еще и ХИТРЫЕ регистраторы. Пока мы тут рожаем, значит, выбираем, они значицца, подсматривают и за нами доменчеги босявые подбирают.
Нет, так не пойдет. Реальные пацаны нынче подбирают домены из готовенького горяченького списочка.
- А где же взять, списочек то?
нате, берите –> СПИСОЧКИ
Дальше эти списочки нужно аккуратненько скачать, распарсить, и слить в один БОЛШОЙ список. (этот этап мы опустим, тк в каждом отдельном случае парсинг будет отличаться). БОЛШОЙ список нужно отсортировать и убрать неуникальные домены. Это я могу подсказать, как сделать:
cat SPISOK | sort -u > UNIQUE_DOMAINS
Теперь этот список нужно ПРОЧЕКАТЬ. То есть определить занят ли каждый конкретный домен в этом списке или нет. Если вы будуте правильно искать СПИСОЧКИ, то у вас списочек получится просто огромный (у меня получилсо 80000, уникальных конечно же доменов).
Мдда, многовато. Если все это тупо чекать, за это и забанить могут на хуиз-сервере ихнем. Надо значит хитро делать. Авторитетные люди мне обьяснили: можно чекать через соксы. Я чесно, гря в них не шарю. Ну и решил по простому сделать - повешать whois-чекалку по разные исходящие адреса. Вместе с сервером дают 6 штук адресов. Ну вот на них и повешаем. Стандартная unix-утилита whois не умеет биндится на определенный адрес. Значит будет юзать нестандартную!
BW-Whois - на перле написоно, по функционалу теже функции что и у стандартной + еще куча всяких плюшек. И на разные адреса к тому же вешатся умеет.
Качаем дистр, распаковываем. Не забываем прописать в конфиге список адресов, к которым будем биндится. Потом:
#screen
#cat UNIQUE_DOMAINS | xargs ./whois-5.0/whois | grep 'No match for domain' > FREE_DOMAINS_LIST.txt
screen - это утилита для того, чтобы отрыть “виртуальный терминал”. Окошко, в котором выполняется задача можно будет закрыть в любой момент, а потом в любой момент обратно его рассуспендить.
Все, дальше идем спать.
У меня парсилось сутки кажется.
Как распарсим открываем файло и выбираем доменчеги по душе. Ну или отсортировать можно по длине доменного имени (дал бы скрипт, да сервак выключил на котором он лежал).
Ну или если вас ломает все это делать, забирайте тода мой FREE_DOMAINS_LIST.txt. Я там нашол для себя пару десятков ничошных таких.
Найдено на: Идеология дорвеестроения
Ваша оценка:



