Поисковый робот - простая задача, оббежать страницы и собрать данные. К тому времени я уже написал полсотни парсеров и думал что это займёт пару часов, написать своего робота. Пусть он будет примитивный, но наверняка облегчит мне работу с поставщиками. Нашел пример в интернете, разобрался и в выходной под вечер нашёл для этого время.

Поначалу было всё просто – на входе список, на выходе файл с данными. Пока поставщиков в списке было пять, то это очень хорошо работало, и я радовался – сделал свою версию поисковика. А потом стала реальная задача – поиск по двум сотням сайтов. Ну я запускаю и нечего не отрабатывает – кодировка сайтов поменялась. Потом скрипт на сайте меня выбрасывает. Потом мой поисковик блокируют. Потом на сайте работает скрипт подменяющий информацию для роботов.

То, что тогда получилось, можно увидеть здесь

http://alexmarned.zzz.com.ua/baza/poisk-kontaktov-na-sajte/  На данный момент это уже очень старая версия, не стал ничего менять и перезаписывать, конечно сейчас все и работает, и выглядит по-другому.

Я дорабатывал поисковик урывками, без надежды когда-либо решить все возникающие вопросы – их список рос быстрее чем весной растёт сорняк. Данные не записывались из-за кодировки (отчасти я эту проблему поборол, частично это ещё проблема), были сайты, которые грузились минутами – сайт не завис, просто так выводится информация на сайте, по три сотни фотографий за раз, по двести документов на странице, по 50 и даже 100 Мбайт информации на странице (были и по 500 Мбайт).

Были другие языки на сайтах, а мои скрипты были рассчитаны на русский и украинский языки. Добавлял английский, немецкий, другие и программа отказывалась работать, бесконечно выпадали ошибки.

И мои знания тогда были очень слабы, это бы можно было назвать пет проектом, только я использовал его в работе. Одновременно я учил алгоритмы и учил языки - сперва я пытался запустить поисковик перебирая варианты, потом сдавался, лез в теорию и ух ты, да такой алгоритм уже давно разработан, воспользуюсь и я таким же готовым кодом.

И так я его по частям и дорабатывал – начал с мелочей, потом добавил поиск контактов, потом стал их искать целенаправленно. Сайты размещают кучу ссылок, даже есть такие сайты состоящие из одних ссылок, специально для роботов. Подмена адресов, ловушки, блокировки, спам содержание – я всё это прошёл на собственном опыте. Подгрузка контента через ajax, подмена информации – это может и решает часть проблем на сайтах, но создаёт проблемы другого уровня.

И сейчас поисковик тоже в работе. Пусть там нет интерфейса, я делал интерфейс и забросил, поскольку я постоянно дорабатываю код поисковика. Я добавил сбор аналитики по сайтам и могу сказать, что наши сайты далеки от совершенства и клиенты часто уходят, не дождавшись ответа от сайта. Обновляйте свои сайты, рекомендации от google_a вполне обоснованы.

Наименьшей проблемой был вопрос – «А как зацепиться за поисковый запрос и вытащить информацию по направлению?» И потом поиск по найденному, тут пытался, пытаюсь и буду дальше изучать, и делать свой поиск. Мне это не только интересно, но и очень нужно в практическом плане.

В общем, чтобы сделать первую версию своего поисковика, у меня ушло 9 месяцев. С учетом тех моих знаний, наверное, это было быстро, сейчас бы написал за неделю или меньше – но откуда бы я получил такие знания, не пройдя этот путь? У меня основной язык php, а там задачи уровня «записать в базу, считать с базы, проверить данные, вывести данные». Да, там может быть столько связей и данных, что голова начинает болеть, только поисковик — это задачи немного пошире.

И я по-прежнему учу алгоритмы, паттерны, языки (из-за стилей добавляемых wordpress я вплотную занялся изучением javascript), дорабатываю поиск по сайтам и поиск в найденном, немного машинного обучения и это сильно помогает найти данные в интернете. А найденные данные, это найденные контрагенты, клиенты, поставщики, юристы, бухгалтеры и всё что нужно. В общем это нужная в хозяйстве вишь, без дела не лежит.

Если это интересно, то плюсуйте, задавайте вопросы - распишу подробнее, я не одну книгу изучил, что бы его написать.

Всем ку! Не так давно я задался вопросом, а почему мне нравится такая нудная работа? На самом деле, ответ кроется не на поверхности. Чтобы понять всю суть любви к программированию, нужно копнуть немного глубже, нежели просто придерживаясь тех фактов, что у программистов высокая заработная плата (хотя, по секрету, это не совсем так).

Многим разработчикам действительно нравится создавать нечто новое, решать сложные и необычные задачи, однако, на практике, все выходит совершенно обратно. Чаще всего задачи скучные и однотипные, а работать приходится не с неизведанным и новым, а с устаревшим и скудным.

И ведь действительно, большинство наработок, используемых в бизнес-проектах, уже достаточно стары (возьмем банальные Java 8, PHP 3 или 5, C++7). Почему же так происходит? Все дело в том, что бизнесу не нужны новомодные решения (если речь не о стартапах) - бизнесу нужна стабильность, чтобы она стабильно приносила деньги с минимальными затратами, то есть для бизнеса лучше написанная система 2003 года, зато стабильная. Когда речь доходит до обновления какой-либо системы или сервиса с legacy-кодом, то процесс затягивается надолго, ибо бизнес начинает просчитывать риски, бюджет, время. Нельзя обновить систему так, чтобы она приносила убытки - это, как минимум, глупо.

В программировании достаточно часто встречаются такие проекты-динозавры, которые придерживаются принципа "работает - не трогай". И, чаще всего, джун, изучающий самые новые технологии, после успешно пройденного собеседования, сильно огорчачется, ведь ему приходится перелопачивать код, который в последний раз до него трогал только дед Василий в 1998 году, не закончивший пару фич из-за наступления маразма. И вот паренек (или девушка) трогает код динозавров с функциональным стилем, на старой CRM alpha-версии, используя при этом технологии, которые джун не изучал, ведь... он думал, что сфера ИТ никогда не стоит на месте, а шутки про legacy всегда были смешными, но смешно все, пока с этим не столкнешься.

Сфера IT действительно не стоит на месте, сервисы обновляются чуть ли не каждый день, каждый день появляется новый фреймворк, обновление для языка и т.д., но все забывают главное - бизнес должен быть стабильным. Просто крупным компаниям совершенно невыгодно переписывать базу, да и зачем, если это просто займет время и толком ничего не изменит (лишь на 0.0003 мс быстрее станет). Legacy делаются с упором на то, что никто и никогда не будет в него лезть, код должен быть максимально непонятным, держащимся на костылях и goto.

Никаких обновлений - на кой черт они нам нужны, правда? На самом деле, если написать код, оставив комментарии, распределив должным образом модели, расписав контроллеры с возможностью масштабирования и очистить базу от ненужного, то систему можно смело отправлять в Legacy, не боясь мысли о том, что ее придется обновить лет так через 15.

Всем ку! Буквально недавно я устроился веб-разработчиком на PHP в одно местное ИП (если считать по Москве). В общем, работка не пыльная - сидишь в офисе и делаешь сайты на заказ, а также занимаешься их поддержкой. Если так подумать, то что еще нужно для счастья? Думаю, что потребовалось неплохо оплачивать ту часть работы, которую я опишу ниже.

Все наши ребята занимаются не только разработкой и/или поддержкой сайтов, хотя именно "PHP-разработчик" вписан над графой "Должность", они охватывают больший спектр задач, чем могли себе представить изначально. То есть приходит PHP-разработчик и говорит HR'у: "хочу у вас работать на должности PHP-программист, заниматься созданием бекенда сайтов с нуля или, максимум, с использованием какого-либо движка для упрощения задачи себе и ускорения выполнения задачи для заказчика", в ответ же юнец слышит, что все будет именно так, что именно такой разработчик, выполняющий именно такие задачи, им и нужен. Зеленого принимают, неделька на вливание в коллектив, распределение задач, осознание происходящего.

И вот, наконец, когда зеленый, только прибывший боец, перестает быть таковым, а становится частью команды, то он начинает вкушать плоды той работы, на которую он не подписывался...

На только вышедшего из фазы "новичок" разработчика перекладываются все задачи, которые только прилетают от заказчиков, пропуская фильтрацию от менеджера(ов), ведь, обычно, менеджеры разбираются в рабочей сфере лишь поверхностно, что является одной из основных причин появления странных, порой почти невыполнимых задач, которые бедолага должен выполнить в настолько короткий срок, что сон становится чем-то из разряда поощерения.

Оплата труда неспящего разработчика, на которого накидывают все больше и больше задач, в какой-то момент перестает иметь ценность, ведь на первом месте у человека, стучащего по клавиатуре, становится выживание — никакие деньги не смогут вернуть потраченное на разработку время.

Заработная плата работника также странно формируется — деньги за выполненные задачи, однако бывают задачи, которые можно выполнять месяцами и что же, сидеть без денег все это время? Нет, конечно! Задачи будут кидать и кидать... Без остановки. Когда у разработчика уже более 50 различных задач, каждая из которых "срочная", то абсолютно размываются какие-либо границы "когда это закончится". Задач становится все больше, времени все меньше, заказчики подгоняют, но у разработчика упал сервер, который в срочном порядке нужно поднять...

Вот и получается, что на одного разработчика приходится очень много задач, плюс настройка всего, что только может существовать в мире, потому что "нада", а заказчики продолжают ждать выполнение поставленных задач от команды разработчиков.

Каждый работник ИП, устроившись программистом, выполняет роли всех работников, то есть разработчику могут спокойно сказать "иди пиши статью", а сделать он ничего не сможет — штата не хватает, а организация выполнения задач хромает на своих трех сломанных ножках.

В ИП сложно работать, а с ИП трудно иметь дело.

И вот я пишу парсеры. На php. Есть функционал в стандартной установке, есть библиотеки для парсинга, есть примеры. Да вот неприятность – владельцам сайтов и хостингов сильно не по душе, когда их парсят и борются с этим всеми средствами. И почти сразу же меня начали блокировать. Я перебрал несколько вариантов, добавлял куки, агентов, настройки, разные варианты и подходы – не получается. Вернее, не получается стабильно.

От парсера требуется совсем немного – нужно получить страницу, построить DOM дерево, получить элемент и его вывести, иногда обработать и записать куда ни будь, обычно в текстовый файл в разных кодировках. Есть неприятные моменты, это то, что в учебниках даются самые простейшие примеры и есть всего два русскоязычных автора по видео, где парсеры именно объясняются как их писать и ещё одно видео школьника, этот школьник умеет писать парсеры, а вот объяснить не может – он ещё не знает терминологии.

Стал искать другие варианты – одни для меня тогда были сложные, другие непонятно как сделать, остановился на питоне (так посоветовали). Попробовал учебные примеры – получилось. Стал писать парсер для моего случая и ничего не получается. Отложил в сторону парсеры, взял учебник питона и стал его листать. Я уже учил этот язык лет десять назад, половину прошёл и забросил, тогда у меня не было для него практического применения. Стал учить заново.

Учебные примеры довольно простые, только какие-то пустые – ну зачем мне срезы, стринговые операции, операции с кортежами? Стал мучать именно парсеры; библиотека BS4 для парсинга рекомендуется во всех статьях и есть несколько видео её применения. Через пару недель по вечерам первый успех – стало собираться со страниц учебных примеров именно то, что мне нужно. И приступил к нужным мне сайтам – тут опять неприятность – на каких-то сайтах получается, на некоторых вообще ничего не получается. То дизайн на сайтах такой, что никак за элемент не зацепится, то пагинация настолько оригинальная, что работает только через стрелки пагинации, разные проблемы.

Мне опять подсказали - нужно использовать Selenium. А это много сложнее, с моими скудными знаниями это было сложно. Только это хоть и медленный и очень непростой вариант, но именно он помог мне получать данные почти с любой страницы. Язык пришлось очень сильно доучить, ушло больше полугода и это на базис. Сейчас нормальные курсы предлагают  обучить базе языка за 2,5 года, думаю это реальный срок. Я учил быстрее, под практическую задачу,  только у меня от этой учёбы были постоянные головные боли и полное непонимание как что работает.

С тех пор я написал почти сотню парсеров на BS4, и больше 400 парсеров на selenium и до сих пор не всё получается. То с кодировкой проблемы, то с очисткой данных проблемы (так вот зачем в книгах по питону столько места на первый взгляд бесполезного материала ), то не пишется в базу или не могу получить элемент. Вот сейчас опыт больше 500 парсеров, постоянно учу и практикуюсь и не всегда получается написать простой парсер.

И питон на первый взгляд простой язык, на деле оказался настолько же простой, как и php. Во многом они пересекаются, по другому и быть не могло, и всё таки они для разных целей.

И немного попробовал python для модных ныне вещей – распознавание текста, фото, нейронные сети, обработка текста и многое другое. Делал это на основе того, что я неплохо знаю математику и много прикладных вещей, включая статистику. Даже сделал пару небольших сервисов, массово они не взлетели. Тут не всё однозначно, с учётом моего опыта судить сложно, но есть что показать и рассказать. Не пробовал только веб разработку на питоне, на мой взгляд на пыхе это делать проще и выгоднее. И ещё удобно делать математику на python, я напишу что думаю о тех, кто говорит – «программисту математика не нужна». И последнее нужно довольно долго объяснять, продолжу на следующей неделе.