Привет! На связи RUFAGO - сервис сбора информации.rufago.ruУже более 3-х лет мы занимается массовым парсингом сайтов (сбором и обработкой информации), мониторингом цен и предоставлением структурированных данных. В основном работаем со сферой E-commerce (берем информацию о товарах и их ценах с интернет-магазинов и маркетплейсов, анализируем данные и предоставляем их конечным заказчикам).В связи с ростом компании, мы расширяем команду разработчиков для наших сервисов.Основные задачи (обязанности):Разработка, доработка и сопровождение проектов компании и бекэнда для собственных продуктовАвтоматизация процессов сбора и обработки больших разноструктурных и разнотипных данных в БД/JSON/CSV/XML и т.д.Проектирование и выработка архитектурных решений;Поддержка и доработка существующих систем;Написание юнит-тестов и технической документации по своим задачам;Разработка нетривиальных алгоритмов работы с данными;Оптимизация внутренних сервисов под высокие нагрузки и большие объемы данных;Проектирование программных решений и интеграций.Что предстоит делать:Создание и обслуживание систем скрапинга/парсинга (scraping/parsing) данных:Разработка системы сбора данных с внешних ресурсов поставщиков и организация ее бесперебойной работы;Анализ сайтов и API систем для быстрого и точного получения данныхСоздание и облуживание скриптов для обработки, обогащения и валидации данных;Создание и обслуживание систем матчинга (сопоставления данных);Разрабатывать новый функционал: новые парсеры/краулеры, новые фичи для b2b клиентов;Реализация простых API-интерфейсов.Ваши навыки (требования):Уверенные знания и опыт разработки на Pyhton 3.x и основных python библиотек от 0.5-1 годаБазовые знания любой SQL (MySQL/PostgreSQL/MongoDB/NoSQL)Базовые знания JSON / XML / CSVОпыт работы с Linux, Git, DockerВладение техническим английским языкомУмение писать чистый и понятный код с документациейЗнание объектно-ориентированного проектирования (ООП), базовых алгоритмов и структур данных как бонусБудет здорово, если:Вы разрабатывали системы парсинга/матчинга/мониторингаЗнаете, как работают HTTP-запросыУмеете писать регулярные выраженияРаботали с ElasticSearch или SphinxУмеете обходить ограничения/защиту от парсинга на сайтахЗнаете или работали с одной из этих библиотек: re, requests, asyncio, beautifulsoup4 (bs4), scrapy, seleniumМы предлагаем:Удаленная работа, работа в офисе или офисно-дистанционная в г. Красноярск. Условия трудоустройства обсуждаются на собеседованииГибкий график работы, в соответствии с договоренностями с руководителем.От 08:00-17:00 до 12:00-21:00, 5 дней в неделю.Конкурентная заработная плата, обсуждаемая на собеседовании, в зависимости от уровня квалификации кандидатаГотовы рассматривать кандидатов без опыта работы, но с наличием серьезных базовых знаний и умением обучаться, в том числе самостоятельно.Откликайся на нашу вакансию и коротко расскажи о себе. Фото, ссылки на соц.сети/блоги/Github будут плюсом.Мы обещаем ответить в течение 1-2 дней.Собеседование проведем в цифре: по skype или zoom.
