Даниил - Аналитика Данных

🔥 Бесплатный интенсив по Python для начинающих аналитиков! Завтра в 19:00 по Мск пройдет бесплатный интенсив по теме: “RFM-анализ клиентской базы с помощью Pandas в Python”. Мы проводили такой интенсив в начале года и собрали очень много положительного фидбека 💫 Поэтому мы решили, почему бы не провести его еще раз 😍 Что будем делать на интенсиве: ◾️ Проанализируем реальную клиентскую базу аптечной сети ◾️ Напишем скрипт для проведения RFM-анализа ◾️ Изучим несколько классных фишек Pandas и сформулируем конкретные бизнес-выводы ❗️ Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python: мы будем подробно объяснять каждый свой шаг и будем много говорить про аналитику на примере реальной бизнес-задачи – такой опыт точно будет вам полезен 😊 А вы готовы бустануть свои знания и скиллы в аналитике? 🔗 Регистрируйтесь на интенсив здесь → ссылка. Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134. Erid:LjN8Kcfy6

Книги для саморазвития Поделюсь подборкой книг не по теме IT, которые я прочитал и подчеркнул для себя ценные мысли. 📖 Принцип 80/20 (Ричард Джон Кох) Основная мысль книги: 20% усилий приносят 80% результата и наоборот. Также описаны примеры и подходы как применять это правило в жизни и бизнесе 📖 45 татуировок продавана (Максим Батырев) Книга про правила продаж, переговоров с клиентами, небольшие хитрости и тонкости от автора. Каждый описанный случай из профессиональной деятельности описан в виде татуировки, т.е. уроке, который стоит запомнить на всю жизнь и придерживаться его. 📖 Пиши, сокращай (Максим Ильяхов, Людмила Сарычева) Авторы показывают как создавать сильные тексты, заинтересовывающие читателей в разных форматах: статьи, посты, книги, интервью и т.д. 📖 Думай и богатей (Наполеон Хилл) Книга про силу мысли, веры, постановки целей и желания, которые приводят людей к успеху. Рассказаны очень много историй известных и успешных людей, например Генри Форда, Стивена Спилберга, Билла Гейтса, про их мышление в момент становления их как личности, которые стремились воплотить свои мечты и цели в реальность

🔐 Укрепляем безопасность наших данных: Практики по обеспечению безопасности баз данных Привет! Сегодня поговорим о том, как обезопасить то, без чего современный цифровой мир не сможет функционировать адекватно – наши базы данных. 🌐 Возьмем за основу простую истину: данные – это ценность, а значит, они должны быть защищены так же, как и любые другие ценные вещи. Это означает применение комплекса мер: 1️⃣ Регулярное обновление и патчинг. Софт без последних обновлений – подарок для хакеров. Убедитесь, что у вас установлены все последние патчи безопасности. 2️⃣ Шифрование данных. Шифруйте данные во время хранения и передачи. Это создает дополнительный слой защиты, даже если кто-то получит физический доступ к вашим хранилищам. 3️⃣ Аутентификация и контроль доступа. Используйте сильную аутентификацию и минимальные привилегии для доступа к БД. Каждый пользователь должен иметь только те права, которые ему действительно необходимы для работы. 4️⃣ Резервное копирование. Регулярно создавайте резервные копии ваших баз данных. В случае сбоя или атаки вы всегда сможете восстановиться. 5️⃣ Мониторинг и аудит. Отслеживайте и анализируйте активность в БД. Это позволит выявить необычные паттерны, которые могут указывать на попытку вторжения. Внедряя эти практики в свою работу, вы не только повышаете безопасность данных, но и демонстрируете ответственный подход к управлению информационными активами. Ваша чуткость к вопросам безопасности - это залог доверия клиентов и партнеров. 👥 И помните, в мире данных – ваша осторожность и предусмотрительность это не паранойя, а профессионализм! 💼

Авторы Академии Аналитиков Авито выпустили бесплатный курс по прикладной статистике. В нём две части — первая по базе, которую важно знать для работы с данными, вторая по более сложным критериям. Пройти можно здесь. Курс научит собирать и валидировать кастомные критерии на реальных данных, а ещё решать задачи бизнеса с применением прикладной статистики.

Пока все в Москве наслаждаются снегопадом, мы наслаждаемся солнышком 😁 Реализовал свою детскую мечту - приобрел кроссовый мотоцикл. Эмоции от покупки и покатушек просто 🔥

🧠 Улучши ИИ на хакатоне X5 Tech AI Hack! У тебя будет 10 дней, чтобы избавить нейросеть от галлюцинаций или научить ее работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей. Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackdatastudy Приглашаем на хакатон экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. На выбор – один из двух треков: 🥷 Трек 1. Маскирование. При использовании сторонней языковой модели нельзя передавать ей чувствительные данные организации – имена клиентов, доменные адреса и прочие. Поэтому участникам необходимо подготовить алгоритм, который заменит эти сведения в тексте без потери смысла. 🔎 Трек 2. Детекция галлюцинаций. Никто не любит, когда ИИ-ассистент в ответ на вопрос дает неправильную информацию. Задача конкурсантов – разработать систему, которая сможет эффективно выявлять аномалии в текстах, сгенерированных нейросетью. Хакатон продлится 10 дней. У тебя будет шанс получить консультацию от крутых ML-экспертов и специалистов по Data Science, обсудить решения с единомышленниками, узнать больше о проектах X5 Tech. 28-29 мая по результатам тестирования моделей участников 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет 30 мая на мероприятии X5 Future Night. Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackdatastudy Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8KF82Y

Проголосовало уже 137 человек, поэтому давайте сделаем для всех вас общий файл со сборником программ по IT специализациям. 📍С вас: список программ с ссылками на официальные страницы ВУЗов с набором абитуриентов в 2024 📍С меня: Структуризация этого списка в течение мая и публикация его повторно вам в открытый доступ Почему мне кажется это важным На своем опыте знаю на сколько сложно бывает искать место, в котором хотелось бы получить высшее образование, которое будет полезным и применимым в работе. Я будучи выпускником 11 класса, на 99% был уверен, что пойду поступать в Бауманку (МГТУ им. Н.Э. Баумана), а о Вышке (НИУ ВШЭ) я узнал случайно за 2 недели до подачи документов. Подавал документы в итоге в 3 Московских ВУЗа: МФТИ, Бауманка, Вышка и 2 ВУЗа для подстраховки: Казанский Университет и Пермский Политех Если бы не тот случайный разговор, я мог бы вообще не узнать о Вышке и ее сильных учебных программах с подтверждением диплома на международном уровне. Поэтому общим файлом мы явно поможем друг другу узнать о разных ВУЗах, специализациях и крутых возможностях! 😉 Ссылка на файл (доступ редактирования есть у всех) ⤵️ 🔗 Бакалавриат/Специалитет (на отдельном листе Магистратура)

🚀 Ускорьте анализ данных с Polars! ⚙️ Если вы работаете с большими объемами данных и вам нужна высокая производительность, то библиотека Polars может быть вашим выбором для операций с данными. Polars предлагает невероятную скорость и эффективность обработки за счет использования многопоточности и ленивых вычислений. 📊 В отличие от pandas, которая является стандартом де-факто в анализе данных на Python, Polars разработана так, чтобы быть более производительной при работе с большими наборами данных. Вот несколько случаев, когда Polars может превзойти pandas: 1️⃣ Многопоточная обработка: Polars эффективно использует все ядра процессора для выполнения операций, таких как группировки, объединения и сортировки, что позволяет обрабатывать данные быстрее. 2️⃣ Ленивые вычисления: Polars применяет концепцию ленивых вычислений, откладывая исполнение до момента, когда это действительно необходимо. Это означает, что вы можете создавать сложные цепочки операций, без непосредственного вычисления промежуточных результатов, что сокращает время исполнения и потребление памяти. 3️⃣ Масштабируемость: При работе с очень большими датасетами Polars демонстрирует лучшую масштабируемость, так как её производительность лишь незначительно уменьшается с ростом объема данных. 🔍 Если вы ищете способ оптимизации вашей работы с данными и готовы освоить новый инструмент, то Polars может стать отличным дополнением к вашим навыкам в data science. Испытайте ее на своих проектах и убедитесь в ее эффективности самостоятельно! 🔗 Полезные ссылки ▪️Официальный сайт Polars с документацией ▪️Сравнение Polars и Pandas ▪️Видео-туториал по функционалу и синтаксису Polars Что используете вы? 🔥 - pandas ❤️ - polars

Нереляционные базы данных (NoSQL = Not Only SQL) Мы привыкли в рамках аналитики над данными обсуждать традиционные (реляционные) базы данных или хранилища, в которых данные хранятся в привычной нам формы таблиц. Однако в информационных системах большую роль играют другие виды баз данных - нереляционные, которые позволяют хранить данные в более эффективном виде в зависимости от задач. ✏️ Ключ-значение Структура данных такой базы очень простая и состоит из пар "ключ - значение". Такие базы широко используются для задач кеширования, а также они дают возможно быстро получать нужные данные по ключу и упрощают масштабируемость приложений при быстро нарастающей нагрузки. ➡️ Пример базы: Redis 🔗 Key-value базы данных 🔗 Что такое база данных ключ-значение и про Redis ✏️ Документоориентированные БД Данные хранятся в виде документов (обычно JSON формат), т.е. наборы пар ключ-значение, что позволяет хранить разнородные по структуре данные. Также это позволяет работать с иерархическими (вложенными) структурами. Широко используются в веб-приложениях. ➡️ Пример базы: MongoDB 🔗 Документоориентированные базы 🔗 Про MongoDB ✏️ Колоночные БД Предназначены для обработки огромного количества данных, распределенных по разным узлам. Структура данных подобна табличной, но благодаря другому подходу к физическому хранению данных в формате "колонок и колоночных семейств" эти базы данных отлично работают с аналитическими запросами на больших объемах данных. Эффективно используются при работе с Big Data и аналитическими приложениями. ➡️ Пример базы: Clickhouse 🔗 Колоночные СУБД 🔗 Про Clickhouse и сравнение с традиционными СУБД ✏️ Графовые БД Оптимизированы для работы с разветвленными данными и сложными связями. Идеальный выбор для социальных сетей, рекомендательных систем, а также для решения задач, связанных с анализом связей и путей. ➡️ Пример базы: Neo4j 🔗 Графовые базы данных 🔗 Практическая статья про работу с Neo4j Обращу ваше внимание еще на то, что каждая NoSQL база данных имеет свой язык запросов и взаимодействия с ней. Здесь нет стандартизированного языка запроса, как SQL для реляционных баз, поэтому каждый инструмент NoSQL СУБД необходимо изучать отдельно. 🔥 за полезный пост, а май вообще объявляю месяцем полезного и разнообразного контента)

Отвечу на вопрос про 9 поток - он будет зимой Я беру перерыв в плане набора группы, чтобы создать другой продукт 🤓🧑‍💻 Поэтому кто желает уже сейчас идти учиться и иметь доступ к материалам - пользуйтесь скидкой на онлайн-тариф

Подборка материалов для изучения Python Друг попросил прислать материалы по Python, которые можно изучить для развития своих навыков программирования. Собрал порцию материала, решил а почему бы не поделиться здесь, явно кому-то будет тоже полезно 😉 📍Плейлист с основами программирования на Python (переменные, циклы, условные операторы, структуры данных и др.) 📍Плейлист с уроками по библиотекам Python (pandas + библиотеки парсинга scrapy, selenium, bs4) 📍Анализ данных с помощью pandas 📍Python для работы с Apache Airflow (на английском) По теме Django и разработки web-приложений 📍Плейлист c уроками по Django 📍Другой плейлист с уроками по Django 📍Плейлист с уроками по FastAPI Асинхронность и другие классные темы 📍Канал Диджитализируй (смотрел на нем видео про асинхронность и оптимизацию работы с памятью) 📍Видео про асинхронный парсинг P.S. лично я сейчас в свободное время изучаю Django, мне нравится какие возможности дает фреймворк, также помогает переключить мозг с SQL, на котором необходимо много писать в рамках работы и проектов

И самая Важная Информация для Вас! 🥳 Если вы не хотите оттягивать время до набора в следующий поток, хотите уже сейчас начать погружаться в Аналитику Данных, получать первые заказы на фрилансе и первые офферы от компаний - то есть возможность получить онлайн курс Основы Анализа Данных уже сейчас по очень выгодной цене 😉 35 онлайн уроков по темам: ✔️Теория Баз данных, ✔️Модели данных, ✔️Хранилища Данных, ✔️ETL/ELT, ✔️SQL ✔️Python ✔️BI и Визуализация данных ✔️Git, Jira/Confluence/Notion ✔️Практические домашние задания 🎁Дополнительный урок про поиск работы и составление резюме По окончанию курса у вас будут все знания и инструменты для того, чтобы осуществить проекты, которые выполнили ребята выше, появится возможность устроиться на позицию Аналитик данных (junior) и вы сможете начать выполнять проекты от заказчиков 🔥 Только до 28 апреля цена 25000 22 000 ₽ 📆 Не откладывай на потом, то что можешь сделать сейчас ⤵️ https://datastudy.ru/1#rec485669383