Статьи
40 прочтений · 1 год назад
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес
Мы проложили путь в ИТ для успеха вашего бизнеса. Российский ИТ-рынок сильно изменился. Сегодня каждая крупная российская компания, которая стремится к росту, вынуждена развивать собственную разработку, создавать свои цифровые решения. Для многих это новое направление, тернистое и непонятное, на пути к которому придется сломать немало копий и справиться со множеством вызовов. В то же время большинство вопросов современной разработки — инструментарий, ресурсы, процессы — общие для разных отраслей...
30 прочтений · 1 год назад
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес
18 мая 2023 года в 15:00 (мск) присоединяйтесь к VK Databases Meetup, чтобы узнать больше о развитии СУБД от разработчиков и экспертов в отрасли. На мероприятии поговорим о трендах в мире баз данных, разберем архитектуру и принципы создания высоконагруженных систем, а также практики для обеспечения отказоустойчивости и безопасности СУБД.  Центральная тема митапа в этом году — «В поисках новых героев: что происходит с СУБД в России?»...
370 прочтений · 1 год назад
Краудтестинг в ИТ: как тысячи незнакомых людей сделают ваш продукт сильнее
Разбираем, можно ли с помощью краудтестинга решить проблему нехватки сотрудников, нужных устройств и разных культурных особенностей пользователей. Что такое крауд-тестирование Краудтестинг — это тестирование продуктов в реальных условиях пользовательским сообществом. В такой работе участвуют не нанятые компанией консультанты и специалисты, а реальные пользователи. Это люди с разными навыками, опытом, устройствами, местом проживания, профессиональные тестировщики или люди без технического бэкграунда...
120 прочтений · 1 год назад
Учимся разворачивать Apache Superset в облаке
Сегодня перед российским бизнесом часто встает задача по выстраиванию системы бизнес-аналитики на новом технологическом стеке. Одни компании выбирают BI-решения российских вендоров для замены Tableau, Power BI и Qlik, другие предпочитают Open-Source-инструменты. Один из них — Apache Superset...
746 прочтений · 1 год назад
3 решения для ML-модели с графовыми данными Современные нейросети в основном строятся на основе графовых данных. Но чтобы спроектировать на их основе сложную систему, ML-модель должна уметь эти данные векторизировать, а это непростая задача. Для ее решения мы пригласили участников сентябрьского хакатона «Цифровой прорыв в ЦФО». Команды работали над задачей бинарной классификации, а их целью было создать ML-модель, которая среди широкой аудитории будет определять пользователей, склонных к благотворительности. Мы выбрали 3 лучших подхода к созданию моделей на основе графов и написали о них материал для блога на Хабре. В статье вы найдете подробные условия задания, а также объяснение, почему именно графы стали основой задачи. Также мы разберем 3 лучших решения и подумаем о том, что ждем эти решения дальше. Подробности и схемы — в статье.
29 прочтений · 1 год назад
Что ждет data-инжиниринг в 2023 году
Предсказания на грядущий год редко претендуют на серьезность, но помогают нам отвлечься от повседневности и задуматься о том, на что стоит ставить в долгосрочной перспективе. С их помощью также можно нарисовать согласованную общую картину отрасли, которая быстро развивается в разных направлениях...
565 прочтений · 1 год назад
Развенчиваем мифы о кубах данных OLAP Кубы данных — тот случай, когда на пять запросов об определении приходятся пять разных вариантов ответа. Их также описывают при помощи схемы трехмерного куба, но в объяснениях нет примеров, рассказывающих, как в дата-пайплайне реализуется эта концепция. Чтобы заполнить этот пробел, мы перевели статью и опубликовали перевод в нашем блоге на Хабре. Из материала вы узнаете, что такое куб данных, как реализовать его в таблице стандартной БД, а также как использовать кубы данных их в приложении Online Analytical Processing (OLAP). Подробности в материале на Хабре. Подробности, схемы и историческая справка — в материале на Хабре.
30 прочтений · 1 год назад
Рассказываем, как оптимизировать работу с ML-моделями с помощью VK Cloud и FEDOT
AutoML — автоматическое машинное обучение — помогает в ситуациях, когда нужно строить многокомпонентные пайплайны и комбинировать десятки алгоритмов моделирования. Оно позволяет просто и быстро обеспечивать требуемые показатели метрик качества ML-моделей. Александр Волынский, технический менеджер...
420 прочтений · 1 год назад
Выбираем облачные системы хранения для ваших сервисов На старте проекта важно правильно подобрать облачное хранилище, тогда у вашего приложения будет надежная и масштабируемая инфраструктура. Но в первый раз этот выбор может быть сложным: непонятно, по каким критериям сравнивать, и как вписаться в бюджет. На вебинаре Хамзет Шогенов, архитектор VK Cloud, расскажет про общие подходы к выбору хранилища вне зависимости от реализации — в облаке или On-Premise, а также о системах хранения от VK Cloud. Вы узнаете, какими бывают облачные системы хранения данных, как выбрать систему в зависимости от типа приложения, а также выясните, как правильно реализовать резервное копирование и не потерять данные. Смотреть видео
39 прочтений · 1 год назад
Как двухсторонние очереди в Python повышают производительность
Чаще всего для хранения данных упорядоченной последовательности используются списки. Их часто используют для хранения данных любого типа, например, целых чисел, строк или пользовательских экземпляров. Одна из главных причин их популярности — изменяемость: элементы списка можно добавлять и удалять. В некоторых приложениях данные обрабатываются по методу FIFO (first-in, first-out)...
20 прочтений · 1 год назад
Чему научил запуск миллиона исполнителей на Spark
В этом году на конференции Data+AI Summit Чжоу Цзян и Ааруна Годти из Apple выступали с докладом на интересную тему: им удалось построить централизованный кластер Apache Spark на базе Kubernetes, который обрабатывает более 380 тыс. заданий Spark в день. Этого объема заданий хватает, чтобы поддерживать аналитические процессы и эксперименты дата-сайентистов компании Apple. Мы прочитали и перевели конспект их доклада, а перевод опубликовали в нашем блога не Хабре...
1,4K прочтений · 1 год назад
С какими рисками можно столкнуться при работе с Kubernetes Kubernetes приносит пользу всем. С ним бизнес получает высокую скорость релизов, а ИТ-специалистам K8s помогает строить и жить. Но как рационально подойти к решению о внедрении технологии, не обращая внимания на ее растущую популярность? На одном из наших вебинаров Павел Селиванов, ведущий DevOps-инженер платформы VK Cloud, рассказывает о возможных рисках и типичных ошибках PRO-уровня при внедрении Kubernetes. Вы узнаете, как можно их избежать и поймете, как при помощи K8s снизить Time-to-Market, улучшить утилизацию ресурсов и наладить бесперебойную работу приложений. Смотреть видео
Видео