Superset не самый новый bi-инструмент, но его популярность продолжает расти. На мой взгляд, он достаточно прост в освоении, но все же требует некоторых усилий и времени, чтобы разобраться куда тыкать, чтобы загрузить данные и нарисовать красивый отчет. Лично я за свою карьеру в IT уже второй раз сталкиваюсь с необходимостью переезда на этот инструмент. Он снова новый для компании и многие сотрудники с ним раньше не работали. Поэтому я и решила написать статью-шпаргалку, которая поможет в несколько кликов создать работающий дашборд и всегда будет под рукой.

В дополнении к гайду напишу с какими подводными камнями мне приходилось сталкиваться, как их решить, а также покажу несколько полезных фичей Superset. Это поможет быстро разобраться в интерфейсе и знать, на что обратить внимание.

Привет, Хабр! Я Роман Щербаков, ведущий инженер в Sage — это платформа мониторинга в Т-Банке, которую мы разрабатываем с 2019 года. За пять лет нагрузка на платформу возросла многократно, и, чтобы ее выдерживать, мы постоянно докручиваем наше решение. 

В этой статье расшифровка моего доклада с Saint HighLoad++ 2024 о том, как мы строим нагруженные пайплайны записи. И о том, как было бы здорово заранее знать, что нам потребуется. Мы придумали много всего для надежной работы пайплайнов, а посмотрели ретроспективно, и оказалось, что это просто одни сплошные стандартные паттерны.

KnowledgeConf 2024 — это сборник «историй из жизни». Точнее, из нашей повседневной рабочей рутины. Реальные люди делятся своим реальным опытом решения реальных проблем. Всем, что помогло им достичь целей бизнеса с помощью управления знаниями. От онбординга, обучения и развития сотрудников, в том числе в условиях больших и малых факапов, до глобальных изменений ко всему учебному подходу в целом. У них получилось преодолеть свои «боли» и теперь они делятся «лекарством» со всеми, кому интересно погрузиться в тему и найти свой способ лечения.

Хочу поделиться несколькими докладами, которые, на мой взгляд, дают самый значительный профит по самым распространённым больным вопросам.

Управление поиском цен на отели в сервисе бронирования — это как ремонт работающего двигателя. Работа с запросами происходит в реальном времени, и простого варианта «отель N на майские» недостаточно, чтобы получить то, что нужно. Скрейпинг, массовые запросы, настройка баланса просмотров и бронирований при работе с самописными базами поставщиков и их ограниченными серверными мощностями — задача почти невыполнимая. Почти…

Привет, Хабр! Меня зовут Иван Чернов. Я 12 лет в IT, 6 из них работаю в «Островок!». В этой статье расскажу, как справиться с нагрузкой и поддерживать бесперебойную работу системы. Рассмотрим масштабирование Redis, использование Aerospike, фильтр Блума и решим задачку со звёздочкой. Поговорим о маленьком кусочке схемы, который непосредственно работает с поставщиками в поиске. Это самая нагруженная часть, где возникают наибольшие проблемы с highload. Но именно она нужна, чтобы пользователи получили лучшие цены.

В ноябре выйдет новая версия TeamLead Conf 27.28.11.2024. Предпродажи уже идут! Проведём небольшой обзор предстоящего мероприятия и поговорим о звёздных докладчиках, которые подготовили для нас разборы самых насущных проблем. Например, как тимлиду добиться признания в команде? Или что делать с командой, когда тимлид ушёл? Как обучать взрослых людей? Как навыки тимлида видит СТО? И на сладкое — вся правда о биохакинге.

Привет, Хабр! Я Надежда Погина, менеджер проектов в Cloud.ru. В этой статье расскажу, как мы настроили процесс онбординга новых сотрудников в период активного найма. Как работали с мотивацией, отошли от привычных стандартов адаптации и создали инструмент, который помог усилить, развить и сплотить одну из команд. А еще поняли, что смогли оптимизировать ресурсы адаптации и разгрузить руководителей, поэтому решили развернуть методику на всю компанию.

Есть стандартная схема онбординга новичков, которую использует большинство компаний: первичная адаптация, погружение в работу с руководителем, социальная интеграция новичка, оценка и обратная связь, развитие сотрудника. На первый взгляд может показаться, что такой стандартизированный процесс — это удобно, но у него есть и слабые стороны.

Okko – один из крупнейших онлайн-кинотеатров в России c нагрузкой в несколько тысяч запросов в секунду, в котором персональные рекомендации занимают важное место. Для улучшения пользовательского опыта нужно не только предоставить качественные рекомендации, но и обеспечить быстрый доступ к ним.

В этой статье мы поделимся:

1. Описанием, как мы использовали инструменты Jaeger и Grafana для выявления узких мест в производительности, что привело к выявлению критических проблем со сборщиком мусора;

2. Анализом влияния различных настроек сборщика мусора на время ответа, что позволило сократить его вдвое для 99% запросов;

3. Когда и почему стоит рассматривать изменение стандартных настроек сборщика мусора (на примере нашего случая).

В современной инфраструктуре нет недостатка в решениях для балансировки и межсервисных коммуникаций. Почти все используют nginx, HAProxy, есть адепты Treafik, а публичные облака предлагают Load Balancer как сервис. Но что делать, если инструменты не справляются с ростом масштабов и необходимо автоматизируемое cloud-native-решение?

Я Дмитрий Самохвалов, архитектор в K2 Cloud. В этой статье поделюсь, как мы из-за ограничений старых систем для динамической конфигурации перешли с работающих решений nginx и HAProxy на модный Envoy. Расскажу, почему сочли это решение подходящим, какие возможности есть у Envoy, каким был опыт внедрения и оставлю рекомендации для эффективного перехода. Будет полезно разработчикам cloud-native-приложений и инфраструктуры, а также всем, кто хочет создать единое платформенное решение для взаимодействия сервисов и инфраструктуры.

Метрики — один из трёх базовых типов телеметрии и основа мониторинга любого приложения. Но что, если необходимо собирать их в рамках крупной и высоконагруженной экосистемы? Как собрать метрики с десятков тысяч хостов разных ЦОДов и сотен типов приложений? И как упростить инженерам настройку правил алертинга и создание дашбордов?

Привет, Хабр! Я Филипп Бочаров, руководитель стрима мониторинга и наблюдаемости в МТС Digital. Мы занимаемся всеми типами телеметрии: логами, трассировкой и, конечно, метриками. Единое хранилище метрик экосистемы — часть нашей платформы наблюдаемости. Для этих целей мы используем агент Telegraf и большой кластер VictoriaMetrics, принимающий 10+ миллионов сэмплов в секунду.

В этой статье расскажу, как мы реализовали централизованное управление конфигурацией агентов, удобный интерфейс для настройки алертинга и правил сбора метрик. Покажу, как менялась архитектура решения с ростом нагрузки, как мы боролись с отставанием и потерей данных. Посмотрим, как это позволило собрать все метрики в единое хранилище и построить дашборды здоровья по ключевым продуктам.

Офисные работники засыпают, просыпается выгорание. Выгорание делает свой выбор среди неспящих, засидевшихся допоздна сотрудников. Выгорание сделало свой выбор. Все просыпаются офисными работниками. Все, кроме Олега. Олег просыпается уличным художником в Амстердаме.

Как говорится - в любой шутке есть доля шутки. Давайте поговорим про выгорание в команде. Про то, как стать максимально продуктивным, перестать выгорать и в целом избавиться от ощущения «опять эта работа».

Меня зовут Евгений Идзиковский. Я начинал аналитиком, продолжил IT-карьеру в Radmin’е, а затем кардинально сменил профессию. Сейчас я — психолог и «депрограммирую» людей от того, что им мешает жить. На досуге, отдыхая от депрограммирования, пишу нейросети на R и изучаю Python.

Я начинал в 2004 году с позиции .NET программиста в сфере аутсорс-разработки для зарубежных заказчиков. Это заложило прочную основу моей карьеры в IT. Полученный опыт в Java и .NET применил в научном институте в Новосибирске, а затем  в университетах Германии и Швеции. Этот период значительно расширил мои технические навыки и кругозор. Следующим этапом стала работа в игровой индустрии, где я прошел путь от руководителя проектов до операционного и технического директора в сфере мобильной разработки. Потом вернулся к аутсорс-разработке для российских и зарубежных заказчиков, но уже в роли руководителя проектных офисов и директора производства. Сейчас занимаю позицию руководителя технологического направления (аналог локального CTO) в компании ЕВРАЗ.

Всем привет! Меня зовут Дима, я тимлид команды Яндекс Диска. Сегодня расскажу, как обрабатывать сотни терабайт загружаемого контента в день и быстро доставлять его в ленту со всеми фотографиями пользователя. Лента выглядит как локальная галерея на телефоне, но может содержать в себе сотни тысяч фотографий, хранящихся в облаке, и быстро переходить к любой точке среди огромного количества контента. 

В статье подробно расскажу про технический челлендж, наш подход к реализации задачи и про особенности синхронизации, используемой в этом случае.

Поговорим об IT в промышленности с архитектором решений из команды Технологической Платформы НЛМК. Александр Лищук поделится своим мнением по вопросам, которые интересуют многих инженеров, решающих, стоит ли выбрать в качестве направления развития IT в промышленности:

● типичный стек разработки в промышленности

● дресс-код и субординация

● развитие IT в реальном секторе

Привет, Хабр! Это компания Raft и я — руководитель AI продуктов Евгений Кокуйкин. А на фото выше — троица из нашей команды — техлид Саша Константинов, AI Project Manager & QA Lead Толя Разумовский и Data scientist Арсений Пименов на конференции Олега Бунина AIConf. Недавно в сети появился Replit Agent с многообещающими заявлениями. Мол, этот инструмент пишет код лучше программистов и скоро их заменит. Хотя в Raft мы и пишем код по старинке — вручную, но следим за технологиями и стремимся использовать новшества там, где это может быть полезно. Решили испытать Replit Agent в деле и даже устроили внутри команды мини-хакатон. Делимся впечатлениями.

Меня зовут Ярослав Французяк. Я фронтенд-разработчик в GARPIX. В этой статье расскажу о таком инструменте, как фреймворк MediaPipe от Google. На основе готовых моделей он позволяет разработчикам внедрять сложные функции компьютерного зрения и обработки мультимедиа в веб-приложениях — распознавать лица, анализировать изображения, отслеживать движение, обрабатывать видео в реальном времени и многое другое. Мы разберём работу фреймворка на примере, погрузимся в векторную математику в трёхмерном пространстве и сложности распознавания ключевых точек лица.

В прошлой статье я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают. Именно поэтому команда Garak дает пользователям возможность самостоятельного расширения функционала своего инструмента.

Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI Security в Raft. В этой статье я расскажу, как, изучив документацию Garak, можно легко добавить свои тесты и тем самым значительно повысить его полезность для ваших задач.

Привет! Меня зовут Оля, я директор по разработке моделей в Департаменте анализа данных и моделирования. Рада приветствовать всех тех, кто отважился заглянуть под капот розничного взыскания. Будет интересно, обещаю!

На шкале стресса Рея и Холмса увольнение занимает восьмое место среди 43 наиболее стрессовых событий жизненного пути. Это тревожное событие как для сотрудника, так и для руководителя: мир IT тесен, и нужно понимать, что в какой-то момент вы можете встретиться снова, чтобы вместе работать. Так как поступить правильно и где всё-таки поставить запятую в «Уволить нельзя оставить»?

В целом развитие науки о данных у нас в стране идёт в рамках общемировых трендов. Конечно, здесь можно найти свою специфику. Например, мы живём в условиях некоторого дефицита вычислительных мощностей. Пока поставки в Россию и Китай наиболее продвинутых GPU запрещены. Поэтому для строительства мощных тензорных кластеров нужна особая внешнеэкономическая магия. С другой стороны, у нас в «активе» советская математическая школа, развитая ИТ-индустрия и современная экосистема с информационно-технологической инфраструктурой. А это подразумевает развитую культуру ИТ-разработки, наличие профильных кадров, больших и хорошо структурированных массивов данных.

Всем привет! Меня зовут Дима. Я работаю в Поиске Okko и в этой статье хочу рассказать, насколько картиночные модели полезны для задачи Поиска и для чего мы используем их в наших пайплайнах.

Данный материал может быть полезен тем, кто только начинает разрабатывать аналогичные системы, и, возможно, сомневается в полезности кроссмодальных факторов в текстовом поиске.