Сегодня суббота, 21.09.2019, 05:44, ньюсмейкеров: 40903, сайтов: 1092, публикаций: 3163515

09.09.2019 15:39. Новости. Просмотров всего: 290; сегодня: 3.

«Инфосистемы Джет» построила Data Lake для НЛМК

«Инфосистемы Джет» построила Data Lake для НЛМК

Эксперты «Инфосистемы Джет» разработали для мирового лидера сталелитейной промышленности систему анализа данных и моделирования (САДиМ), которая отвечает за доступность и качество данных, а также предоставляет инструментарий для вычислений и анализа. Внедренная система уже сейчас позволяет группе НЛМК эффективнее вести разработку цифровых сервисов и моделей машинного обучения для оптимизации производственных процессов.

В цехах и на агрегатах предприятия эксплуатируются десятки систем, которые накапливают и обрабатывают информацию о производственных и технологических процессах. Кроме того, в помещениях установлены десятки тысяч датчиков, которые непрерывно собирают и передают данные. Подразделению Data Science НЛМК требовался удобный инструмент для работы с получаемыми данными под разрабатываемые модели машинного обучения (ML).

Для решения задачи Центр программных решений ИТ-компании «Инфосистемы Джет» совместно с командой НЛМК создали Data Lake емкостью 300 терабайт на базе отечественного дистрибутива распределенной платформы хранения Hadoop. Для решения задач сбора, передачи, трансформации и накопления данных были использованы такие сервисы, как Apache Kafka, Apache NiFi, Apache Hive.

В рамках проекта специалисты запустили регулярную загрузку данных в Data Lake из более чем 70 источников (датчиков, а также MES и АСУ ТП), загрузили исторические данные за последние несколько лет работы предприятия и разработали карты данных технологических и производственных процессов отдельных цехов.

В рамках проекта команда «Инфосистемы Джет» разработала для НЛМК модель унифицированной витрины данных, а также процессы загрузки в неё, реализовала управление мета-данными средствами Apache Atlas (тэгирование, поиск и т. д.), настроила централизованную ролевую модель и её интеграцию с Active Directory. Это дало возможность дата-сайнтистам НЛМК оперативнее получать в Data Lake доступ к нужным им данным.

Для контроля работы Data Lake был также настроен комплексный мониторинг состояния сервисов системы в Zabbix, а также разработаны автотесты для контроля целостности и полноты данных. Для особо важных и уязвимых данных была создана возможность резервного копирования: то есть, в случае непреднамеренного уничтожения данных пользователем их можно будет восстановить.

«Создание озера данных, которое действительно приносит экономическую пользу заказчику – это непростая задача как с технической, так и с организационной точки зрения. И тут дело не только в железе, интеграции и программировании. Очень важна готовность производства собирать и передавать качественные данные, а потом использовать результаты анализа этих данных для принятия производственных решений. В сотрудничестве с коллегами из НЛМК, которые со стороны всех подразделений проявили высокий профессионализм и заинтересованность, нам удалось оперативно создать решение, сделавшее производство действительно цифровым», — подчеркивает Владимир Молодых, директор по разработке и внедрению программного обеспечения «Инфосистемы Джет».

Тематические сайты: Автоматизация, Информтехнологии, связь, Интернет
Сайты субъектов РФ: Москва

Ньюсмейкер: Инфосистемы Джет — 149 публикаций
Поделиться:
Вы можете направить ньюсмейкеру обращение, комментарий, заявку:
Имя:
Электронная почта:
Телефон:
Код с картинки: 

 
Ваше мнение
Бывали ли вы в круизе?
 Да, в речном
 Да, в морском
 К сожалению, нет возможности
 Нет, но собираюсь
 Нет, и не собираюсь
Предложите опрос

Интересно:

Accenture: тренды кибербезопасности 2019
20.09.2019 20:29 Аналитика
Accenture: тренды кибербезопасности 2019
Компания Accenture провела исследование, в котором выявила основные угрозы информационной безопасности бизнеса в 2019 году. По оценке Accenture, рынок сервисов кибербезопасности растет темпами, аналогичными рынкам Digital и ИТ. Accenture прогнозирует, что к 2021 году объем мирового рынка ИБ...
В 2020 году Россия может стать местом проведения Всемирного дня туризма
20.09.2019 18:22 Мероприятия
В 2020 году Россия может стать местом проведения Всемирного дня туризма
Глава UNWTO полагает, что у России есть все шансы стать страной-организатором международного праздника, сообщает портал Турбизнес. «В этом году Всемирный день туризма пройдет 27 сентября в столице Индии Нью-Дели. В следующем году будет Парагвай, Аргентина, Бразилия и Уругвай. Еще через год...
Архангельская область превратится в столицу большого кино
20.09.2019 18:08 Мероприятия
Архангельская область превратится в столицу большого кино
В начале декабря 2019 года в Архангельской области пройдёт III Международный кинофестиваль стран Арктики «Arctic open». Поморье принимает кинофестиваль уже в третий раз. География показов расширяется – в 2019 году к площадкам в Архангельске, Северодвинске и Новодвинске присоединяются Североонежск и...
Археологи обнаружили в Азове мешок с древним зерном 14 века
20.09.2019 11:30 Новости
Археологи обнаружили в Азове мешок с древним зерном 14 века
В Азове нашли 700-летний мешок с зерном. Археологи местного музея-заповедника признались, что им было тяжело поверить в такую находку. Из-за того, что органические вещества сохраняются крайне плохо, находка стала настоящей сенсацией. Подобные находки для археологов — на вес золота. Объём найденного...
О выплатах правопреемникам
20.09.2019 0:48 Консультации
О выплатах правопреемникам
ОПФР по Тамбовской области сообщает, что в нашем регионе за 1 полугодие 2019 года сумма выплаченных средств правопреемникам ушедших из жизни застрахованных лиц, имевших средства, учтенные в специальной части индивидуального лицевого счета, составила 8,6 млн. рублей. Для получения выплаты...