Студенческий проект: что удалось сделать за три месяца работы с SAP HANA

Николай Грушин, руководитель студенческого проекта Виртуальной лаборатории ROI, делится своими впечатлениями.

Наша компания  (Return on Intelligence, ROI) уже много лет работает со студентами, в том числе проводя летние практики и помогая реализовать первые в их жизни ИТ-проекты. В этом году совместно с  кафедрой вычислительной техники факультета КТИ Санкт-Петербургского Государственного Электротехнического Университета (ЛЭТИ) мы запустили Виртуальную лабораторию — новое направление нашей университетской программы.
В рамках лаборатории  магистры  1-го года обучения реализуют проекты по разработке  в 4-х областях:

  • Java
  • .Net
  • Мобильные приложения
  • Математические методы прогнозного анализа (Big Data).

ROI обеспечивает программное обеспечение для разработки и выделяет инженеров-наставников для успешной работы студентов. Лаборатория работает непрерывно, обеспечивая конвейер  проектов, имитирующих ИТ-стартапы. В феврале 2015 года стартовали первые проекты в рамках Виртуальной лаборатории, а уже 14 мая прошла защита студенческих проектов.

Я руководил одной группой, которая работала над темой: Нахождение основных внешних и внутренних факторов, влияющих на количество проектов в организации методами математической статистики на основе исторических данных.
Используемые технологии: SAP HANA + R.  

SAPHana

Была поставлена типовая задача проекта, не предполагающая научной новизны. Основными целями работы было научить будущих инженеров работать в команде, включая все этапы специфичные для методологии Agile, и ознакомить их с технологиями SAP и возможностями языка статистического программирования R.

Целью проекта было найти внешние и внутренние факторы, максимально влияющие на количество проектов в компании. Для анализа были взяты данные из внутренних и внешних систем компании. Сами данные cодержали факты как явно влияющие на количество проектов (например, количество предварительных договоренностей с клиентами и контрактов на стадии согласования), так и явно не влияющие (например, температурные колебания в регионе).
Архитектурой были выбраны средства, которые используются в реальных продуктовых средах для такого рода задач: SAP HANA и R. Ребятам было необходимо не только разобраться с тем, как работают эти системы, научиться работать с внутренним языком и методологиями работы, но и суметь настроить их для совместной работы.
Именно настройка систем вызвала наибольшие затруднения у студентов. Вот что написал один из участников проекта, Дмитрий: «Ужасные танцы с бубном вокруг SAP HANA. Все по-настоящему, не на учебный проект». Основные сложности были в настройке среды разработки, которая в то же время является и системой управления сервисом. Для студентов, знакомых только со «стандартными» «компиляторными» студиями разработки ПО, такими как Visual Studio, Eclipse, работа и настройка среды в Hana Studio (которая тоже работает на базе Eclipse) вызвала ряд  затруднений. Основные сложности возникли  в переключении между перспективами для разных задач, настройке и разграничении прав доступа (некоторые задачи можно решить, только используя пользователей со специальными правами).

Документация по HANA. В этом пункте у нас были как «плюсы», так и «минусы». Документация очень подробная и полностью обновляется к каждой новой версии HANA, и это замечательно! Но изучать ее надо целиком, что, учитывая объем информации, требует очень много времени. И чтобы найти ответ на конкретный специализированный вопрос, приходится пролистывать весь документ. Было бы здорово иметь еще комплект сжатых подсказок по разделам. По итогам работы с инструментами разработки студенты создали документ «Руководство по развертыванию HANA и R», призванный помочь другим студенческим командам на старте проектов с аналогичным инструментарием.
Динамичность развития HANA оставила двоякое впечатление. Радует, что продукт постоянно развивается, в нем быстро исправляются ошибки, неизбежные при разработке. Но базовая инструкция к продукту не всегда успевает за сменой версий. В процессе работы наша студенческая команда столкнулась с рядом проблем:

  • совместимость R-сервера с программно-аппаратным окружением. Не все версии продукта корректно работали с сервером;
  • необходимость ручного переноса данных из исходных источников в HANA из-за нестабильной работы внутреннего инструмента для загрузки данных. Мы пользовались учебной версией с ограниченным уровнем доступа, из-за этого приходилось использовать ряд дополнительных сервисов, что немного снизило итоговую скорость обработки данных, являющуюся конкурентным преимуществом HANA.

За три месяца, отведенные на проект, ребята решили начальную задачу только частично. Одна из основных причин: недооценка сложности и временных затрат.

Тем не менее, мы планируем завершить проект и использовать его результаты в качестве одной из составных частей комплексного фреймворка для решения типовых бизнес-задач заказчиков.

Подводя итоги, я готов сформулировать свои впечатления от работы студентов / junior-специалистов с SAP HANA:

  • SAP HANA является подходящей средой для реализации проекта начинающими специалистами с базой технического вуза.
  • Для успешной реализации такого проекта необходимо курирование младших инженеров опытным специалистом на протяжении всего проекта где самыми эффективными оказываются очные встречи, скорость решения проблем возрастает в разы.
  • HANA имеет подробную техническую документацию, достаточное количество видеоуроков, оперативно выделяет ресурсы для работы студентов.
  • Следует учитывать большие объемы информации, необходимые для освоения работы с HANA и закладывать значительное время на обучение работе с продуктом.

И в качестве заключительного аккорда я хотел бы отметить вовлекаемость и возрастающий интерес по мере освоения технологий цитатой из отзыва Дмитрия (одного из студентов, работавших в группе): «Одно из болезненных ощущений после проекта связано с тем, что не все удалось применить, не во всех метриках и прочем инструментарии удалось разобраться, и еще научился думать обо всех задачах как о проектах с путями решений. Очень хочется научиться. По общему мнению моих друзей из других команд этого курса — это самый удачный курс в году, один из самых удачных во всем нашем обучении вообще, и нам очень нужны такие курсы еще и еще. Лучшая форма обучения — все хорошие студенты, особенно много работающие, согласны с этим!»

Николай Грушин, BI/DB Technical Lead, Return On Intelligence

Построение системы отчетности на базе SAP HANA

Введение

В статье показан опыт использования платформы SAP HANA для оптимизации системы создания отчетности крупной строительной компании. Проект реализован специалистами Return on Intelligence (ROI) — бизнес-партнера SAP. ROI – международная компания по оказанию услуг в области высоких технологий. Мы предоставляем консалтинг по технологическим решениям, системную интеграцию и коммерческую разработку программных решений. Наши решения предоставляют максимальный рост, конкурентные преимущества, увеличение прибыли и снижение сложности бизнес-процессов.

За 15 лет нашими клиентами стали более 200 международных компаний, работающих в сфере страхования, финансовых услуг, здравоохранения, телекоммуникаций и государственном секторе.

Компания объединяет более 800 профессионалов, работающих в центрах разработки в Санкт-Петербурге, Нижнем Новгороде, Риге и Днепропетровске. Штаб квартира Return on Intelligence расположена в США.

Return on Intelligence работает в сотрудничестве с SAP, что подтверждено наличием статусов SAP PartnerEdge Partner, VAR-реселлер и Consulting Services Partner. Как член партнерской программы SAP PartnerEdge  (моделирование, разработка, продажа, внедрение, обслуживание и поддержка решений SAP) компания Return on Intelligence, Inc. (ROI) участвует в разработке решений, позволяющих клиентам приобретать и удерживать значительное конкурентное преимущество в своей отрасли. Использование лучших практик, отраслевых моделей, методов, инструментов, технологий и фреймворков дает возможность клиентам ROI переосмыслить и улучшить свой способ ведения бизнеса.

Ориентация SAP на технологии, отрасли и регионы полностью согласуется с нашими навыками, приоритетами и сильными сторонами.

  • Мы являемся глобальным партнером по внедрению страховых решений SAP Camilion, SAP Claims и FS-CD
  • Наша компания является глобальным экспертом в области страхования
  • Мы являемся специалистами, поддерживающими консультативную аналитику в страховании (BOBJ и HANA)
  • У нас есть высококвалифицированные разработчики программного обеспечения, поставляющие услуги по разработке продукта непосредственно для SAP

1. Платформа SAP HANA: техническая информация – краткий обзор

SAP HANA является современной in-memory платформой для работы аналитических и транзакционных приложений в реальном времени. SAP HANA позволяет организациям анализировать бизнес-операции, использующие большой объем разнообразных детализированных данных. Первые внедрения приложений SAP на базе SAP HANA показали, что время реакции системы при работе бизнес-пользователей составляет доли секунды, что открывает новые возможности для бизнеса.

SAP HANA полностью использует все преимущества самых современных аппаратных технологий, сочетая хранение данных по столбцам, массово-параллельную обработку (MPP) и вычисления  по технологии “in memory”  благодаря оптимизированной структуре программного обеспечения.

Программный комплекс SAP HANA представляет собой гибкий, многоцелевой и независимый от источника данных программный комплекс на базе технологии “In-memory”, который объединяет программные компоненты SAP, оптимизированные для аппаратных средств ведущих мировых вендоров – партнеров SAP – Cisco, Dell, IBM, HP,Fujitsu и Hitachi Data Systems.

Благодаря сочетанию технологий оперативного анализа данных и оперативной обработки транзакций в единой СУБД SAP HANA позволяет создать целостную инфраструктуру для обработки корпоративных данных, получаемых из транзакционных систем, систем бизнес-анализа, поддержки принятия решений и планирования. Аналитические приложения реального времени и оперативные приложения реального времени, включая планирование, могут выполняться совместно с другими операциями.

2. Бизнес – проблема

Заказчик решения — крупная строительная компания с чистым доходом более $70 млн в год. Компания существует на рынке более 100 лет и предоставляет услуги в разных секторах экономики. Основные направления работы: инфраструктурные работы, энергетика и добывающая отрасль. За свою многолетнюю историю компания построила большую сеть клиентов и поставщиков. Как следствие активной деятельности, внутри компании появилось большое количество разнородных информационных систем, которые перестали выполнять свою основную задачу — ускорять и упрощать работу сотрудников компании. В ходе реструктуризации IT инфраструктуры было принято решение создать централизованную отчетную систему. На момент интеграции у заказчика уже имелись другие продукты SAP: ERP, CRM, SRM, BW и вполне логично, что при выборе решения выбор остановился на технологическом стеке SAP продуктов.
Существующая инфраструктура оказалась сложной и характеризовалась следующим:
1. отсутствие мастер данных
2. 4 отдельные системы отчетности без единой точки входа
3. более 600 различных отчетов, с перекрывающимися областями и неконсистентными данными
4. низкая производительность
5. нарастающая сложность и стоимость поддержки

3. Технологии и архитектура

Основные бизнес процессы и система отчетности, в общем, единообразны в большинстве компаний, в частности, если в качестве системы управления процессами и взаимодействия с партнёрами используется решение от SAP.

Для решения задач хранения, переноса, подготовки и представления данных были выбраны следующие продукты:
1) SAP HANA
2) SAP Business Object (BObj) Data Services как средство ETL и инструмент контроля качества данных
3) SAP BObj Rapid Marts в качестве слоя метаданных для стандартных отчетов
4) SAP BObj BI 4.1 как основной инструмент визуализации.

Untitled-1

Первостепенной задачей было построение основного хранилища данных (Data Warehouse) в котором должны храниться мастер данные организации качества, целостности данных и реконселяция — проверка правильности/консистентности переноса. Стоит отметить, что SAP HANA использовалась для создания хранилища мастер данных только для информации, которая разным причинам не хранится в ERP и BW, например данные получаемые из систем компаний партнёров, которые не имеют прямого отношения к операционной деятельности организации, но интересны с точки зрения аналитики.. Таким образом, все необходимые данные можно было получить из двух источников: SAP HANA и SAP BW (SAP BW бы настороен на использование SAP HANA в качестве внутреннего хранилища).
Все данные были перенесены, консолидированы и проверены, время создавать модели метаданных понятные и удобные для применения специалистам бизнеса.
Отражением бизнес модели, говорящей с пользователями бизнес языком, являются юниверсы. Для ускорения интеграции большая часть юниверсов для системы отчетности поставлялась через SAP Rapid Marts. Rapid Marts автоматически генерирует юниверсы для стандартных процессов и отчетов, на основе конфигураций и данных SAP систем. Для данных, которые выгружались в HANA из 3-х систем, юниверсы строились вручную через SAP BObj Information Design Tool. IDT это специальный инструмент от SAP, который позволяет в удобном графическом интерфейсе создать необходимые связи между данными необходимыми для отчетности, а так же выделить и переобозначить в понятные выражения поля таблиц хранилища.

Понятно, что стандартные юниверсы Rapid Marts не могли покрыть всех нужд и были прилично дополнены командой разработки. Были внесены специфичные для компании факты и измерения.

4. Результаты и преимущества

После 8 месяцев разработки появились результаты в виде оптимизированных процессов, консистентного хранилища данных, а так же средств для принятия решений в виде красивых графиков, интерактивных отчетов и информационных панелей. В качестве систем визуализации были выбраны BObj BI Web Intelligence и Dashboard Designer с возможностями создания интерактивных отчетов и дашбордов различной сложности и имеющими все необходимые инструменты, такие как детализация, консолидация, создание параметризированных срезов.
В итоге было построено около 400 отчетных форм в различных представлениях с возможностью доступа через корпоративный портал, систему отчетности с дополнительными преимуществами самостоятельной параметризации, а также появился новый способ доступа к отчетной системе через мобильные устройства.

Мое впечатление от подхода и использования компонентов в ходе реализации в большей степени положительно.

1. HANA отлично интегрируется со всеми используемыми компонентами SAP
2. Отсутствие дополнительного ETL процесса для построения многомерной модели. В HANA он был реализован логически и выполнялся практически мгновенно благодаря её архитектуре, что сводило латентность данных к нулю. А так же не создавало новых данных.
3. На платформе HANA были построены аналитические модели (Analytical views), которые позволяли использовать данные в системе отчетности напрямую, почти без изменения модели метаданных.
4. Все необходимые для отчетности данные доступны в SAP BObj и легко связываются.
5. «Тяжелые» расчеты были перенесены из BI платформы на SAP HANA, которая выполняет такие расчеты в несколько раз быстрее.
6. Фильтрация является одной из основных операций при построении отчетов, на SAP HANA работает намного быстрее, ввиду колоночного хранения данных.

Следует отметить определенные сложности, с которыми мы столкнулись на этапе подготовки данных и разворачивания инфраструктуры, такие как согласование гранулярности различных источников, отсуствие некоторого специфичного фунционала в системе отчетности, который присутствовал в старых системах, организация процесса тестирования. Однако эти сложности не повлияли на конечный результат и общую удовлетворенность заказчика.

Подводя краткий итог, я считаю, что для бизнеса, который задумывается над производительностью своих отчетных систем, современной с точки зрения дизайна, быстрой и удобной системой отчетности, стоит присмотреться к преимуществам, которые предоставляет HANA в сочетании с инструментами визуализации.

Дополнительную информацию по использованным технологиях и программах можно найти на следующих ресурсах:

SAP Partner Portal

SAP HANA portal

SAP BusinessObjects

SAP BW

SAP Data Sevices

SAP Developer Center

Николай Грушин, BI/DB Technical Lead, Return On Intelligence