SAP DS (службы данных) в HANA

Что такое службы данных SAP?

Службы данных SAP - это инструмент ETL, который предоставляет единое решение уровня предприятия для интеграции данных, преобразования, качества данных, профилирования данных и обработки текстовых данных из гетерогенного источника в целевую базу данных или хранилище данных.

Мы можем создавать приложения (задания), в которых отображение и преобразование данных может выполняться с помощью конструктора. (Последняя версия SAP BODS - 4.2).

Особенности служб данных

Он обеспечивает высокопроизводительные параллельные преобразования.
Он имеет комплексные административные инструменты и инструмент отчетности.
Он поддерживает нескольких пользователей.
SAP BODS очень гибок с приложениями на основе веб-сервисов.
Это позволяет использовать язык сценариев с богатым набором функций.
Data Services можно интегрировать с SAP LT Replication Server (SLT), с
Триггерная технология. SLT добавляет дельта-возможности к каждой исходной таблице SAP или не-SAP

Это позволяет использовать сбор данных для изменения и передачу дельта-данных

Исходная таблица.
Проверка данных с помощью информационных панелей и аудита процессов.
Инструмент администрирования с возможностями планирования и мониторинга / панелей мониторинга.
Отладка и встроенное профилирование и просмотр данных.
SAP BODS поддерживает широкий источник и цель.
- Любые приложения (например, SAP).
- Любые базы данных с массовой загрузкой и сбором данных об изменениях
- Файлы: фиксированной ширины, с разделителями-запятыми, COBOL, XML, Excel.

Компонент службы данных

Сервисы SAP DATA имеют компонент ниже -

Дизайнер - это инструмент разработки, с помощью которого мы можем создавать, тестировать и выполнять задание, заполняющее хранилище данных.
Это позволяет разработчику создавать объекты и настраивать их, выбирая значок на диаграмме потока от источника к цели.

Его можно использовать для создания приложения, указав рабочие процессы и потоки данных.

Чтобы открыть конструктор служб данных, выберите «Пуск» -> «Все программы» -> «Службы данных SAP» (здесь 4.2) -> «Конструктор служб данных».

Сервер заданий - это приложение, которое запускает механизм обработки сервисов данных и служит интерфейсом для механизма и Data Services Suite.
Движок двигатель Service Data выполняет отдельные задания , которые определены в приложении.
Репозиторий. Репозиторий - это база данных, в которой хранятся объекты, предопределенные дизайнером, и объекты, определенные пользователем (исходные и целевые метаданные, правила преобразования).
Репозитории бывают двух типов -

Локальный репозиторий (используется дизайнером и сервером заданий).
Центральный репозиторий (используется для совместного использования объектов и контроля версий)

Сервер доступа. Сервер доступа передает сообщения между веб-приложениями, сервером заданий служб данных и механизмами.
Администратор - веб-администратор обеспечивает администрирование ресурсов служб данных на основе браузера, как показано ниже:

Настройка, запуск и остановка сервисов реального времени.
Планирование, мониторинг и выполнение пакетных заданий.
Настройка использования сервера заданий, сервера доступа и репозитория.
Управление пользователями.
Публикация пакетных заданий и сервисов в реальном времени через веб-сервисы
Настройка и управление адаптерами.

Архитектура служб данных -

Архитектура служб данных имеет следующий компонент:

Центральный репозиторий - используется для конфигурации репозиториев на серверах заданий, управления безопасностью, контроля версий и совместного использования объектов.
Дизайнер - используется для создания проекта, задания, рабочего процесса, потока данных и запуска.
Локальный репозиторий (здесь вы можете создавать изменения и запускать задания, рабочий процесс, поток данных).
Сервер заданий и движок - он управляет заданиями.
Сервер доступа - он используется для выполнения заданий в реальном времени, созданных разработчиками в репозиториях.

На изображении ниже показаны службы данных и их взаимосвязь между компонентами.

Архитектура SAP BODS

Детали окна конструктора: сначала мы рассмотрим первый компонент службы данных SAP - конструктор.

Подробная информация о каждом разделе дизайнера службы данных приведена ниже:

Панель инструментов (используется для открытия, сохранения, возврата, проверки, выполнения и т. Д.).
Область проекта (Содержит текущий проект, который включает задание, рабочий процесс и поток данных. В службах данных все сущности являются объектами.
Рабочая область (область окна приложения, в которой мы определяем, отображаем и изменяем объекты).
Локальная библиотека объектов (содержит объекты локального репозитория, такие как преобразования, задание, рабочий процесс, поток данных и т. Д.).
Палитра инструментов (кнопки на палитре инструментов позволяют добавлять новые объекты в рабочую область).

Иерархия объектов

На приведенной ниже диаграмме показаны иерархические отношения для ключевых типов объектов в службах данных.

Примечание:

Рабочие процессы и Условные * не являются обязательными

Объекты, используемые в службах данных SAP, приведены ниже:

Объекты	Описание
Проект	Проект - это объект самого высокого уровня в окне конструктора. Проекты предоставляют вам способ организовать другие объекты, которые вы создаете в службах данных. В каждый момент времени открыт только один проект (где «открытый» означает «видимый в области проекта»).
Работа	«Работа» - это наименьшая единица работы, которую вы можете запланировать самостоятельно.
Скрипты	Подмножество строк в процедуре.
Рабочий процесс	«Рабочий процесс» - это объединение нескольких потоков данных в согласованный рабочий процесс для всего задания. Рабочий процесс не является обязательным. Рабочий процесс - это процедура. Потоки данных о вызовах Вызов другого рабочего потока Определите порядок шагов, которые должны быть выполнены в вашей работе Передавать параметры в потоки данных и из них. Укажите, как обрабатывать ошибки, возникающие во время выполнения. Определите условия выполнения разделов проекта.
Поток данных	«Поток данных» - это процесс преобразования исходных данных в целевые. Поток данных - это многократно используемый объект. Он всегда вызывается из рабочего процесса или задания. Определите исходные данные, которые вы хотите прочитать. Определите преобразования, которые вы хотите выполнить с данными. Определите целевую таблицу, в которую вы хотите загрузить данные.
Хранилище данных	Логический канал, соединяющий службы данных с исходной базой данных и целевой базой данных хранилища данных. Необходимо указать для каждой исходной и целевой базы данных. Используются для импорта метаданных исходной и целевой баз данных в репозиторий. Используются службами данных для чтения данных из исходных таблиц и загрузки данных в целевые таблицы.
Цель	Таблица или файл, в который службы данных загружают данные из источника.

Пример служб данных при загрузке данных из исходной таблицы SAP

Все в службах данных - это объект. Нам нужно разделить хранилище данных для каждой исходной и целевой базы данных.

Шаги для загрузки данных из исходной таблицы SAP - SAP BODS имеет много шагов, на которых нам нужно создать хранилище данных для источника и цели и сопоставить их.

Создание хранилища данных между источником и BODS
Импортируйте метаданные (структуры) в BODS.
Настроить сервер импорта
Импортируйте метаданные в систему HANA.
Создайте хранилище данных между BODS и HANA.
Создать проект.
Создать задание (пакетное / в реальном времени)
Создать рабочий процесс
Создать поток данных
Добавить объект в поток данных
Выполнить задание
Проверьте предварительный просмотр данных в HANA

Шаг 1) Создайте хранилище данных между источником SAP и BODS

Чтобы загрузить данные из источника SAP в SAP HANA через SAP BODS, нам понадобится хранилище данных. Итак, сначала мы создаем хранилище данных, как показано ниже -
Проект -> Новый -> Хранилище данных
Появится всплывающее окно для создания нового хранилища данных, введите детали, как показано ниже -
1. Введите имя хранилища данных "ds_ecc".
2. Выберите имя типа хранилища данных как «Приложения SAP».
3. Введите имя сервера базы данных
4. Имя пользователя и пароль.
5. Нажмите кнопку «Применить».
6. Щелкните по кнопке «ОК».
Хранилище данных будет создано и просмотреть созданное хранилище данных, как показано ниже:

Перейти в локальную библиотеку объектов
Выберите вкладку DataStore.
Будет отображено хранилище данных "ds_ecc".

Шаг 2) Импортируйте метаданные (структуру) на сервер BODS.

Мы создали хранилище данных для ECC to BODS; теперь мы импортируем метаданные из ECC в BODS. Чтобы импортировать, выполните следующие действия:

Выберите Datastore "ds_ecc" и щелкните правой кнопкой мыши.
Выберите опцию «Импортировать по имени».

Появится всплывающее окно для импорта по имени. Введите детали, как показано ниже -
1. Выберите Тип как таблицу.
2. Введите имя таблицы, которую мы хотим импортировать. Здесь мы импортируем таблицу KNA1.
3. Нажмите кнопку «Импорт». Таблица KNA1 появится под узлом таблицы источника данных "ds_ecc".

Метаданные таблицы будут импортированы в хранилище данных ds_ecc, как показано ниже -

Шаг 3) Настройте сервер импорта

До сих пор мы импортировали таблицу с данными, хранящимися "ds_ecc", созданную для подключения ECC к SAP BODS. Чтобы импортировать данные в SAP HANA, нам необходимо настроить сервер импорта,

Для этого перейдите в Быстрый просмотр-> Настроить сервер импорта, как показано ниже -
Появится всплывающее окно для выбора системы, выберите систему SAP HANA (здесь HDB), как показано ниже.

Щелкните по кнопке «Далее». Появится еще одно всплывающее окно для учетных данных службы данных, введите следующие данные

Адрес сервера SAP BODS (здесь BODS: 6400)
Введите имя репозитория SAP BODS (имя репозитория HANAUSER)
Введите источник данных ODBC (ZTDS_DS).
Введите порт по умолчанию для сервера SAP BODS (8080).

Щелкните по кнопке «Готово».

Шаг 4) Импортируйте метаданные в систему HANA.

1. До сих пор у нас есть настроенный сервер импорта, теперь мы будем импортировать метаданные с сервера SAP BODS.

Нажмите кнопку «Импорт» в быстром просмотре.
Появится всплывающее окно для опции импорта. Выберите вариант «Выборочный импорт метаданных».

Нажмите кнопку «Далее».

2. Появится всплывающее окно «Выборочный импорт метаданных», в котором мы выбираем целевую систему.

Выберите систему SAP HANA (здесь HDB).

Нажмите кнопку «Далее».

Шаг 5) Создайте хранилище данных между BODS и HANA

Как мы знаем, в BODS нам нужно создать отдельное хранилище данных для источника и цели. Мы уже создали хранилище данных для источника, теперь нам нужно создать хранилище данных для цели (между BODS и HANA). Итак, мы создаем новое хранилище данных с именем «DS_BODS_HANA».

Перейдите в Project -> New -> Datastore.

Появится экран для создания нового хранилища данных, как показано ниже.
1. Введите имя хранилища данных (DS_BODS_HANA).
2. Введите тип хранилища данных в качестве базы данных.
3. Введите тип базы данных как SAP HANA.
4. Выберите версию базы данных.
5. Введите имя сервера базы данных SAP HANA.
6. Введите имя порта для базы данных SAP HANA.
7. Введите имя пользователя и пароль.
8. Установите флажок «Включить автоматическую передачу данных».

Нажмите «Применить», а затем кнопку «ОК».

Хранилище данных "DS_BODS_HANA" будет отображаться на вкладке хранилища данных локальной библиотеки объектов как

Ниже-

Теперь импортируем таблицу в хранилище данных «DS_BODS_HANA».
1. Выберите хранилище данных «DS_BODS_HANA» и щелкните правой кнопкой мыши.
2. Выберите «Импортировать по имени».

Появится всплывающее окно для импорта по имени, как показано ниже:
1. Выберите Тип как таблица.
2. Введите имя как KNA1.
3. Владелец будет отображаться как Hanauser.
4. Нажмите кнопку «Импорт».

Таблица будет импортирована в хранилище данных "DS_BOD_HANA", чтобы просмотреть данные в таблице, выполните следующие действия:

Щелкните таблицу «KNA1» в хранилище данных «DS_BODS_HANA».
Данные будут отображаться в ТАБЛИЧНОМ формате.

Шаг 6) Определите проект: группа проектов и организуйте связанные объекты. Проект может содержать любое количество заданий, рабочих процессов и потоков данных.

Перейдите в меню Designer Project.
Выберите новый вариант.
Выберите вариант "Проект".

Появится всплывающее окно для создания нового проекта, как показано ниже. Введите имя проекта и нажмите кнопку «Создать». Это создаст папку проекта в нашем случае BODS_DHK.

Шаг 7) Определите задание: задание - это объект многократного использования. Он содержит рабочие процессы и поток данных. Задания можно выполнять вручную или по расписанию. Чтобы выполнить процесс BODS, нам нужно определить задание.

Создаем Job как JOB_Customer.

Выберите проект (BODS_DHK), созданный на шаге 1, щелкните правой кнопкой мыши и выберите «Новое пакетное задание».
Переименуйте его в «JOB_Customer».

Шаг 8) Определите рабочий процесс:

Выберите задание "JOB_Customer" в области проекта,
Нажмите кнопку рабочего процесса на палитре инструментов. Щелкните область Black Workspace. В рабочей области появится значок рабочего процесса.
Измените имя рабочего процесса на «WF_Customer».

Щелкните имя рабочего процесса, в рабочей области появится пустое представление рабочего процесса.

Шаг 9) Определите поток данных:

Щелкните Рабочий процесс «WF_Customer».
Нажмите кнопку «Поток данных» на палитре инструментов. Щелкните область Black Workspace. В рабочей области появится значок потока данных.
Измените имя потока данных на «DF_Customer».
Поток данных также отображается в области проекта слева под названием задания.

Шаг 10) Добавить объект в поток данных:

Внутри потока данных мы можем предоставить инструкцию для преобразования исходных данных в желаемую форму для целевой таблицы.

Мы увидим ниже объект -

Объект для источника.
Объект для целевой таблицы.
Объект для преобразования запроса. (Преобразование запроса сопоставляет столбцы от источника к целевому.)
Щелкните поток данных DF_Customer. Появится пустое рабочее пространство, как показано ниже -

Укажите объект из источника - перейдите в хранилище данных «ds_ecc», выберите таблицу KNA1 и перетащите на пустой экран потока данных, как показано ниже.
Укажите объект для цели - выберите хранилище данных «DS_BODS_HANA» из репозитория и выберите таблицу KNA1.
Перетащите мышью в рабочую область и выберите опцию «Сделать цель». Будет две таблицы для источника и цели. Здесь мы определим таблицу как источник и цель.

Преобразование запроса - это инструмент, используемый для извлечения данных на основе схемы ввода для определенных пользователем условий и для передачи данных от источника к цели.
1. Выберите значок преобразования запроса в палитре инструментов и перетащите его между исходным и целевым объектом в рабочей области, как показано ниже -
2. Свяжите объект запроса с источником.
3. Свяжите объект запроса с целевой таблицей.
1. Дважды щелкните значок запроса. Таким образом мы сопоставляем столбец из входной схемы в выходную схему.

Когда мы нажимаем на значок запроса, появляется следующее окно для сопоставления, в котором мы выполняем следующие шаги:

Выбрана исходная таблица KNA1.
Выберите все столбцы в исходной таблице, щелкните правой кнопкой мыши и выберите карту для вывода.
Целевой выход выбран как запрос, и столбец будет сопоставлен.

5. Сохраните и подтвердите проект.

1. Щелкните значок подтверждения.

2. Появится всплывающее окно об успешной проверке.

Шаг 11) Выполнить задание - Чтобы выполнить задание, следуйте приведенному ниже пути:

Щелкните значок области проекта, чтобы открыть проект, и выберите созданный проект.
Выберите Job и щелкните правой кнопкой мыши.
Выберите вариант «Выполнить», чтобы выполнить задание.
1. После выполнения задания отображается окно журнала заданий, в котором будут отображаться все сообщения, относящиеся к заданию.
2. Последним сообщением будет «Работа <> успешно завершена».
Шаг 12) - Подтвердите / проверьте данные в базе данных SAP HANA.
1. Войдите в базу данных SAP HANA через SAP HANA Studio и выберите схему HANAUSER.
2. Выберите таблицу KNA1 в узле Таблица.
3. Щелкните правой кнопкой мыши таблицу KNA1 и выберите "Предварительный просмотр открытых данных".
4. Таблица (KNA1) Данные, загруженные процессами BODS, как указано выше, будут отображаться на экране предварительного просмотра данных.