Экстракт в сапе что это
Экстракт в сапе что это
Работа с экстрактами отчета
Вы уже сохранили отчеты в файлах дампа.
Если отчеты сохранены в экстрактах, доступ к данным отчета, хранящимся в экстракте, может быть осуществлен в любое время; при этом нет необходимости заново выбирать данные из базы данных.
Экстракты могут создаваться на экране выбора при выполнении группы отчетов с помощью функции Создание экстракта. Либо можно сохранить вывод отчета в виде экстракта при выходе из отчета. В этом случае система выдаст диалоговое окно с вопросом, нужно ли сохранить отчет в файле дампа.
При смене версии (например, Версии 3.0 на 3.1), все отчеты, которые были сохранены как экстракты, удаляются, поскольку все группы отчетов заново генерируются Report Writer. Экстракты не удаляются при обновлении уровня модификации системы R/3 (например, замене 3.0C на 3.0D).
При управлении экстрактами можно:
Появится экран Report Writer: УправленЭкстрактами.
– При необходимости введите описание экстракта.
– Выберите, будут ли просматриваться экстракты, созданные Вами или другим конкретным пользователем. Либо могут просматриваться все экстракты независимо от того, кем из пользователей они созданы.
– Задайте, когда были созданы экстракты, которые будут просматриваться (например, в течение какого конкретного периода времени). Либо могут просматриваться все экстракты независимо от времени их создания.
– Если необходимо просмотреть экстракты, созданные для конкретной группы отчетов либо диапазона групп отчетов, введите имя групп(ы) отчетов.
– При необходимости еще больше ограничить критерии выбора (например, относительно конкретного признака или группы признаков) введите эти критерии в рамке группы Дополнительные критерии выбора.
Система выведет на экран список экстрактов, удовлетворяющих введенным критериям выбора.
Более подробная информация о функциях просмотра списка содержится в документации Просмотр списка ABAP библиотеки R/3 (Контроллинг ® Учет затрат по МВЗ ® Информационная система учета затрат по МВЗ ).
Для этого выделите нужный экстракт в списке и выберите Просм. Система выведет данные отчета без повторного выбора записей данных из базы данных.
Для этого выделите экстракты, которые должны быть удалены, и выберите Удаление. Система удалит экстракты.
Для этого выделите экстракт(ы), который должен быть распечатан, и выберите Печать. Система выдаст диалоговое окно, в котором следует ввести необходимую информацию принтера (например, устройство вывода и информацию спула).
Для этого выделите экстракт(ы) и выберите Изменение срока хранения. Система выдаст диалоговое окно, в котором можно необходимым образом изменить информацию срока хранения:
а) Если требуется, чтобы через определенное время экстракт был удален, выберите Срок действия в днях и введите число дней, в течение которых данный экстракт будет действительным, либо выделите Действ. по и введите дату истечения срока для экстракта.
б) Если требуется, чтобы экстракт не был удален через конкретный период времени, выберите Срок действия неопределен. Данный индикатор должен быть установлен, когда необходимо сохранить экстракт в течение более долгого периода времени.
в) Для сохранения записей выберите Копирование.
Экстракция данных из SAP HCM в non-SAP хранилища данных
Как известно, компания SAP предлагает полный спектр программного обеспечения, как для ведения транзакционных данных, так и для обработки этих данных в системах анализа и отчетности. В частности платформа SAP Business Warehouse (SAP BW) представляет собой инструментарий для хранения и анализа данных, обладающий широкими техническими возможностями. При всех своих объективных преимуществах система SAP BW обладает одним значительным недостатком. Это высокая стоимость хранения и обработки данных, особенно заметная при использовании облачной SAP BW on Hana.
А что если в качестве хранилища начать использовать какой-нибудь non-SAP и желательно OpenSource продукт? Мы в Х5 Retail Group остановили свой выбор на GreenPlum. Это конечно решает вопрос стоимости, но при этом сразу появляются вопросы, которые при использовании SAP BW решались практически по умолчанию.
В частности, каким образом забирать данные из систем источников, которые в большинстве своем являются решениями SAP?
«HR-метрики» стал первым проектом, в котором необходимо было решить эту проблему. Нашей целью было создание хранилища HR-данных и построение аналитической отчетности по направлению работы с сотрудниками. При этом основным источником данных является транзакционная система SAP HCM, в которой ведутся все кадровые, организационные и зарплатные мероприятия.
Экстракция данных
В SAP BW для SAP-систем существуют стандартные экстракторы данных. Эти экстракторы могут автоматически собирать необходимые данные, отслеживать их целостность, определять дельты изменений. Вот, например, стандартный источник данных по атрибутам сотрудника 0EMPLOYEE_ATTR:
Результат экстракции данных из него по одному сотруднику:
При необходимости такой экстрактор может быть модифицирован под собственные требования или может быть создан свой собственный экстрактор.
Первой возникла идея о возможности их переиспользования. К сожалению, это оказалось неосуществимой задачей. Большая часть логики реализована на стороне SAP BW, и безболезненно отделить экстрактор на источнике от SAP BW не получилось.
Стало очевидно, что потребуется разработка собственного механизма извлечения данных из SAP систем.
Структура хранения данных в SAP HCM
Для понимания требований к такому механизму, первоначально нужно определить какие именно данные нам потребуются.
Большинство данных в SAP HCM хранится в плоских SQL таблицах. На основании этих данных приложения SAP визуализируют пользователю оргструктуры, сотрудников и прочую HR информацию. Например, вот так в SAP HCM выглядит оргструктура:
Физически такое дерево хранится в двух таблицах — в hrp1000 объекты и в hrp1001 связи между этими объектами.
Объекты «Департамент 1» и «Управление 1»:
Связь между объектами:
Как типов объектов, так и типов связи между ними может быть огромное количество. Существуют как стандартные связи между объектами, так и кастомизированные для собственных специфичных нужд. Например, стандартная связь B012 между оргединицей и штатной должностью указывает на руководителя подразделения.
Отображение руководителя в SAP:
Хранение в таблице БД:
Данные по сотрудникам хранятся в таблицах pa*. Например, данные о кадровых мероприятиях по сотруднику хранятся в таблице pa0000
Мы приняли решение, что GreenPlum будет забирать «сырые» данные, т.е. просто копировать их из SAP таблиц. И уже непосредственно в GreenPlum они будут обрабатываться и преобразовываться в физические объекты (например, Отдел или Сотрудник) и метрики (например, среднесписочная численность).
Было определено порядка 70 таблиц, данные из которых необходимо передавать в GreenPlum. После чего мы приступили к проработке способа передачи этих данных.
SAP предлагает достаточно большое количество механизмов интеграции. Но самый простой способ – прямой доступ к базе данных запрещен из-за лицензионных ограничений. Таким образом, все интеграционные потоки должны быть реализованы на уровне сервера приложений.
Следующей проблемой было отсутствие данных об удаленных записях в БД SAP. При удалении строки в БД, она удаляется физически. Т.е. формирование дельты изменений по времени изменения не представлялось возможным.
Конечно, в SAP HCM есть механизмы фиксация изменений данных. Например, для последующей передачи в системы получатели существуют указатели изменений(change pointer), которые фиксируют любые изменения и на основании которых формируются Idoc (объект для передачи во внешние системы).
Пример IDoc изменения инфотипа 0302 у сотрудника с табельным номером 1251445:
Или ведение логов изменений данных в таблице DBTABLOG.
Пример лога удаления записи с ключом QK53216375 из таблицы hrp1000:
Но эти механизмы доступны не для всех необходимых данных и их обработка на уровне сервера приложений может потреблять достаточно много ресурсов. Поэтому массовое включение логирования на все необходимые таблицы может привести к заметной деградации производительности системы.
Следующей серьезной проблемой были кластерные таблицы. Данные оценки времени и расчета зарплаты в RDBMS версии SAP HCM хранятся в виде набора логических таблиц по каждому сотруднику за каждый расчет. Эти логические таблицы в виде двоичных данных хранятся в таблице pcl2.
Кластер расчета заработной платы:
Данные из кластерных таблиц невозможно считать SQL командой, а требуется использование макрокоманд SAP HCM или специальных функциональных модулей. Соответственно, скорость считывания таких таблиц будет достаточно низка. С другой стороны, в таких кластерах хранятся данные, которые необходимы только раз в месяц – итоговый расчет заработной платы и оценка времени. Так что скорость в этом случае не столь критична.
Оценивая варианты с формированием дельты изменения данных, решили так же рассмотреть вариант с полной выгрузкой. Вариант каждый день передавать гигабайты неизменных данных между системами не может выглядеть красиво. Однако он имеет и ряд преимуществ – нет необходимости как реализации дельты на стороне источника, так и реализация встраивания этой дельты на стороне приемника. Соответственно, уменьшается стоимость и сроки реализации, и повышается надежность интеграции. При этом было определено, что практически все изменения в SAP HR происходят в горизонте трех месяцев до текущей даты. Таким образом, было принято решение остановиться на ежедневной полной выгрузке данных из SAP HR за N месяцев до текущей даты и на ежемесячной полной выгрузке. Параметр N зависит от конкретной таблицы
и колеблется от 1 до 15.
Для экстракции данных была предложена следующая схема:
Внешняя система формирует запрос и отправляет его в SAP HCM, там этот запрос проверяется на полноту данных и полномочия на доступ к таблицам. В случае успешной проверки, в SAP HCM отрабатывает программа, собирающая необходимые данные и передающая их в интеграционное решение Fuse. Fuse определяет необходимый топик в Kafka и передает данные туда. Далее данные из Kafka передаются в Stage Area GP.
Нас в данной цепочке интересует вопрос извлечения данных из SAP HCM. Остановимся на нем подробнее.
Схема взаимодействия SAP HCM-FUSE.
Внешняя система определяет время последнего успешного запроса в SAP.
Процесс может быть запущен по таймеру или иному событию, в том числе может быть установлен таймаут ожидания ответа с данными от SAP и инициация повторного запроса. После чего формирует запрос дельты и отправляет его в SAP.
Данные запроса передаются в body в формате json.
Метод http: POST.
Пример запроса:
Сервис SAP выполняет контроль запроса на полноту, соответствие текущей структуре SAP, наличие разрешения доступа к запрошенной таблице.
В случае ошибок сервис возвращает ответ с соответствующим кодом и описанием. В случае успешного контроля он создает фоновый процесс для формирования выборки, генерирует и синхронно возвращает уникальный id сессии.
Внешняя система в случае ошибки регистрирует ее в журнале. В случае успешного ответа передает id сессии и имя таблицы по которой был сделан запрос.
Внешняя система регистрирует текущую сессию как открытую. Если есть другие сессии по данной таблице, они закрываются с регистрацией предупреждения в журнале.
Фоновое задание SAP формирует курсор по заданным параметрам и пакет данных заданного размера. Размер пакета – максимальное количество записей, которые процесс читает из БД. По умолчанию принимается равным 2000. Если в выборке БД больше записей, чем используемый размер пакета после передачи первого пакета формируется следующий блок с соответствующим offset и инкрементированным номером пакета. Номера инкрементируются на 1 и отправляются строго последовательно.
Далее SAP передает пакет на вход web-сервису внешней системы. А она система выполняет контроли входящего пакета. В системе должна быть зарегистрирована сессия с полученным id и она должна находиться в открытом статусе. Если номер пакета > 1 в системе должно быть зарегистрировано успешное получение предыдущего пакета (package_id-1).
В случае успешного контроля внешняя система парсит и сохраняет данные таблицы.
Дополнительно, если в пакете присутствует флаг final и сериализация прошла успешно, происходит уведомление модуля интеграции об успешном завершении обработки сессии и модуль обновляет статус сессии.
В случае ошибки контролей/разбора ошибка логируется и пакеты по данной сессии будут отклоняться внешней системой.
Так же и в обратном случае, когда внешняя система возвращает ошибку, она логируется и прекращается передача пакетов.
Для запроса данных на стороне SAP HСM был реализован интеграционный сервис. Сервис реализован на фреймворке ICF (SAP Internet Communication Framework — help.sap.com/viewer/6da7259a6c4b1014b7d5e759cc76fd22/7.01.22/en-US/488d6e0ea6ed72d5e10000000a42189c.html). Он позволяет производить запрос данных из системы SAP HCM по определенным таблицам. При формировании запроса данных есть возможность задавать перечень конкретных полей и параметры фильтрации с целью получения необходимых данных. При этом реализация сервиса не предполагает какой-либо бизнес-логики. Алгоритмы расчёта дельты, параметров запроса, контроля целостности, и пр. также реализуются на стороне внешней системы.
Данный механизм позволяет собирать и передавать все необходимые данные за несколько часов. Такая скорость находится на грани приемлемой, поэтому это решение рассматривается нами как временное, позволившее закрыть потребность в инструменте экстракции на проекте.
В целевой картине для решения задачи экстракции данных прорабатываются варианты использования CDC систем типа Oracle Golden Gate или ETL инструментов типа SAP DS.
SAP Data Services, часть 3. Экстракция, преобразование и загрузка данных в SAP HANA
Вавлитис Майкл
Изучим и сравним подход по экстракции, преобразованию и загрузке (ETL) данных в SAP Data Services со встроенной функциональностью SAP HANA, чтобы выбрать оптимальное решения для интеграции
Ключевые понятия
Определенные процессы экстракции, преобразования и загрузки данных (extract, transform, and load, ETL) были перенесены в SAP HANA, что напрямую влияет на ее интеграцию с SAP Data Services. Процессы ETL — обязательный шаг при развертывании хранилища данных. Они включают в себя перемещение данных из прежней системы в новое хранилище. Это комплексный сквозной процесс загрузки данных из исходной системы в целевую. Экстракция представляет собой извлечение данных из исходной системы с, по возможности, минимальным влиянием на производительность работающей исходной системы. Преобразование обычно предусматривает применение ряда правил для получения необходимого формата данных, например, применение фильтров или преобразование валютных единиц. После преобразования данные загружаются в хранилище целевой системы.
Функции экстракции, преобразования и загрузки данных теперь встроены в SAP HANA, поэтому в будущем переход от SAP Data Services (ранее SAP BusinessObjects Data Services) к SAP HANA неизбежен. SAP стремится упростить все процессы, и объединение функций наглядно демонстрирует этот подход. С появлением и развитием SAP HANA отраслевые эксперты стали с особым вниманием следить за обновлениями. В данной статье предлагается прогноз развития процессов ETL в SAP HANA.
Опишем интеграцию SAP Data Services с SAP HANA и влияние на будущее SAP Data Services встроенных в SAP HANA функций ETL, таких как smart data integration (интеллектуальная интеграция) и smart data quality (интеллектуальное управление качеством данных). В первой статье из серии, «SAP Data Services, часть 1: интеграция с SAP Business Suite Sources» рассматривался интерфейс и процессы SAP Data Services, а также интеграция SAP Data Services с источниками SAP Business Suite. Во второй статье, «SAP Data Services, часть 2: интеграция с SAP BW на базе SAP HANA» рассматривалась интеграция SAP Data Services с SAP BW на базе SAP HANA и использование экстракторов данных BW в процессах ETL.
Настоящая статья охватывает новейшие возможности SAP Data Services (начиная с версии 4.x) и интеграцию с SAP HANA (начиная с Support Package Stack 9). Начиная с Support Package Stack 9 (выпущен в октябре 2014 г.), SAP HANA предоставляет расширенные возможности для интеграции данных, обеспечения качества данных и управления потоками данных. До выпуска Support Package Stack 9для SAP HANA основным инструментом для выполнения этих задач в проектах с потребностью обработки ETL служила, как правило, платформа SAP Data Services. Однако и сейчас SAP Data Services играет важную роль, и в ближайшем будущем от нее отказываться нельзя. Давайте рассмотрим перспективы SAP Data Services с точки зрения ETL и то, как функции SAP Data Services соотносятся с новыми функциями в SAP HANA.
Новые сервисы ETL в SAP HANA
Начиная с Support Package Stack 9, в SAP HANA появились интеллектуальные инструменты для интеграции, управления качеством и управления потоками данных(smart data streaming). Новейшие инструменты SAP HANA также выполняют большую часть функций интеграции данных и управления качеством данных в SAP Data Services. Функция интеллектуального управления потоками данных SAP HANA позволяет собирать и анализировать, а также реагировать на данные в реальном времени.
Влияние SAP HANA на SAP Data Services
SAP Data Services представляет собой гибкий инструмент для соединения множества исходных и целевых систем. Более того, этот инструмент обеспечивает неограниченную масштабируемость и незаменим при выполнении сложных преобразований данных. Преимущество интеллектуальных процессов интеграции и управления качеством данных состоит в том, что не нужно использовать клиентские программы, и системная архитектура упрощается. Следовательно, можно избежать проблем с задержеками и низкой производительности, которые часто возникают в приложении для разработки SAP Data Services при использовании удаленного репозитория.
Проблемы с производительностью в SAP Data Services часто возникали вследствие того, что на экстракцию данных из исходной системы и загрузку их в целевую систему требовалось много времени. То есть производительность SAP Data Services снижалась, в основном, когда требовались расчеты, например, при очистке данных. SAP Data Services, используемый в качестве промежуточной платформы между исходной и целевой системой, часто обвиняли в низкой производительности. SAP Data Services предназначена для пакетной загрузки данных и никогда не была идеальным инструментом для репликации данных в реальном времени — для этого можно использовать новую функцию SAP HANA.
Новая цель SAP — упростить и объединить инструменты и приложения. Внедряя функции ETL в SAP HANA, в которой также выполняется моделирование данных (в SAP HANA Studio), SAP превращает эту платформу в единый инструмент для выполнения различных действий. Поэтому количество периферийных систем сокращается. Следовательно, требуется меньше оборудования, а это упрощает развертывание, техническое обслуживание и архитектуру системных ландшафтов. Тем не менее, SAP продолжает продавать SAP Data Services как основное приложение для управления информацией на предприятии (Enterprise Information Management; EIM). База клиентов EIM SAP Data Services содержит более 10 000 организаций, и SAP Data Services занимает прочную позицию среди платформ интеграции данных согласно исследованию Gartner Magic Quadrant. Хотя SAP в настоящее продолжает продажи и поддержку SAP Data Services, в будущем SAP HANA, скорее всего, будет выполнять все функции ETL, окончательно упраздняя SAP Data Services. Поэтому для SAP Data Services будет выходить все меньше новой функциональности, тогда как функции интеллектуальной интеграции и интеллектуального управления качеством данных в SAP HANA будут значительно расширены.
Будущее SAP Data Services
В новых проектах с потребностью в ETL и с использованием приложений на платформе SAP HANA необходимо сделать выбор в пользу интеллектуальной интеграции и интеллектуального управления данными, а не SAP Data Services. Эти функции встроены в SAP HANA, что позволяет избежать дополнительной траты времени и усилий на внедрение SAP Data Services. Если SAP Data Services уже используется, в обозримом будущем никаких изменений не потребуется, так как SAP продолжает поддержку SAP Data Services (рис. 1). Дорожная карта SAP Data Services предполагает, что базовая поддержка будет продолжаться до конца 2018 года, а приоритетная поддержка — до 2020 года. SAP Data Services 4.2 — наиболее актуальная версия платформы. Ожидаются лишь незначительные изменения и исправления.
Рис. 1. Классический ландшафт интеграции данных SAP Data Services
На сегодняшний день (июнь 2017 г.) в SAP не разработан метод для переноса заданий SAP Data Services в интеллектуальные инструменты интеграции и управления качеством данных, и неизвестно, планируется ли такой процесс. Целесообразно отслеживать обновления функциональности интеллектуальной интеграции и управления качеством данных SAP HANA, чтобы иметь возможность принять информированное решение о переходе с SAP Data Services. Примеры использования интеллектуальной интеграции данных (см. Рис. 2) включают в себя виртуальный доступ к некритичным данным (с помощью интеллектуального доступа к данным, smart data access); ETL для собственных хранилищ данных и информационных витрин SAP HANA; параллельное развертывание для отчетов OLTP; перенос данных из старых систем в SAP HANA; а также пакетную, федеративную (через интеллектуальный доступ) или интеграцию в режиме реального времени с внешними источниками.
Рис. 2. Новая собственная функция интеграции данных в SAP HANA
Интеллектуальную интеграцию данных можно развернуть как локально, так и в облаке. Интеллектуальная интеграция данных обеспечивает принудительную репликацию данных в выбранных источниках с функцией сбора измененных данных (Change Data Capture; CDC). Функциональность реализована на хорошо известном сервере репликации Sybase. Интеллектуальная интеграция данных также позволяет извлекать пакетные данные из источника любого типа. Интеллектуальный доступ к данным (smart data access) — федеративная платформа SAP HANA, которая используется для доступа к виртуальным данным, например, для запросов или загрузок начальных данных. Для доработки интеллектуального доступа к данным с помощью интеллектуальной интеграции используется адаптер Software Development Kit (SDK). Если поток репликации прерывается или останавливается, инструмент интеллектуальной интеграции данных может продолжить прерванную обработку данных. Он может продолжить работу и при кратковременном отключении целевой системы SAP HANA из-за непредвиденных обстоятельств, например, во время стихийных бедствий. В преобразовании данных с помощью интеллектуальной интеграции участвуют виртуальные и невиртуальные таблицы и ракурсы (view) SAP HANA. Для редактирования потоков преобразований используется Application Function Modeler (AFM) — интерфейс пользователя SAP HANA Studio.
Подключение SAP Data Services к SAP HANA
Платформа SAP Data Services оптимизирована для пакетной загрузки данных и может использоваться для загрузки данных в базу памяти in-memory SAP HANA. Для загрузки данных в реальном времени можно использовать сервер репликации Sybase или инструмент интеллектуального управления потоками данных. В SAP HANA Modeler создаются задания первичной загрузки и потоки данных для загрузки в таблицы, а SAP Data Services может использоваться для поиска и импорта внешних метаданных. SAP Data Services можно использовать для редактирования потоков данных после начальной настройки.
Оформите подписку sappro и получите полный доступ к материалам SAPPRO