Сценарий “Получение данных из внешнего или внутреннего источника”

Example of HTTP connector setup

Первым шагом настройки интеграции с любым источником внешних или внутренних данных является настройка Integrations. Необходимо выбрать один из доступных типов подключения и заполнить поля настроек для HTTP, LDAP, Oracle, MS SQL, PostgreSQL.

После этого необходимо сохранить и загрузить схему в Studio.

Setting up Cron for your Components

После того как связь с источником данных установлена посредством настройки коннектора, следует создать Компонент и перейти в его General settings. В меню есть возможность задать Cron — расписание запуска Dataflow. В нашем примере мы задаем значение Cron таким образом, что Dataflow будет автоматически запускаться каждые 5 минут.

Пример настройки шага “Get values from connector”

Теперь можно приступить к настройке Input dataflow. Для этого перейдите по вкладке в приложении, добавьте новый Stage  и выберете Step “Get values from connector”. Проведите его настройку: необходимо выбрать тот путь, данные из которого вы хотите загрузить в выбранный Компонент, после чего нужно выбрать метод GET. Далее Вы можете нажать на “i” и перейти к просмотру данных, которые Step получает из схемы.

{
  "type": "object",
  "properties": {
    "id": {
      "type": "integer"
    },
    "birthDate": {
      "type": "string",
      "format": "date-time"
    },
    "firstName": {
      "type": "string"
    },
    "middleName": {
      "type": "string"
    },
    "secondName": {
      "type": "string"
    },
    "departmentId": {
      "type": "integer"
    },
    "noMiddleName": {
      "type": "boolean"
    }
  }
}

Пример настройки Defenition

Теперь когда Вы знаете какие данные будут получены шагом “Get values from connector”, Вы можете перейти в Definition и добавить поля, в которые будут записаны данные. Для примера мы возьмем поле id (type: integer), firstName (type: string), SecondName (type: string).

Следующим этапом настройки загрузки данных будет добавление шага “Store entry over bus”, нужно провести настройку шага в соответствие с описанием, в параметрах Fields mapping выбрать данные из схемы, которые соответствуют данным из полей Property меню Definition

Пример настройки шага “Store entry over bus”

После настройки маппинга полей остается только сохранить и опубликовать Компонент.

Сценарий “Фильтрации данных в объектной модели по определенным критериям”

Пример выбора шага “Filter source”

В дополнение первого сценария по получению данных, можно добавить шаг с фильтрацией. Иногда стандартных методов фильтрации, которые подразумевает схема коннектора может быть недостаточно, или получаемые данные нужно отфильтровать необычным способом, для этого в Dataflow activity существует Step ”Filter source”.

Set up “Filter source” step and the dataflow

Добавьте шаг “Filter source” и перейдите к его настройке нажав на карандаш, Вам потребуется произвести настройку полей в соответствие с описанием. В поле Src field выберете поле, по которому будет проводится фильтрация, в поле Operator укажите один из четырех параметров для фильтрации Equal, Not equal, Great, Less. После в поле Filter value напишите значение, с которым будет сравниваться исходное поле. В завершение вы добавляете шаг “Store entery over bus” и проводите его настройку, теперь в студию будут записываться только прошедшие фильтрацию записи.

Сценарий “Связывание данных из разных источников”

Пример настройки шага “Get values from connector”

В этом сценарии будет описано использование шага “Join models”, за основу будет взят сценарий по получению данных из внешнего или внутреннего источника. В меню Input dataflow нужно добавить еще один шаг “Get values from connector”, и провести его настройку в соответствие с описанием, важно, чтобы выбранный Query path отличался от выбранного раннее.

После настройки, Вы можете перейти к просмотру данных, по нажатию на “i”.