Перейти к основному содержимому
Перейти к основному содержимому

Повторная синхронизация ClickPipe для базы данных

Что делает повторная синхронизация?​

Повторная синхронизация включает следующие операции в таком порядке:

  1. Существующий ClickPipe удаляется, и запускается новый ClickPipe для повторной синхронизации. Поэтому при повторной синхронизации будут учтены изменения в структуре исходных таблиц.
  2. ClickPipe для повторной синхронизации создает (или заменяет) новый набор целевых таблиц с теми же именами, что и у исходных таблиц, но с суффиксом _resync.
  3. На таблицах _resync выполняется первоначальная загрузка.
  4. Затем таблицы _resync и исходные таблицы поменяют местами. Перед тем как поменять их местами, строки, помеченные как удаленные, переносятся из исходных таблиц в таблицы _resync.

Все настройки исходного ClickPipe сохраняются в ClickPipe для повторной синхронизации. Статистика исходного ClickPipe очищается в UI.

Сценарии использования повторной синхронизации ClickPipe​

Вот несколько сценариев:

  1. Вам может потребоваться внести существенные изменения в схему исходных таблиц, из-за которых существующий ClickPipe перестанет работать и его потребуется перезапустить. После внесения изменений можно просто нажать Повторная синхронизация.
  2. В частности, в ClickHouse может потребоваться изменить ключи ORDER BY в целевых таблицах. Вы можете выполнить повторную синхронизацию, чтобы заново загрузить данные в новую таблицу с правильным ключом сортировки.
  3. Слот репликации ClickPipe становится недействительным: повторная синхронизация создает новый ClickPipe и новый слот в исходной базе данных.
Примечание

Вы можете выполнять повторную синхронизацию несколько раз, однако учитывайте нагрузку на исходную базу данных при повторной синхронизации, поскольку каждый раз выполняется первоначальная загрузка с параллельными потоками.

Руководство по повторной синхронизации ClickPipe​

  1. На вкладке «Источники данных» нажмите на Postgres ClickPipe, который нужно повторно синхронизировать.
  2. Перейдите на вкладку Настройки.
  3. Нажмите кнопку Повторная синхронизация.
  1. Должно появиться диалоговое окно подтверждения. Ещё раз нажмите Повторная синхронизация.
  2. Перейдите на вкладку Метрики.
  3. Примерно через 5 секунд (а также после обновления страницы) статус пайплайна должен быть Настройка или Снимок.
  4. Первоначальную загрузку при повторной синхронизации можно мониторить на вкладке Таблицы — в разделе Статистика первоначальной загрузки.
  5. После завершения первоначальной загрузки пайплайн атомарно поменяет местами таблицы _resync и исходные таблицы. Во время того, как таблицы будут поменяны местами, статус будет Повторная синхронизация.
  6. После завершения замены пайплайн перейдёт в состояние Выполняется и будет выполнять CDC, если параметр включён.