AWS Glue REST API: VPC, фильтры, секционирование

AWS Glue REST API коннектор получил поддержку VPC, фильтров и секционирования

Новые возможности позволяют безопасно подключаться к приватным API, сокращать передаваемые данные и ускорять загрузку больших объемов.

Что нужно знать

AWS Glue REST API коннектор теперь поддерживает VPC, фильтр pushdown и секционирование.

Поддержка VPC позволяет безопасно подключаться к источникам в частных подсетях, VPN или AWS PrivateLink.

Фильтр pushdown сокращает объем передаваемых данных, преобразуя предикаты запросов в параметры API.

Секционирование ускоряет загрузку больших данных за счет параллельного чтения через Spark.

Функции доступны во всех коммерческих регионах AWS, где работает AWS Glue.

29 июля 2026 года AWS объявила о расширении возможностей коннектора REST API для AWS Glue. Теперь сервис поддерживает подключение к источникам через VPC, фильтрацию данных на стороне источника и секционирование для параллельного чтения. Эти функции доступны во всех коммерческих регионах AWS, где работает AWS Glue.

Что нового

Коннектор REST API позволяет AWS Glue получать данные из любых источников, предоставляющих REST API, включая проприетарные системы и новые платформы, для которых нет нативных коннекторов. Ранее для работы с такими источниками требовалась настройка дополнительных инструментов или написание кода. Теперь пользователи могут строить ETL-конвейеры без кастомной разработки.

Поддержка VPC

С помощью VPC коннектор может обращаться к источникам данных, размещенным в частных подсетях или подключенным через VPN или AWS PrivateLink. Это позволяет избежать передачи трафика через публичный интернет, что повышает безопасность.

Фильтр pushdown

Функция фильтрации преобразует предикаты запросов в параметры API. В результате из источника передаются только записи, соответствующие условиям, что снижает объем передаваемых данных и улучшает производительность.

Секционирование

Секционирование разделяет большие наборы данных между несколькими рабочими узлами Spark. Используются стратегии на основе полей или подсчета записей. Это обеспечивает параллельное чтение и сокращает время приема данных для API с пагинацией.

Практическое значение

Новые возможности упрощают интеграцию с внутренними системами и внешними сервисами, которые не имеют готовых коннекторов AWS Glue. Пользователи могут безопасно подключаться к приватным API, сокращать объем передаваемых данных и ускорять обработку больших объемов информации.

Подробности доступны в документации AWS Glue REST API connector.

Что это значит

Расширение функциональности коннектора REST API делает AWS Glue более гибким инструментом для интеграции данных. Поддержка VPC и фильтрации снижает риски и затраты, а секционирование повышает производительность. Это особенно актуально для компаний, работающих с большими объемами данных из разнородных источников.

Коротко о главном

Что такое коннектор REST API в AWS Glue?

Коннектор REST API позволяет AWS Glue получать данные из любого источника, предоставляющего REST API, включая проприетарные системы и новые платформы без нативных коннекторов.

Какие новые возможности появились в AWS Glue REST API коннекторе?

Поддержка VPC, фильтр pushdown и секционирование.

Как работает поддержка VPC в коннекторе?

Коннектор может подключаться к источникам данных в частных подсетях или через VPN или AWS PrivateLink, не передавая трафик через публичный интернет.

Что такое фильтр pushdown?

Фильтр pushdown преобразует предикаты запросов в параметры API, поэтому из источника передаются только совпадающие записи, снижая затраты на передачу данных.

Как секционирование ускоряет загрузку данных?

Секционирование разделяет большие наборы данных между несколькими рабочими узлами Spark, обеспечивая параллельное чтение и сокращая время приема данных.

В каких регионах доступны новые функции?

Во всех коммерческих регионах AWS, где предоставляется AWS Glue.