AWS Glue Data Quality: профилирование распределения данных

Что нужно знать

AWS Glue Data Quality теперь поддерживает Distribution Analyzer для профилирования распределения данных.

Инструмент генерирует гистограммы для числовых столбцов и распределения значений для категориальных, датовых и логических столбцов.

Статистика хранится в Amazon S3 и доступна через API, а также интегрируется с Amazon Athena и SageMaker Unified Studio.

Функция доступна во всех коммерческих регионах AWS и AWS GovCloud (US).

27 июля 2026 года AWS объявила о расширении функциональности AWS Glue Data Quality: теперь сервис поддерживает статистику распределения для профилирования данных. Новая возможность позволяет пользователям быстро выявлять асимметрию, выбросы и неожиданные закономерности в наборах данных без написания пользовательского кода.

Что нового

В AWS Glue Data Quality появился новый Distribution Analyzer, который генерирует профили распределения частот. С его помощью можно создавать гистограммы для числовых столбцов и распределения значений для категориальных, датовых и логических столбцов. Поддерживается настраиваемое количество корзин, что позволяет изучать данные с нужной степенью детализации.

Как это работает

Distribution Analyzer интегрируется с существующими наборами правил Data Quality Definition Language (DQDL). Это значит, что профилирование распределения можно выполнять вместе с текущими проверками качества данных за один запуск оценки. Статистика распределения сохраняется в Amazon S3, что позволяет в дальнейшем запрашивать её через такие сервисы, как Amazon Athena. Кроме того, данные доступны через API, что упрощает интеграцию в мониторинг и инструменты визуализации, включая SageMaker Unified Studio.

Доступность

Статистика распределения AWS Glue Data Quality доступна во всех коммерческих регионах AWS и в регионах AWS GovCloud (US).

Что это значит

Новая функция упрощает анализ распределения данных для специалистов по данным и инженеров, позволяя быстрее обнаруживать проблемы в данных и принимать обоснованные решения при построении конвейеров данных.

Коротко о главном

Что такое Distribution Analyzer в AWS Glue Data Quality?

Distribution Analyzer — это новый компонент AWS Glue Data Quality, который генерирует профили распределения частот для данных, включая гистограммы для числовых столбцов и распределения значений для категориальных, датовых и логических столбцов.

Как использовать Distribution Analyzer?

Distribution Analyzer используется через Data Quality Definition Language (DQDL) и интегрируется с существующими наборами правил DQDL, позволяя выполнять профилирование распределения вместе с проверками качества данных за один запуск оценки.

Где хранятся статистические данные распределения?

Статистика распределения хранится в Amazon S3 и может быть запрошена через такие сервисы, как Amazon Athena, а также доступна через API.

В каких регионах доступна эта функция?