Инстансы RA3 обеспечивают максимальную скорость при обработке ресурсоемких рабочих нагрузок с высокими требованиями к вычислительным мощностям. Вы можете указывать необходимое количество инстансов и оплачивать вычислительные ресурсы отдельно от ресурсов хранения.
Столбчатое хранилище, сжатие данных и карты зон сокращают количество операций ввода‑вывода, необходимых для выполнения запросов. Наряду с такими стандартными для отрасли алгоритмами кодирования, как LZO и Zstandard, Amazon Redshift также предлагает специализированное кодирование при сжатии AZ64 для таких типов данных, как числовые данные и данные даты и времени. Это необходимо, чтобы обеспечить как экономию объема хранилища, так и оптимизацию производительности запросов.
поддерживает практически неограниченное число одновременно работающих пользователей и одновременных запросов с неизменным качеством обслуживания. Таким образом сервис может добавлять временные ресурсы за несколько секунд по мере роста параллельной нагрузки. Масштабирование осуществляется с минимальными затратами, поскольку каждый кластер за сутки накапливает до одного часа бесплатных кредитов для параллельного масштабирования. Этого объема бесплатных кредитов достаточно для обеспечения потребностей в параллельных операциях 97 % клиентов.
Записывайте информацию в базы данных Redshift из других хранилищ данных Redshift без лишних усилия, реализуя совместную работу с данными, гибкое масштабирование вычислительных ресурсов для рабочих нагрузок ETL/обработки данных за счет добавления хранилищ различных типов и размеров в зависимости от соотношения цены и производительности. Добейтесь большей прозрачности использования вычислительных ресурсов: каждому хранилищу выставляется счет за собственные вычисления, что позволяет контролировать расходы.
Материализованные представления Amazon Redshift позволяют значительно повысить производительность запросов для итеративных или прогнозируемых аналитических рабочих нагрузок, таких как отображение информации на информационных панелях, выполнение запросов из инструментов бизнес‑аналитики (BI) и задания по извлечению, преобразованию и загрузке данных (ELT). Материализованные представления можно использовать для хранения и управления предварительно вычисленными результатами запросов SELECT, которые могут ссылаться на одну или несколько таблиц, включая озеро данных, нулевую интеграцию ETL и таблицы совместного использования данных. При инкрементальном обновлении Amazon Redshift выявляет изменения в базовой таблице или таблицах, произошедшие после последнего обновления, и обновляет только соответствующие записи в материализованном представлении. Инкрементальное обновление выполняется быстрее, чем полное, что улучшает производительность рабочих нагрузок.
Обрабатывайте повторяющиеся запросы за доли секунды. Благодаря этому значительно увеличивается производительность панелей управления, а также инструментов визуализации и бизнес‑аналитики (BI), которые выполняют повторяющиеся запросы. При получении запроса Amazon Redshift выполняет поиск по кэшу, в котором может храниться результат прошлой обработки такого запроса. Если результат был найден в кэше и данные не изменились, сервис незамедлительно выдает этот результат вместо повторного выполнения запроса.
Новый мощный механизм сортировки таблиц, который повышает производительность повторяющихся запросов за счет автоматической сортировки данных на основе фильтров входящих запросов (например, продажи в определенном регионе). По сравнению с традиционными методами этот метод значительно ускоряет сканирование таблиц.
Расширьте возможности восстановления, сокращая время восстановления и гарантируя необходимых объем ресурсов для автоматического восстановления без потери данных. Хранилище данных Amazon Redshift в нескольких зонах доступности максимизирует производительность и ценность, что обеспечивает высокую доступность без применения резервных ресурсов и повышает уровень доступности до 99,99 % SLA.
Amazon Redshift позволяет настроить правила брандмауэра для управления сетевым доступом к кластеру хранилища данных. Вы можете запустить Amazon Redshift внутри облачного сервиса Amazon Virtual Private Cloud (Amazon VPC), чтобы изолировать кластер хранилища данных в своей виртуальной сети и подключить его к имеющейся ИТ-инфраструктуре с помощью зашифрованной сети IPsec VPN отраслевого стандарта.
С помощью всего нескольких параметров вы можете настроить в сервисе Amazon Redshift использование сертификата TLS с целью обеспечения безопасности данных в движении и шифрования AES-256 с аппаратным ускорением для данных в местах хранения. Если включить шифрование данных в местах хранения, все данные, записанные на диск, будут зашифрованы вместе с их резервными копиями. По умолчанию сервис Amazon Redshift осуществляет управление ключами шифрования самостоятельно.
Интеграция с центром идентификации IAM позволяет организациям обеспечивать передачу доверенных удостоверений между Amazon Redshift, Amazon QuickSight и AWS Lake Formation. С помощью сторонних поставщиков идентификации (IdP), таких как Microsoft Entra ID, Okta, Ping или OneLogin, вы можете использовать учетные данные своей организации для доступа к Amazon Redshift в режиме единого входа. Это обеспечивает удобную аутентификацию из QuickSight, Редактора запросов Amazon Redshift, а также сторонних инструментов бизнес-аналитики и SQL-редакторов. Администраторы могут управлять доступом к данным с помощью пользователей и групп сторонних поставщиков удостоверений, обеспечивая точный контроль и аудит на уровне пользователей через AWS CloudTrail. Функция передачи доверенных удостоверений позволяет беспрепятственно передавать данные о пользователе между Amazon QuickSight, Amazon Redshift и Lake Formation. Это ускоряет получение аналитической информации и создает удобную среду для анализа данных.
Детальный контроль безопасности на уровне отдельных строк и столбцов позволяет предоставлять пользователям доступ только к необходимым им данным. Amazon Redshift интегрирован с Lake Formation, что обеспечивает контроль доступа на уровне столбцов в Lake Formation и запросы Amazon Redshift к данным в озере. Совместное использование данных Amazon Redshift поддерживает централизованный контроль доступа с Lake Formation с целью упрощения управления данными, передаваемыми из Amazon Redshift. Lake Formation – это сервис, который упрощает настройку безопасных озер данных и централизованное точное управление доступом к данным во всех потребляющих сервисах, а также применение элементов управления на уровне строк и столбцов. Используйте динамическое маскирование данных для защиты конфиденциальной информации, ограничивая видимость идентифицируемых данных для пользователей. С помощью Amazon Redshift можно задать несколько уровней разрешений для таких полей, чтобы разные пользователи и группы имели различный уровень доступа к данным, избегая необходимости создавать дубликаты. Это достигается через знакомый SQL-интерфейс.
Анализируйте все унифицированные данные с помощью SQL благодаря интеграции Amazon Redshift с озером данных SageMaker. Запрашивайте данные Amazon Simple Storage Service (Amazon S3) в открытых форматах без необходимости перемещения данных между озерами и хранилищами. Откройте данные Amazon Redshift в озере данных SageMaker, чтобы получить доступ к аналитическим инструментам AWS и Apache Iceberg, поддерживающим комплексный анализ данных и машинное обучение.
Amazon Redshift поддерживает запросы только для чтения с использованием ANSI SQL для табличных форматов, таких как Apache Iceberg, Apache Hudi и Delta Lake, а также для открытых форматов данных, включая Apache Parquet, ORC, Avro, JSON и CSV, напрямую из Amazon S3. Apache Iceberg – это формат таблиц с открытым исходным кодом, обеспечивающий согласованность транзакций и улучшенную организацию озер данных благодаря своей табличной структуре. С помощью Amazon Redshift Spectrum можно выполнять чтение таблиц и данных в открытых форматах, таких как Parquet, из озера данных, сохраняя большие объемы структурированных, полуструктурированных и неструктурированных данных в Amazon S3. Для экспорта данных в озеро данных доступна команда Amazon Redshift UNLOAD, поддерживающая экспорт в форматы, такие как Parquet. Экспорт данных из Amazon Redshift обратно в озеро данных позволяет дополнительно проводить их анализ с помощью таких сервисов AWS, как Amazon Athena, Amazon EMR и SageMaker.
Используйте для изучения и анализа данных язык запросов SQL в веб-интерфейсе аналитики, чтобы данные в Amazon Redshift и в озере данных стали более доступными вашим специалистам по анализу и инженерам данных и другим пользователям, которые привыкли работать к SQL. Редактор запросов позволяет в один шаг визуализировать результаты запросов, создавать схемы и таблицы, визуально загружать данные и просматривать объекты базы данных. Также он предоставит вам интуитивно удобный метод для создания запросов SQL, анализов, визуализаций, аннотаций и предоставления к ним защищенного общего доступа для совместной работы с коллегами.
Используйте встроенный редактор SQL на базе Amazon Redshift в SageMaker Unified Studio, единой среде разработки данных и ИИ, для запросов к данным, хранящимся в озерах данных, хранилищах данных, базах данных и приложениях.
Интеграция Aurora, Amazon Relational Database Service (Amazon RDS), Amazon DynamoDB, корпоративных приложений и Amazon Redshift без написания кода позволяет мгновенно проводить аналитику и машинное обучение, обрабатывая петабайты данных из баз данных и приложений. Например, данные, поступающие из операционных, транзакционных или корпоративных источников, могут быть беспрепятственно доступны в Amazon Redshift благодаря интеграции Aurora Zero-ETL. Это минимизирует необходимость создания и управления сложными ETL-конвейерами.
Упростите и автоматизируйте получение данных из Amazon S3, сократив время и усилия на создание собственных решений или управление сторонними сервисами. С этой функцией Amazon Redshift вам не придется вручную и много раз выполнять процедуру копирования, автоматизируя прием файлов и заботясь о непрерывных этапах загрузки данных. Поддержка автоматического копирования дает возможность бизнес-пользователям и специалистам по аналитике данных без знаний в области разработки данных создавать правила приема и настраивать расположение данных, которые они хотят загрузить из Amazon S3.
Используйте SQL для подключения и прямого приема данных из потоков данных Amazon Kinesis и управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK). Кроме того, Получение данных потоковой передачи Amazon Redshift упрощает создание нисходящих конвейеров и управление ими, позволяя создавать материализованные представления непосредственно поверх потоков. Материализованные представления также могут включать преобразования SQL как часть конвейера ELT. Вы можете вручную обновлять определенные материализованные представления, чтобы запрашивать последние потоковые данные.
Запрашивайте оперативные данные из одного или нескольких инстансов Amazon RDS, включая совместимые версии Amazon Aurora PostgreSQL, Amazon RDS для MySQL и Amazon Aurora, совместимую с MySQL, чтобы получить мгновенные представления о бизнес-операциях без необходимости перемещать данные.
Анализируйте данные за считаные секунды в нужных масштабах без необходимости настраивать инфраструктуру хранилища данных и управлять ею. Технология масштабирования и оптимизации на основе ИИ (доступно в ознакомительной версии) позволяет бессерверному Amazon Redshift заранее автоматически выделять и масштабировать емкость хранилища данных, обеспечивая высокую производительность даже для самых требовательных рабочих нагрузок. Система использует методы искусственного интеллекта для изучения закономерностей рабочей нагрузки клиентов по ключевым параметрам, таким как параллельные запросы, сложность запросов, приток объема данных и ETL. Впоследствии она постоянно корректирует ресурсы в течение дня и применяет индивидуальные методы оптимизации производительности. После установки пользователем целевого показателя производительности хранилище данных будет автоматически масштабироваться в соответствии с ним.
Сложные алгоритмы для прогнозирования и классификации входящих запросов на основе их времени выполнения и требований к ресурсам позволяют осуществлять динамическое управление производительностью и параллельными операциями, а также расставлять приоритеты для критически важных рабочих нагрузок. Функция ускорения коротких запросов (SQA) отправляет короткие запросы от таких приложений, как информационные панели, в экспресс‑очередь для немедленной обработки, позволяя им не простаивать в очереди из-за объемных запросов. Автоматическое управление рабочими нагрузками (WLM) использует машинное обучение для динамического управления памятью и параллельными операциями. Такой подход помогает оптимизировать пропускную способность запросов. Кроме того, теперь вы можете расставлять приоритеты для наиболее важных запросов, даже когда их число достигает нескольких сотен. Amazon Redshift Advisor дает рекомендации в тех случаях, когда дальнейшее повышение производительности Amazon Redshift требует явного участия пользователя. Автоматизированные материализованные представления повышают пропускную способность при динамических рабочих нагрузках, когда шаблоны запросов не поддаются прогнозированию, снижают задержки и ускоряют выполнение запросов за счет автоматического обновления, автоматического переписывания запросов, поэтапного обновления и непрерывного контроля кластеров Amazon Redshift. Автоматическая оптимизация таблиц выбирает ключи сортировки и распределения, чтобы оптимизировать производительность кластера под рабочей нагрузкой. Если Amazon Redshift определит, что применение ключа повысит производительность кластера, таблицы будут автоматически изменены без вмешательства администратора. Дополнительные функции, такие как автоматическое удаление Vacuum, автоматическая сортировка таблиц и автоматический анализ, устраняют необходимость ручного обслуживания и настройки кластеров Amazon Redshift и обеспечивают максимальную производительность новых кластеров и производственных рабочих нагрузок.
Используйте простой API данных для взаимодействия с Amazon Redshift. Amazon Redshift дает возможность без проблем работать с данными всех типов традиционных, облачных и контейнерных бессерверных приложений на основе веб-сервисов и управляемых событиями приложений. API данных Amazon Redshift упрощает доступ к данным, их загрузку и передачу из языков и с платформ программирования, которые поддерживаются SDK AWS, в том числе Python, Go, Java, Node.js, PHP, Ruby и C++. Благодаря API данных нет необходимости в настройке драйверов и управлении подключениями к базам данных. Вместо этого можно запускать команды SQL в кластере Amazon Redshift, вызывая защищенную конечную точку API, предоставляемую API данных. API данных обеспечивает управление подключениями к базе данных и буферизацию данных. API данных является асинхронным, поэтому необходимые результаты можно получить позже. Результаты обработки запроса хранятся 24 часа.
Выполняйте запросы в консоли или подключайте клиентские инструменты SQL, библиотеки либо инструменты обработки данных, включая QuickSight, Tableau, Microsoft Power BI, Alteryx, Querybook, Jupyter Notebook, Informatica, dbt, MicroStrategy и Looker.
Используйте простой английский язык для написания запросов в Редакторе запросов Amazon Redshift, чтобы получить точные SQL-рекомендации, соответствующие вашим разрешениям на доступ к данным.
Amazon Redshift легко интегрируется с Amazon Bedrock, предоставляя возможности прямого использования генеративного ИИ через стандартные SQL-команды. Эта интеграция позволяет командам использовать базовые модели, такие как Anthropic Claude и Amazon Titan, для задач, таких как анализ текста, перевод и определение настроений, без необходимости в сложной инфраструктуре. Пользователи могут легко применять модели ИИ в существующих рабочих процессах анализа данных, что преобразует методы извлечения ценной информации из корпоративных данных.
Функция Amazon Redshift ML упрощает создание, обучение и развертывание моделей SageMaker с использованием SQL для специалистов по анализу и обработке данных, бизнес-аналитиков и разработчиков. С помощью Amazon Redshift ML вы можете использовать операторы SQL для создания и обучения моделей SageMaker в Amazon Redshift на основе своих данных, а затем использовать эти модели для прогнозирования, например для обнаружение оттока клиентов, финансовых прогнозов, персонализации и оценки рисков прямо в своих запросах и отчетах. Интегрируйте крупные языковые модели в Amazon Redshift для выполнения сложных задач обработки естественного языка, включая суммирование текста, извлечение сущностей и анализ настроений. Это позволит получать более глубокие инсайты из данных с помощью SQL-запросов.