Cloud Streams от VK Cloud: обрабатываем большие данные здесь и сейчас

VK Cloud представила новый облачный сервис для потоковой обработки данных в режиме реального времени — Cloud Streams. Сервис основан на системе Arenadata Streaming и предназначен для создания корпоративных хранилищ данных и аналитических сервисов для обработки сообщений, а также для получения инсайтов из неструктурированной информации.

Потоковые данные или данные в реальном времени — это информация, которая поступает непрерывно, часто сгенерирована в больших количествах многими источниками. Эти данные можно обрабатывать и анализировать в реальном времени, в отличие от традиционных «пакетных» процессов обработки данных, где данные собираются за определенный период времени и только потом обрабатываются.

Cloud Streams предоставляет компаниям возможность создавать приложения для работы с потоковыми данными с помощью удобного графического интерфейса. Можно масштабировать облачные ресурсы в соответствии с ростом или снижением нагрузки. Клиенты VK Cloud могут добавлять новые вычислительные мощности в облачный кластер или отключать ненужные.

Сервис способен получать и обрабатывать данные из корпоративных и разрозненных внешних систем, а также хранить их в течение определенного периода времени и предоставлять пользователям с требуемой нагрузкой. Cloud Streams также может функционировать как шина данных между корпоративными приложениями.

Сервис интегрируется с компонентами Cloud Big Data и всеми управляемыми СУБД в VK Cloud, а также с инструментами Elasticsearch, Couchbase, Cassandra через широкий набор API. Cloud Streams совместим с Arenadata Hadoop (на базе экосистемы сервисов Apache Hadoop) и Arenadata DB на базе Greenplum, что позволяет создать комплексное решение для работы с большими данными с использованием продуктов из реестра российского ПО.

Потоковые данные открывают новые возможности для бизнеса в вопросах принятия быстрых решений, проведения аналитики, прогнозирования и оптимизации.