Apache Arrow. Обработка больших данных в оперативной памяти

Apache Arrow – это программная платформа с открытым исходным кодом, предназначенная для разработки приложений, эффективно выполняющих обработку и анализ табличных данных за счет размещения в оперативной памяти. В обновленном втором издании представлен обзор формата Arrow с акцентом на его преимуществах и универсальности.

Эта книга познакомит вас с форматами обмена и хранения данных и расскажет о взаимосвязи Arrow с Parquet, Protocol Buffers, FlatBuffers, JSON и CSV. Вы откроете для себя подпроекты Apache Arrow, включая Flight, SQL, Database Connectivity и nanoarrow, и освоите интеграцию с популярными системами обработки аналитических данных Snowflake, Dremio и DuckDB. В заключительных главах приводятся реальные примеры и описания продуктов на базе Apache Arrow.

Вы научитесь:

• использовать библиотеки Apache Arrow;
• обеспечивать эффективное производство и потребление данных Apache Arrow;
• применять вычислительный механизм Arrow Асего для выполнения сложных операций;
• создавать серверы и клиенты Arrow Flight для быстрой передачи данных;
• создавать библиотеки Arrow в локальном режиме и распространять их в сообществе.

Желательны базовые знания концепций анализа данных. В книге представлены многочисленные примеры исходного кода на языках C++, Python и Go.