Распределённая обработка данных и NoSQL БД

1. NoSQL полтора десятилетия назад и сейчас

1. Истоки NoSQL Movement и ранние обещания
   • C. Strauch. NoSQL Databases // Hochschule der Medien, Stuttgart, 2011 🏛
   • M. Fowler. Nosql Definition 🏛
   • NoSQL — A tale of four sisters 🏛
2. «Война баз данных» и её неожиданный финал: триумф PostgreSQL и расцвет NewSQL
   • Sourav Mukherjee. The battle between NoSQL Databases and RDBMS 🏛
   • The PostgreSQL Renaissance: How One Database Is Replacing Them All 🏛
   • Кратко про NewSQL
3. Новый NoSQL 2026 года: зачем нам нереляционные модели сегодня
   • Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics 🏛
   • Apache Iceberg 🏛
   • Что такое векторная база данных

2. Общие подходы к решению распределённых задач

1. Протоколы распределённого консенсуса (Raft)
   • Распределенное KV-хранилище на базе etcd
   • In Search of an Understandable Consensus Algorithm 🏛
2. Распределённые хэш-таблицы (DHT) и P2P-архитектуры
   • P2P-архитектура: принципы, протоколы и будущее 🏛
   • Маршрутизация в пиринговых сетях 🏛
3. Event Sourcing и Stream Processing (Kafka, CQRS)
   • Лучшие практики для событийно-ориентированной архитектуры
   • Архитектура данных в Event Sourcing: где хранить события? 🏛
4. Архитектура типичных криптовалют (UTXO, консенсус)
   • Децентрализованные цифровые валюты. Часть 2. UTXO
   • HBTBD: A Heterogeneous Bitcoin Transaction Behavior Detection 🏛 DOI: 10.3390/app13158766

3. Нереляционные парадигмы и модели данных

1. Эволюция от MapReduce к современным распределённым движкам (Spark, Flink)
   • The Evolution of Big Data Processing: From Hadoop to Spark to Flink 🏛
   • Spark versus Flink: Understanding Performance in Big Data Analytics 🏛
2. Графовые БД и Knowledge Graphs (GraphRAG)
   • Улучшаем RAG с помощью графов знаний (GraphRAG)
   • Graph-RAG: гибридный поиск с графовой структурой... 🏛
3. Векторные модели хранения как новая NoSQL-парадигма
   • Выбираем векторную БД для AI-агентов и RAG: большой обзор
   • Векторные базы данных: принципы работы и применение 🏛
4. Мультимодельные СУБД (документы + графы + ключ-значение)
   • Мультимодельные СУБД — основа современных информационных систем

4. Дискуссионные вопросы

1. Теоремы CAP и PACELC
   • Недостатки и альтернативы CAP-теоремы для NoSQL и Big Data: BASE и PACELC 🏛
   • Консистентность и ACID-гарантии в распределенных системах
2. NoSQL vs NewSQL vs PostgreSQL: конец эпохи «войн баз данных»
   • Майкл Стоунбрейкер: Всё новое это хорошо забытое старое 🏛
   • Сравнение реляционного подхода с нереляционными (NoSQL) и масштабируемыми реляционными (NewSQL) решениями DOI: 10.35266/1999-7604
3. Data Lakehouse: мост между Data Lake и Data Warehouse
   • Data Warehouses vs. Data Lakes vs. Data Lakehouses 🏛
   • Data Lake vs. Warehouse vs. Lakehouse 🏛
4. RAG vs Fine-Tuning: архитектурный выбор хранения контекста
   • Смерть fine-tuning? Почему RAG и промпт-инженерия вытесняют дообучение
   • Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 🏛 DOI/arXiv: 10.48550/arXiv.2005.11401

5. Конкретные системы

1. Яндекс ClickHouse (и современные колоночные OLAP)
   • Глубокое сравнение StarRocks и ClickHouse в задачах аналитики
   • Сравнение возможностей NoSQL колоночной базы данных ClickHouse 🏛
2. Apache Cassandra / ScyllaDB (Wide-Column Store)
   • Как Discord хранит триллионы сообщений: переход с Cassandra на ScyllaDB
   • ScyllaDB Whitepaper
   • Наш опыт с Cassandra и ScyllaDB
3. Векторные СУБД: Qdrant / Milvus
   • Что могут векторные СУБД — open source инструменты
   • Vector Database Comparison in 2026: Nine Systems by Cost, Scale 🏛
4. YTsaurus: платформа распределённого хранения и обработки
   • YTsaurus: основная система для хранения и обработки данных Яндекса
   • Официальные доклады и публикации 🏛
5. PostgreSQL + pgvector как универсальный комбайн
   • Что умеет и где может пригодиться pgvector
   • How we implemented vector search in Postgres Pro

6. Баттл (Дебаты)

1. Qdrant/Milvus vs PostgreSQL + pgvector
   • Выбираем векторную БД для AI-агентов и RAG: большой обзор
2. Data Lakehouse (Apache Iceberg) vs Монолитный OLAP (ClickHouse)
   • Инфраструктура для Data-Engineer: Apache Iceberg и ClickHouse
   • Lakehouse 2026: Iceberg + Trino + ClickHouse для DWH
3. Event Sourcing (Kafka) vs Традиционные реляционные транзакции (ACID)
   • Распределённые транзакции в микросервисах: от SAGA до ACID
   • Архитектура данных в Event Sourcing: где хранить события? 🏛