Материалы

Материалы лекций

1. Слайды: Кэширование

2. Слайды: Рандомизация

3. Слайды: Алгоритмы сжатия

4. Блокнот: Реляционные БД и ORM

5. Слайды: Производительность обработки данных, распределённые СУБД, NoSQL Movement

6. Слайды: Виды нереляционных СУБД

7. Слайды: Техники и паттерны распределённого хранения данных и программирования

8. Слайды: Консенсус, CAP, PACELC

9. Слайды: Вебграфы

10. Слайды: И снова хэш-функции

11. Слайды: И снова нечёткое хэширование

Задания и примеры

Опубликованы здесь

Часть I

1. Собственные свойства и количественные показатели работы кэшей

2. Принцип Белади, тривиальные стратегии вытеснения; аномалия Белади; Cache-obvious алгоритмы

3. Вариации стратегии LRU; мемоизация

4. Splay-дерево, T-дерево

5. Что такое и зачем могут пригодиться субоптимальные решения; методы Монте-Карло и Лас-Вегаса

6. Тасование Фишера-Йетса: оригинальное описание; алгоритм Дюрштенфельда

7. Формулировка и смысл теоремы Котельникова

8. Принцип Compressive Sensing

9. Повышение точности при помощи рандомизации с примером

10. Способы рандомизированного поиска пути между препятствиями; Random Tree, Rapidly Exploring Random Tree

11. Муравьиные алгоритмы

12. Вероятностные тесты на простоту: где и зачем нужны; тесты Ферма и Соловея-Штрассена

13. Понятие информационной энтропии

14. Код Шеннона и алгоритм Хаффмана

15. Идея и алгоритм арифметического кодирования

16. Происхождение, принцип и области применения сжатия RLE

17. Алгоритмы сжатия LZW

18. Прямое и обратное преобразование Барроуза-Вилера

Часть II

1. Закон Мура в 1960-е и сейчас, закон Амдала; топологии распределённых вычислителей и решаемых ими задач

2. Предпосылки NoSQL и фактическое значение этого термина

3. Принципы ACID, BASE; сильная согласованность в конечном счёте

4. Графовые и дедуктивные СУБД; документоориентированные СУБД

5. СУБД типа ключ-значение; колоночные СУБД

6. Map-Reduce, Map-Reduce-Combine; пример на какой-нибудь документоориентированной СУБД

7. Устройства кластерных файловых систем, импорт данных

8. Page Rank, как пример задачи на Вебграфе; Google Matrix и Pregel

9. Понятие распределённого консенсуса; протоколы PAXOS и RAFT

10. Теоремы CAP и PACELC

11. Универсальные и совершенные хэш-функции, совершенные хэш-таблицы

12. Принципы блочного шифрования; криптографическая функция сжатия

13. Принципы и примеры хэш-функций класса Меркла-Дамгора; атака удлиннением сообщения

14. Принципы и примеры хэш-функций класса Keccak

15. Принципы и примеры хэш-функций класса SWIFFT

16. Мера Жаккара; принципы MinHash, SimHash и фильтра Блума; оценка их точности

17. Метрика Хэмминга; принцип Locality Sensitive Hashing и его применения для поиска данных

18. Вдумчивые и конструктивные замечания по содержанию курса

Не вошло в 2023

19. Количественный анализ вебграфов с использованием моделей Барабаши-Альберт и Боллобаша–Риордана

20. Количественный анализ вебграфов с использованием моделей Бакли-Остгуса и копирования

Рекомендованные онлайн-курсы

• На все семестры Data Structures and Algorithms University of California San Diego; National Research University Higher School of Economics

Список литературы и не литературы

• Конспект.

• Дж. Д. Ульман А. В. Ахо, Дж. Э. Хопкрофт. Структуры данных и алгоритмы. Издательский дом «Вильямс», 2000.

• Дональд Э. Кнут. Искусство Программирования. Издательский дом «Вильямс», 2000.

• Томас Кормен, Чарльз Лейзерсон, Рональд Ривест. Алгоритмы: построение и анализ. М.: МЦНМО, 1999.

• Кубенский А. А. Структуры и алгоритмы обработки данных. Объектно-ориентированный подход и реализация на C++. СПб.: БХВ-Петербург, 2004.

• Тоби Сегаран. Программируем коллективный разум: [пер. с англ.] // М. — Символ-Плюс, 2008, 368 с. 

• Кузнецов С. Д. Методы сортировки и поиска. ИСП РАН, Центр Информационных Технологий.

• Материалы лектора: приложение к данной странице; кому-то может показаться, что это лучше, чем ничего.