- #SkladchinaVip
- #1
[Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka
- Ссылка на картинку
-
Программа курса Администрирование кластера Kafka
1. Введение в Kafka
Соотношение теории к практике 50/50
Курс предназначен для специалистов, которые хотят изучить:
1. Введение в Kafka
- Что такое Apache Kafka?
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka
- Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
- Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
- Брокеры (Brokers): Развертывание. Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.
- Требования по установке кластера Kafka
- Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
- Установка кластера Kafka без использования Zookeeper KIP-500
- Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
- Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
- Конфигурация Listeners. Отказоустойчивость кластера Kafka.
- Установка кластера Kafka на Yandex Cloud
- Операции с Топиками (Topic)
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer
- Пользовательские интерфейсы для работы с Kafka
- Оптимизация производительности компонент кластера
- Масштабирование кластера
- Балансировка разделов(partition) и использование Partition Reassignment Tools
- Best Practices Kafka/Confluent
- Мониторинг кластера Kafka
- Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana
- Использование Apache NiFi
- Интеграция Apache Hadoop с Kafka
- Сценарии интеграции с Apache Kafka
- Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
- Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. - Confluent REST Proxy. Confluent Schema Registry (обзорно)
- Репликация кластера с использованием Mirror Maker 2
- Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
клиентов - Аутентификация SSL/SASL
- Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
- Авторизация в Kafka
- Управление списками управления доступом (ACL)
Соотношение теории к практике 50/50
Курс предназначен для специалистов, которые хотят изучить:
- методы администрирования и настройки кластера Apache Kafka;
- настройку безопасности Kafka с SSL и Kerberos;
- примеры интеграции;
- мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров;
- практику развертывания кластера Kafka в облаке Yandex;
- особенности использования Yandex Manager Service для Apache Kafka
- Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
Показать больше