Kafka

Вопросы:

1. Что такое Apache Kafka и для чего она используется?

2. Какие основные компоненты входят в архитектуру Kafka?

3. Что такое топик (topic) в Kafka?

4. Объясните, что такое партиция (partition) в Kafka и зачем она нужна.

5. Что такое продюсер (producer) в Kafka?

6. Что такое консьюмер (consumer) в Kafka?

7. Объясните разницу между продюсером и консьюмером.

8. Что такое брокер (broker) в Kafka?

9. Что такое зоопарсер (ZooKeeper) и какова его роль в Kafka?

10. Какие виды данных можно передавать через Kafka?

11. Что такое offset в Kafka и как он используется?

12. Как работает механизм хранения сообщений в Kafka?

13. Что такое retention period и как он влияет на хранение сообщений?

14. Как Kafka обеспечивает отказоустойчивость?

15. Что такое репликация в Kafka и зачем она нужна?

16. Объясните концепцию лидера (leader) и фолловеров (followers) в Kafka.

17. Как Kafka обеспечивает консистентность данных между брокерами?

18. Что такое Consumer Group в Kafka?

19. Как работает балансировка нагрузки между консьюмерами в одной группе?

20. Что такое отложенное потребление (lag) и как его отслеживать?

21. Какие модели доставки сообщений поддерживает Kafka? (at-most-once, at-least-once, exactly-once)

22. Что такое идемпотентный продюсер в Kafka и зачем он нужен?

23. Как реализовать транзакции в Kafka?

24. Чем отличается Kafka от традиционных брокеров сообщений, например, RabbitMQ?

25. Что такое Schema Registry и как он используется вместе с Kafka?

26. Какие форматы сериализации данных чаще всего применяются с Kafka?

27. Какие существуют методы обеспечения высокого уровня производительности продюсеров и консьюмеров?

28. Как мониторить состояние кластеров Kafka?

29. Какие инструменты используют для управления и мониторинга Kafka?

30. Объясните процесс настройки сжатия сообщений в Kafka и его преимущества.

31. Что такое Kafka Connect и зачем он нужен?

32. Что такое Kafka Streams и для каких задач он применяется?

33. Объясните понятие idempotency в контексте Kafka и его важность.

34. Как справляться с дублирующимися сообщениями в Kafka?

35. Как происходят обновления и миграции топиков в Kafka?

36. Как масштабировать Kafka-кластер при росте нагрузки?

37. Какие есть ограничения на количество партиций и брокеров в Kafka?

38. Практические кейсы и лучшие практики использования Kafka:

39. Приведите несколько примеров бизнес-задач, для которой Kafka является оптимальным решением.

40. Как можно использовать Kafka для организации событийной архитектуры (Event-Driven Architecture)?

41. Опишите, как построить систему сбора логов с помощью Kafka.

42. Как интегрировать Kafka с базами данных (например, через Kafka Connect)?

43. Какие паттерны проектирования рекомендуются при использовании Kafka?

44. Как минимизировать задержки и повысить throughput в системах на Kafka?

45. Опишите подходы к тестированию систем, построенных на Kafka.

46. Какие есть типичные ошибки при работе с Kafka в продакшн и как их избегать?

47. Какие метрики отслеживать в продакшн кластере Kafka для своевременного обнаружения проблем?

48. Опишите процесс оптимизации топиков и партиций под конкретные бизнес-требования.

49. Как настроить и использовать Kafka в облачной инфраструктуре (AWS, GCP, Azure)?

50. Как сочетать Kafka с системами очередей сообщений и какую роль Kafka может играть в такой архитектуре?