Apache Kafka
Apache Kafka - это платформа распределенной потоковой передачи событий с открытым исходным кодом, используемая тысячами компаний для высокопроизводительных конвейеров данных, потоковой аналитики, интеграции данных и критически важных приложений.
Сегодня миллиарды источников данных непрерывно генерируют потоки записей, в том числе и потоки событий. Событие - это цифровая запись о произошедшем действии и времени, когда оно произошло. Как правило, событие - это действие, которое приводит к другому действию в рамках какого-либо процесса. Примерами событий являются оформление заказа, выбор места на рейсе или отправка регистрационной формы. Событие не обязательно связано с человеком - например, сообщение подключенного термостата о температуре в определенное время также является событием.
Такие потоки открывают возможности для приложений, реагирующих на данные или события в режиме реального времени. Потоковая платформа позволяет разработчикам создавать приложения, которые непрерывно потребляют и обрабатывают эти потоки на чрезвычайно высоких скоростях, с высокой степенью достоверности и точности, основанной на правильном порядке их возникновения.
Компания LinkedIn разработала Kafka в 2011 году в качестве высокопроизводительного брокера сообщений для собственного использования, а затем предоставила открытый исходный код и передала Kafka в фонд Apache Software Foundation. Сегодня Kafka превратилась в наиболее широко используемую платформу потоковой передачи данных, способную принимать и обрабатывать триллионы записей в день без ощутимого снижения производительности при увеличении объемов. Такие компании из списка Fortune 500, как Target, Microsoft, AirBnB и Netflix, используют Kafka для предоставления своим клиентам услуг, основанных на данных, в режиме реального времени.