Embora o Apache Kafka e o Kafka Connect sejam totalmente distintos, suas estruturas obviamente fazem parte do mesmo ecossistema.
O Apache Kafka é conhecido como um serviço de logs que se destaca pela sua capacidade de armazenamento. E os logs nada mais são do que eventos e dados que nós utilizamos para fazer com que outros serviços acessem as suas informações.
Já o Kafka Connect é uma estrutura utilizada para importar e exportar serviços. Seu objetivo é facilitar a conexão entre os nossos sistemas e aplicações de uma forma muito simples, rápida e eficiente utilizando o próprio Kafka.
Se um sistema precisa de dados do MySQL ou de outra aplicação, por exemplo, e ainda precisa consumir informações, ou mesmo quando adicionamos uma nova compra no nosso banco de dados, o Kafka Connect consegue resolver essas tarefas facilmente através de conectores. E os seus conectores operam através de fontes de dados que podem integrar quaisquer tipos de banco de dados, sistemas e soluções.
Se essas informações forem do MySQL, por exemplo, o Kafka Connect consegue pegar quaisquer novos registros adicionados para colocá-los num tópico do Kafka.
Os nossos sistemas também podem optar pela opção do Sink Connector que lê o dado que está no Kafka e consegue colocá-lo em outro lugar. E se, por exemplo, o nosso sistema tem um banco de dados SQL Server, através do Kafka o Sink consegue enviar esses dados para um outro sistema.
Por integrar diversos sistemas o Kafka Connect pode exportar o estiver no MySQL para o MongoDB ou para o Salesforce, por exemplo. Ou mesmo exportar o que está no Salesforce para o SAP. Vale destacar que tudo isso é feito sem programação; basta apenas configurar um simples arquivo para que o Kafka Connect faça o seu trabalho.
Quando utilizamos essa estrutura num formato Cluster, o Kafka Connect consegue processar as informações das nossas jobs entre diversas máquinas, de forma conjunta e realizando a mesma tarefa, sem o risco de duplicar informações.
Como resultado de tudo isso você pode integrar sistemas ou fazer simples alterações de formato durante a migração dos seus arquivos. E, se você pretende economizar tempo como desenvolvedor, evitando fazer vários scripts de transações entre os sistemas, o Kafka Connect será a ferramenta ideal para te ajudar no seu trabalho.
Curtiu esse post? Se você quer aprender mais sobre Kafka Connect, solicite contato clicando aqui e nós te ajudamos.
