카프카 커넥트2 [Kafka] 아파치 카프카 기본 개념 :: 카프카 커넥트 - 소스 커넥터 아파치 카프카 애플리케이션 프로그래밍 with 자바 책 공부 내용 정리소스 커넥터는 소스 애플리케이션 또는 소스 파일로부터 데이터를 가져와 토픽으로 넣는 역할을 한다.소스 커넥터를 만들 때는 connect-api 라이브러리를 추가해야 한다.connect-api 라이브러리에는 커넥터를 개발하기 위한 클래스들이 포함되어 있다.소스 커넥터를 만들 때 필요한 클래스는 2개다. 첫 번째는 SourceConnector이고 두번째는 SourceTask이다. SourceConnector는 태스크를 실행하기 전 커넥터 설정파일을 초기화하고 어떤 태스크 클래스를 사용할 것인지 정의하는 데에 사용한다. 그렇기 때문에 SourceConnector에는 실질적인 데이터를 다루는 부분이 들어가지 않는다.SourceTask가 실제로.. 2024. 11. 5. [Kafka] 아파치 카프카 기본 개념 :: 카프카 커넥트 아파치 카프카 애플리케이션 프로그래밍 with 자바 책 공부 내용 정리카프카 커넥트(kafka connect)는 카프카 오픈소스에 포함된 툴 중 하나로 데이터 파이프라인 생성 시 반복 작업을 줄이고 효율적인 전송을 이루기 위한 애플리케이션이다.커넥트는 특정한 작업 형태를 템플릿으로 만들어놓은 커넥터(connector)를 실행함으로써 반복 작업을 줄일 수 있다.커넥터는 각 커넥터가 가진 고유한 설정값을 입력받아서 데이터를 처리한다. 예를 들어, 파일의 데이터를 토픽으로 보내는 커넥터가 있다면 파일이 존재하는 디렉토리 위치, 파일 이름을 설정해야 한다.커넥터는 프로듀서 역할을 하는 '소스 커넥터(Source Connector)'와 컨슈머 역할을 하는 '싱크 커넥터(Sink Connector)' 2가지로 나뉜.. 2024. 11. 1. 이전 1 다음
