(데옵) 데이터 몇 명이나 본다고 돈을 이만큼 써? (data) 오픈소스로 직접 해봤다![Airbyte]

데이터팀의 Airbyte 데이터 마이그레이션 서비스 실험기

데***팀에서는 "왜 굳이 데이터 마이그레이션 서비스를 써야 하냐. 그냥 데이터 엔지니어가 필요할때마다 뽑아서 주면 되는거 아니야"는 DMS의 불필요성 의문을 제기함

 

고민 끝에 오픈소스를 살펴보기로 했던 이야기입니다.

지금이라면 반박하겠지만 그땐 1인팀이고 데이터 직무 초반이라서 다른 방법을 찾아야 하는줄만 알았다.

그때 그 데브옵스 팀장님... 그분나가심

그래도 이거 해봤다

💡 When I searched data community, I saw many mention data migration service with SNS integration.

1. Infra Build — Airbyte 설치

git clone https://github.com/airbytehq/airbyte.git
cd airbyte
sh run-ab-platform.sh
# 서버는 기본 http://localhost:8000/ 에서 실행됨
# 기본 로그인 계정: airbyte / password
  

2. 리소스 사용량 확인

docker stats --format "table {{.Name}}\t{{.MemUsage}}\t{{.CPUPerc}}"
# Mac M1 환경에서 테스트
  

 

 

 

 

 

3. 다양한 Source 지원

지원하는 데이터 소스가 정말 많습니다!

기본 DB 이외에도

구글 스프레드시트, 인스타그램, 노션 등등.

4. 활용 가능한 곳은?

• 인스타그램 메신저 데이터?
• 세미 리얼타임 데이터 대시보드 구축
• 우리 회사에서는 레다시(Redash)를 비즈니스 대시보드로 활용 중
• Redash는 EOL(End of Life) 지났지만 아직도 만족스럽게 쓰고 있음 (2023년 현재)
• 그래서 토이 프로젝트로 Airbyte 써보려 함. 언젠가 본격 도입 가능성도?

 

 

한때, 인플루언서를 꿈꾸었던나,..

mysql -> insta 를 진행해보자

 

1. 내 로컬환경에 mysql 도커로 실행

2. airbyte에서 연결 설정

 

 

... 유료 회원만 가능하다고 함..

Terrafom

테라폼으로 구성함

https://registry.terraform.io/providers/airbytehq/airbyte/latest/docs/resources/source_instagram

contents

https://github.com/airbytehq/airbyte

https://docs.airbyte.com/cloud/managing-airbyte-cloud/manage-airbyte-cloud-notifications