데이터 엔지니어링
-
AutoRag 뜯어보기
AutoRAG 뜯어보기: 감(Gut) 대신 데이터로 RAG 튜닝하기사내 RAG 시스템 만드느라 임베딩 모델 바꾸고, Top-K 조절하고... 언제까지 이 짓을 감으로 할 순 없잖아요? 그래서 오픈소스 AutoRAG를 좀 삽질해 봤습니다. 결론부터 말하면, 'RAG판 AutoML'입니다. 지루한 파라미터 튜닝을 데이터 기반으로 자동화해 주는데, 꽤 쓸만합니다.국산 오픈소스의 저력, "한국어 처리가 안 깨진다"이게 제일 맘에 듭니다. 한국 개발자(해커)분이 만들어서 그런지, 외산 툴 쓸 때 겪는 한국어 형용사/조사 처리 문제가 거의 없어요.엔진 레벨에 Kiwi, Okt 같은 국산 형태소 분석기가 이미 녹아 있습니다.오타나 뉘앙스 섞인 한국어 사내 문서 긁어올 때(Lexical Retrieval), 삽질 시간..
2026.03.27
-
2026 RDS serverless 전환기
해당 페이지에서는 DB 서버리스에 도입에 대한 내용을 설명.도입배경현재 챗봇의 사용은 빈도가 매우 적은 상태임.기존에 작은 사이즈의 DB를 두어 사용했으나 빈도수가 적어 사용되는 리소스 사용량이 적어 적은 점을 고려하여 다른 리소스 정책을 설정하려고 함.서버리스란?서버리스는 리소스 사용량에 과금되는 방식으로 사용량이 증가하면 자동으로 스펙업이되는 리소스이다.서버리스(v2) 선정이유서버리스 v1 은 사용하지 않는 경우 0 리소스로 비활성화 되어 콜드타임이 발생했으나 서버리스 v2에서는 가장 작은 단위의 스펙(ACU)를 설정하여 콜드 스타트를 예방할 수 있다는 점에 서버리스v2를 고려함.** ACU 란?서버리스에서 리소스 단위(CPU와 메모리)로 정확한 CPU와 메모리는 공유되어 있지않다. 단 공식문서에는 ..
2026.02.11
-
2026년, 다이어트! AWS DB class scale...
2026년이 밝았다.작년 이맘때에도 redis를 줄이기 위해 연말과 연초에 DB 스트레스 테스트를 한거 같은데올해도 한다. 왜그런가 했는데 연초에 RI구매를 위한것.... 작년에는 메모리 DB였다면 올해는 RDS이다.우리가 사용하는 DB는 하나가 아닌 용도와 보안에 따라 여러 종류와 갯수로 나누어져 있다. 작년에는 Terrafom으로 여러 인스턴스를 올리고 내 로컬에서 컨트롤해서 살펴보는 방벙이었다면올해는 locust를 사용했다. 요 메뚜기는 무엇인가?https://locust.io/ 스트레스 테스트 툴이다.!이 툴 하나로 수 십 ~ 수 백개의 worker를 만들수 있다. 처음에는 이해가 되지 않았다. 내 노트북의 CPU와 메모리는 일정한데, 어떻게 그럴 수 있지?파이썬 몇개 돌리면 OOM 뜨는데..
2026.02.11
-
[DDP] Data Discovery 를 하면서...
데이터 디스커버리 플랫폼(DDP), 쉽게 말하면 '데이터 지도'흔히 DDP라고 하면 동대문 디자인 플라자를 떠올리지만, 데이터 분야에서 DDP는 데이터 디스커버리 플랫폼(Data Discovery Platform)을 의미합니다. - 회사나 조직에는 수많은 데이터가 존재하지만, 만든 사람 말고는 어떤 데이터인지, 어디에 써야 하는지 모르는 경우가 많습니다.간단히 말하면, DDP는 “데이터를 쉽게 찾고 이해하게 도와주는 지도 같은 플랫폼”입니다. 사실 이렇게 설명해도 이해가 어려운 분이 많습니다. 그래서 정말 쉽게 말하면 이렇습니다.“데이터(예: 인수인계)가 무슨 뜻인지 궁금하다고 물어보지 마세요. 거기 다 써 있습니다!”ㅎㅎ… 씁쓸하지만, 현실입니다. 데이터 엔지니어의 씁쓸한 현실 데이터 엔지니어로서 열심..
2025.11.13
-
DB 클라우드 전환기 - 설득의 심리학
이 글은 Redis DB를 클라우드 환경으로 전환한 경험을 일기 형식으로 기록한 글입니다. 프로젝트를 진행하면서 겪었던 고민과 배움을 솔직하게 남기고자 합니다. 끝나고 나서 느낀점들1. Staging에서의 데이터 마이그레이션 에러환경마다 미묘하게 다른 설정 때문에 예상치 못한 네트워크 에러가 여러 번 발생했다. “Dev에서 되니까 Staging도 되겠지”라는 생각이 얼마나 위험한지 절실히 깨달았다. 지표 비교의 어려움AWS와 Redis Cloud는 성능 지표 체계가 달라서 비교 자체가 어려웠다. 결국 “누구나 이해할 수 있는 지표”를 만드는 데 많은 시간을 썼다. 기준을 통일하는 게 얼마나 중요한지 몸으로 배웠다. 설득의 기술프로젝트 초반엔 “이걸 꼭 해야 하냐”는 반응이 많았다. 하지만 각 팀의 시니어..
2025.11.13
맛집
-
[신림]임우일 형님의 한우 88 도매장 방문기, 파김치 맛집
임우일 형님 아시죠?유튜브 볼 때마다 “아 이 형은 꼭 성공해야 한다” 했는데… 드디어 성공하셨습니다.형님이 고깃집을 열었어요. 이름도 멋있게 한우 88 도매장.제가 직접 다녀왔습니다. 가게 첫인상저는 오후 5시 20분쯤 도착했는데 이미 대기 줄이 있더라고요. (무려 2번)근데 대기할 때 심심하지 않습니다. 그냥 우일이 형님 유튜브 하나 틀어놓으면 돼요.대기마저 컨텐츠가 되는 집입니다.그리고 중요한 포인트 하나.5테이블당 에어컨 1대.폼으로만 달아놓은 에어컨 아니고, 진짜 시원합니다. 여름에 가면 냉장고 안에 들어온 느낌이에요.고기 가격여기는 시스템이 정육점처럼 고기를 따로 구매하는 방식이에요.그런데 가격이 말이 안 됩니다.다른 식당 대비 약 75% 수준.거의 도매장 가격으로 고깃집에서 먹는 느낌이에요..
2025.08.23
-
[사당 맛집] 라면사당행 — 비 오는 날, 뜨끈한 한 그릇의 위로
메리 합창단 테너 연습을 마치고 여권 갱신용 사진도 찍고 나서, 근처에서 라면이 땡겨서 찾은 라면사당행을 다녀왔어요.조금 비가 오락가락하는 날씨였는데, 따끈한 라면 한 그릇 생각나던 그 순간 딱이었답니다. 라면사당행의 매력 포인트 가격 착함! 3,500원부터 4,000원까지 부담 없는 가격대여름에도 시원하게! 에어컨 빵빵하게 돌아가서 더위 걱정 끝라면 종류가 다양해요! 입맛 따라 골라먹는 재미가 쏠쏠무료 토핑 무한리필!소시지(고급 토핑이라 꼭 챙기세요)숙주, 단무지, 조랭이떡, 만두, 파 등 다양하게 올려먹기전자레인지도 구비되어 있어 따뜻하게 즐길 수 있어요 깔끔한 분위기 & 무인 시스템 가게 내부는 깔끔하게 정돈되어 있고, 손님들도 식사 후 자리를 깨끗하게 치우는 편이라 기분 좋게 이용할 ..
2025.08.09
