1. 태그 기반 추천의 한계기존 추천 방식study-admin은 블로그 스터디를 운영하기 위한 관리 서비스다. 스터디원들이 작성한 글을 모아 보고, 외부 아티클이나 컨퍼런스 콘텐츠를 큐레이션하는 기능이 있다.처음 추천 방식은 단순했다. 사용자의 관심사 태그와 콘텐츠에 붙은 태그가 얼마나 겹치는지 보고 정렬했다.추천 점수 = 사용자 interests ∩ 콘텐츠 tags 개수작은 서비스에서는 이 방식도 나쁘지 않다. 구현이 쉽고, 결과를 설명하기도 쉽다. 예를 들어 사용자가 React, LLM에 관심이 있고 콘텐츠 태그에도 React가 붙어 있다면, 왜 추천됐는지 비교적 명확하다.하지만 실제 데이터를 넣고 써보면 한계가 빨리 보였다.태그가 비어 있으면 추천도 비어버린다첫 번째 문제는 태그가 비어 있거나 부정..

AI와 개발에 대해 이야기하는 구름 커밋 세션을 들었다. 요즘 워낙 "AI로 개발자가 대체된다", "바이브 코딩이면 혼자 서비스도 만든다" 같은 말이 많아서 조금은 뻔한 이야기일 줄 알았는데, 실제 현장에서 부딪힌 사례들이 꽤 구체적이었다.듣고 나서 제일 크게 남은 건 하나였다. AI가 코드를 잘 짜는 시대가 됐지만, 그 코드를 이해하지 못한 책임은 결국 사람에게 돌아온다.AI가 만든 코드는 빠르게 부채가 된다가장 인상 깊었던 사례는 STT 모델 이야기였다. 비개발자가 "음악을 텍스트로 바꿔줘"라고 요구했는데, AI가 서버에 무거운 STT 모델을 직접 올리는 방식으로 구현해버렸다고 한다. 요구사항만 보면 틀린 건 아닌데, 운영 관점에서는 서버 성능을 크게 갉아먹는 선택이었다. 문제는 이런 일이 한 번으로..

최근 구름에서 열린 에이전트 코딩 세션에 다녀왔다. 발표자는 모아이(Moai) ADK라는 에이전트 개발 키트를 만든 분이었다. 세션은 본인의 실패 경험에서 시작해, 그 실패를 줄이기 위해 어떤 도구와 작업 방식을 만들었는지 설명하는 흐름이었다.2시간 정도 들었고, 끝나고 나니 몇 가지는 기록해두는 게 좋겠다고 생각했다.1. "AI한테 다 맡겼다가 500달러 날렸습니다"발표는 2024년 말의 실패 이야기로 시작됐다. 발표자는 와디즈에서 LLM 기반 사주 분석 서비스를 크라우드펀딩했다. 1차는 성공했지만 2차에서 문제가 터졌다.Cursor에 500달러를 썼는데, AI가 기존 코드를 마음대로 바꿔버렸다고 했다. 분명히 잘 돌아가는 것을 확인했는데 PDF 라이브러리가 어느 순간 교체되어 있었다. LangChai..

AI 서비스를 직접 만들고 운영하는 세 명의 실무자가 나눈 대화를 들었다. 이론서에 없는 현장 이야기가 많아서 메모하면서 계속 끄덕였다. 인상 깊었던 것들을 적어본다.틀린 이유를 쪼개야 고칠 수 있다AI 응답이 틀렸을 때 그냥 "틀렸다"고 넘기면 막막하다. 패널들이 오류를 네 가지로 쪼개서 분석한다는 이야기를 듣고, 이건 실무적으로 당장 써먹겠다 싶었다.문맥 파악 실패면 프롬프트를 고치고, 데이터 검색 실패면 RAG 파이프라인을 고치고, 데이터 조합 실패면 청킹이나 검색 로직을 점검하고, 최종 생성 실패면 모델이나 파인튜닝을 의심한다. 각각 해결책이 다르니까 원인을 먼저 분리하는 게 시작이라는 생각이 들었다.재현성 이야기도 나왔다. 100번 같은 질문했는데 99번은 같고 1번 다르게 나온다면, 이게 AI..

1. 인트로며칠 전 aaru라는 해외 스타트업에 대한 글을 봤다. 이 회사는 가상의 페르소나 수천 명을 만들어서 실제 세계의 현상을 예측한다. 선거 결과, 제품 반응, 여론 동향까지. 실제 사람을 인터뷰하지 않고도 꽤 높은 정확도로 맞춘다는 얘기였다. "가상의 사람한테 물어보면 진짜랑 비슷하게 나온다고?"반신반의하면서도 흥미로웠다. 그러던 중 허깅페이스에서 엔비디아가 만든 한국인 페르소나 데이터셋을 발견했다. 이름은 Nemotron-Personas-Korea. 한국인 100만 명 분량의 가상 프로필인데, 연령, 성별, 직업, 거주지, 자기소개까지 딸려 있었다. 이걸로 내가 만드는 서비스에 대한 가상 사용자 인터뷰를 해볼 수 있지 않을까?그래서 해봤다. 1만 명한테 물어봤다. 내 컴퓨터 안에서.2. "그래..

현재 다니는 회사에서는 프론트엔드를 담당하고 있다.회식 자리에서 AI에 관심 있다고 말했다가,사내 AI 에이전트 개발을 맡게 됐다.하려는 것은 다음과 같다.맥을 병렬로 연결한다.(한 컴퓨터에서 도커를 여러개 띄우는 것처럼)이 맥들을 LiteLLM을 통해 라우팅 하며 관리한다.근데 사실 나는 ai 에이전트, 하네스와 같은 것에 관심이 있던거지 인프라에는 관심이 그렇게 많지 않았어서 당혹스러웠다.맥 스튜디오 128GB 짜리를 지급 받고 개발을 시작하려던 도중에 MLX와 GGUF라는 것에 대해서 알게 되었고, 이 차이를 명확하게 이해해보기 위해 글을 써보려고 한다.1. 들어가며휴대폰에서 돌릴 수 있는 Gemma4, 양자화등 로컬 환경에서 LLM을 돌리기 위한 노력들은 국내외를 가리지 않고 점점 늘어나고 있다...