GeekNews Weekly Trend
데이터 플랫폼과 분석 인프라
데이터 인프라, 데이터 팀, 서버리스 데이터 시스템, ML/AI/Data 업계 지도, 데이터베이스와 데이터 엔지니어링 전망을 따라간 흐름입니다.
이 흐름을 어떻게 봤나요
데이터 관련 Weekly를 시간순으로 보면, 초반에는 데이터 인프라와 데이터 팀을 어떻게 만들 것인가가 주요 관심사였습니다. 분석 파이프라인, 데이터 플랫폼, 데이터 조직의 역할 같은 주제가 먼저 등장했고, 이는 스타트업과 제품 팀이 데이터를 운영의 기본 언어로 받아들이기 시작한 시기와 맞닿아 있습니다.
이후 흐름은 데이터베이스와 서버리스 데이터 시스템, 그리고 ML/AI/Data 생태계 지도로 넓어졌습니다. 데이터가 단순한 리포팅 수단에서 제품 기능, 추천, 자동화, AI 학습과 추론을 받치는 기반으로 이동하면서 Weekly의 주제도 데이터 인프라와 AI 스택을 함께 읽는 방향으로 바뀌었습니다.
특히 2024년 이후에는 AI 스타트업의 데이터 수집 전략, 2025년 데이터베이스와 데이터 엔지니어링 전망처럼 “AI 시대에 데이터는 어디에 쌓이고 어떻게 움직이는가”라는 질문이 전면에 올라왔습니다.
반복해서 보이는 신호
데이터 팀과 데이터 플랫폼을 조직 안에 만드는 방법
서버리스, SQLite, 데이터베이스 선택지의 재평가
AI 제품을 가능하게 하는 수집, 정제, 운영 인프라
대표 Weekly 타임라인
GN#68. 최신 데이터 인프라를 위한 새로운 아키텍처
수집되는 정보의 양의 점점 늘어나면서, 빅데이터와 데이터분석이 아주 중요해졌습니다. 이제 데이터가 흐르는 조직 문화를 갖추고, 데이터 기반의 의사결정을 하는 기업이 되어야 성공할 수 있다고까지 얘기를 합니다. 이런 조직을 만들기 위해서는 다양한 일들이 수반되어야겠지만, 그중에 중요한 것 중 하나는 바로 비즈니스에 잘 맞는 데이터 인프라스트럭쳐를 구축하는 것입니다. 복잡해진 정보 구조에 대응하...
GN#76. FT의 데이터플랫폼 구축기와 슬랙의 Vitess 도입기
신문(Newspaper)은 디지털의 발전과 함께 빨리 없어질 것만 같은 미디어입니다만, 100년 넘게 유지해온 신문사들도 자신들을 바꿔가려고 다양하게 노력을 하고 있습니다. 뉴욕타임스의 디지털 트랜스포메이션은 제가 기사 및 동영상 으로도 찍어서 공유해 드렸었는데요. 이번 주에는 Financial Times 가 자신들의 내부 데이터 플랫폼 구축기를 상세하게 적어서 공개했습니다. 꼭 신문사뿐만...
GN#83. 2021년 5가지 데이터 트렌드
스타트업을 비롯해서 대기업까지 데이터가 더더욱 중요해지고 있습니다. 요즘엔 많은 조직들이 다양한 서비스와 오픈소스들을 결합하여, 어떻게 하면 노력을 최소화하면서도 최신 기술들로 조직 내의 데이터 인프라를 구성할 것인지에 대해서 고민을 하고 있는데요. "2021년 5가지 데이터 트렌드" 글에서는 이 모던 데이터 스택과 데이터 레이크하우스, 메타데이터 및 데이터 품질 등 올해 눈여겨 봐야 할 트...
GN#105. SQLite의 알려지지 않은 이야기
현재 거의 모든 스마트폰, 웹브라우저, TV, 자동차에는 SQLite DB 가 들어있습니다. 실제로 운영 중인 SQLite는 1조 개 가 넘는다고 하는데요. zlib, libpng, libjpeg 등과 함께 가장 많이 설치된 소프트웨어 모듈이기도 합니다. SQLite의 최초 설계자이자 개발자인 Richard Hipp이 팟캐스트 인터뷰를 통해서 SQLite가 처음에 어떻게 만들어졌고, 발전해...
GN#106. 스타트업에서 데이터 팀 만들기
기술에 친숙한 스타트업일수록 데이터 기반으로 의사 결정을 하는 데이터 드리븐 회사 가 되기를 원합니다. 그 최종 목적지라고 할 수 있는 데이터 문화를 만드는 것은 정말 어려울 수 있으니, 그 첫 단계로 데이터 팀을 만드는데요. 데이터 팀만 만들면 뭔가 알아서 착착 잘 될 거라고 기대하지만, 마음대로 잘 안 되죠 . Better 라는 모기지(mortgage) 회사의 CTO인 Erik Bernh...
GN#122. 2021년 데이터/ML/AI 업계 지도와 최신 트렌드
Data와 AI 는 근래 IT산업에서 가장 뜨거운 주제입니다. FirstMark의 VC인 Matt Turck는 2012년부터 2년 단위로 빅데이터 에코시스템을 조망하는 보고서를 만들어 왔는데요. 2017년부터는 변화가 많아서 매년 " Data & AI Landscape "라는 제목으로 업계를 총망라한 이미지 한 장과 상세한 설명을 곁들여 인기를 끌고 있습니다. 올해의 주제는 저도 흥미가 생겨...
GN#230. 서버리스 데이터 시스템의 아키텍처
S3 같은 대규모 클라우드 서비스들은 어떻게 단순성, 신뢰성, 내구성, 확장성을 제공하면서도 저렴한 가격에 제공이 가능할까요? 이건 이런 서비스들이 "대규모, 멀티 테넌트" 아키텍처로 설계되었기 때문입니다. "서버리스 데이터 시스템의 아키텍처" 글은 서버리스와 멀티테넌시에 대한 정의부터 시작해서, 이 시스템을 구성할 때 어떤 도전과제들이 있는지 등을 소개하는 글인데요. 최신 서버리스 시스템들...
GN#249. 2024년 ML/AI/Data 업계 지도와 최신 트렌드
FirstMark 캐피탈의 Matt Turck는 매년 데이터/인공지능 관련 업계 지도를 만들고 있는데요. 첫해인 2012년엔 139개의 데이터 관련 기업으로 시작했다가, 올해는 ML/AI/Data 관련을 묶어서 2000개가 넘는 회사들이 포함된 MAD 업계 지도라는 제목으로 공개했습니다. 기업들이 이렇게 많아진 것은 최근 10년간 "데이터 인프라 기술"과 "ML/AI 기술"의 두 가지 거대한...
GN#252. 2024년 AI 스타트업을 위한 데이터 수집 전략
작년에 이어서 올해, 그리고 앞으로 한동안은 AI가 업계의 화두일 것 같습니다. 생성형 AI 제품들이 소비자들에게 점점 익숙해지는데, 스타트업들은 AI 제품에서 어떻게 차별화를 가져가야 할까요? 가장 중요한 것 중 하나가 데이터 수집인데요. 남들보다 뛰어난 AI 제품을 위해서는 그 기반이 되는 데이터를 잘 수집해야 할 텐데 스타트업에게는 여기서부터 어려움이 있기 때문입니다. "2024년 AI...
GN#284. 2025년을 위한 7개의 데이터베이스
조금 규모 있는 서비스를 개발하기 시작하면 DB를 뭘 써야 할지 고민에 빠지게 됩니다. 익숙한 DB가 있으면 편하게 선택하기도 하지만, 프로젝트에 맞는 DB는 다를 수도 있기에 고민하게 되죠. "2025년을 위한 7개의 데이터베이스" 글은 최근 많이 사용되는 DB들을 분야에 맞게 정리하고 있습니다. 가장 범용적인 Postgres부터 로컬용 SQLite, 임베디드 OLAP용 DuckDB, 대규...
GN#286. 데이터 엔지니어링의 2025년 예상
올해는 역시 AI가 시장의 화두이긴 한데 얼마 전까지만 해도 데이터가 가장 큰 이슈였고, 사실 지금도 데이터는 다양한 분야에서 활용되고 있습니다. 데이터 엔지니어링 뉴스레터인 Data Engineering Weekly에서 2025년에 대한 6가지 예상을 정리했는데요. 올해는 AI가 도입된 개발 환경이 많이 인기를 끌었는데, 내년엔 Data IDE라고 새로운 유형의 데이터 통합 개발 환경이 부...