한국은 빅쿼리를 초창기부터 사용해 왔습니다. 2015년에는 한국의 레진 엔터테인먼트 소속 개발자가 빅쿼리 사용에 대한 세미나를 진행하기도 했죠(https://www.slideshare.net/modestjude/big-query-43974844). 클라우드 컴퓨팅이 점점 발전하면서 한국에서도 다양한 분야의 여러 기업이 데이터 웨어하우스, 데이터 분석, 머신러닝 등에 빅쿼리를 활용하는 사례가 늘고 있습니다. 하지만 한국 개발자 입장에서 빅쿼리를 시작하고 권장 사례를 찾아보기란 쉽지 않았습니다. 참고 문서의 내용과 이런저런 블로그 포스트를 찾아 조합해야 겨우 원하는 바를 찾을 수 있었을 겁니다. 그렇기에 『Google BigQuery: The Definitive Guide』의 한국어판 『구글 빅쿼리 완벽 가이드』 출간을 축하하지 않을 수가 없네요!
그동안 높은 수준의 도서를 출간해 온 책만 출판사에서 한국어판이 출간된다고 하니 정말 자랑스럽습니다. 번역 경험이 풍부한 장현희 님과 머신러닝 및 데이터 과학에 경험이 풍부한 변성윤 님이 만나 원서 내용에 충실하면서도 쉽게 읽히는 책으로 번역해냈다고 들었습니다. 저는 한국어를 모르지만 구글코리아의 믿을 만한 동료에게 물어보니 번역 품질은 걱정할 것 없다고 하더군요.
다른 클라우드 기술처럼 빅쿼리도 계속해서 빠르게 발전하고 있습니다. 작년에만 해도 스크립팅, 영구 사용자 정의 함수, 새로운 머신러닝 모델 등이 추가되었죠. 하지만 빅쿼리는 벌써 10여 년간 유지되어 온 제품이고 핵심 아키텍처도 매우 안정적이므로 이 책에서 제시하는 권장 사례는 여전히 유효합니다. 특히 이번 한국어판은 제가 2020년 6월에 마지막으로 업데이트한 원서의 내용도 담고 있다고 들었어요. 원서에 대한 내용은 깃허브 웹사이트(https://github.com/GoogleCloudPlatform/bigquery-oreilly-book)에 지속적으로 업데이트하겠습니다.
빅쿼리 사용자 커뮤니티에 합류하신 것을 환영합니다!
- 2020년 11월, 미국 워싱턴 주 벨뷰에서
나는 구글에서 다양한 산업 분야에서 데이터 과학자와 데이터 엔지니어와 함께 일하면서 그들이 데이터 처리 및 분석 방법을 퍼블릭 클라우드로 이전하도록 돕고 있다. 그들 중에는 온프레미스에서 하던 것과 동일한 작업을 컴퓨팅 자원을 임대해서 동일한 방식으로 시도하는 이도 있다. 그러나 비전을 가진 사용자는 그들의 시스템을 다시 고민하고, 데이터로 일하는 방식을 변화시킴으로써 혁신을 더 빠르게 실현하고 있다.
2011년 초반, <하버드 비즈니스 리뷰>의 기사에 따르면 전에는 가능하지 않았던 방식으로 그룹과 커뮤니티가 협력할 수 있기 때문에 일부 클라우드 컴퓨팅이 대성공할 수 있었다고 한다. 이제는 이와 같은 성공 사례를 훨씬 더 많이 볼 수 있다.
2017년의 MIT 조사에 따르면 클라우드로 전환한 이유에 대해 전보다 많은 응답자가 비용 절감(34%)보다는 민첩성의 증가(45%)라고 답변했다.
이 책에서는 데이터 과학을 수행할 때 좀 더 혁신적이고, 협력적인 방법을 살펴본다. 또한 엔드 투 엔드 파이프라인을 구현하는 방법을 알아본다. 서버리스 방식으로 데이터를 입수하는 것에서 시작해 데이터 탐색, 대시보드, 관계형 데이터베이스 및 데이터 스트리밍으로 머신 러닝 모델을 학습시켜 운영하는 것에 이르는 모든 방법을 연구할 것이다. 데이터 기반 서비스의 모든 측면을 다룰 것이다. 데이터 엔지니어는 서비스를 설계하고, 통계적 및 머신 러닝 모델을 개발하고, 대규모 상용 및 실시간 구현에 참여해야 하기 때문이다.
