Home
Cojette의 Data Wonderland
Cancel

Presto 쿼리 실행계획 겉핥기

들어가며 우리는 여러 가지 이유로, 여러 가지 용도에 사용하기 위해 데이터를 조회합니다. 많은 경우 SQL기반의 데이터 처리 엔진에 SQL 을 사용해서 데이터를 조회하게 됩니다. 이 때, 기본적으로 문법에 맞춰서 데이터를 조회하면 데이터가 잘못 나올 일은 극히 드뭅니다. 하지만 간혹 생각과 다른 데이터가 나온다거나, 잘 돌아가는 지를 확인하고 싶은데 ...

서비스에서의 데이터팀에 대한 단상

11월 초에 모 처에서 ‘서비스에서 다양하게 데이터를 사용하는 법’에 대해서 발표를 했었다. 강의 자료는 오픈하지 않기로 했으므로 오픈하지 않지만, 간단하게 요약하면 다음과 같다 디자인, 마케팅, 경영 등에서도 데이터를 보는 것이 트렌드고 실제로도 필요하다. 데이터를 기반으로 문제를 푸는 것은 기본적인 데이터 분석의 프로세스를 따르게 된다....

비즈니스의 AI와 전문가 시스템

요즘 인공지능이 시대의 화두인 것은 두말할 나위가 없다. 추석 연휴 때에 잠시 본 TV에서는 ‘인공지능’ 어쩌고 하는 광고가 10개 넘게 지나갔고, 인공지능 관련 책이 서점에서는 쏟아져 나온다. 하지만 우리의 손에 실질적으로 닿는 인공지능(AI)이란 어떤 것일까. 사실 지금도 Siri같이 바로 옆에서 사용해 볼 수 있는 것도 있고, 우리네가 사용하는 ...

201707-201709 책 로그

여름은 장르 소설의 계절이고, 그 와중에 올 여름은 무라카미 하루키, 스티븐 킹, 온다 리쿠 등 국내에서 날고 긴다는 외국 작가들의 책도 잔뜩 나왔다. 덕분에 볼 책들이 산더미(언제는 안 많았던 것 마냥). 좋은 책은 더더욱 한 가득이었다. 그리고 여름이 지나가면서 나의 독서 의욕 역시 지나가고, 글자는 눈에 안 들어오는 시기가 도래했다. 가을은 ...

Business Analyst와 데이터 추출

A business analyst (BA) is someone who analyzes an organization or business domain (real or hypothetical) and documents its business or processes or systems, assessing the business model or its ...

서비스 분석에서의 대표성

샘플 수가 문제가 아니다. 신문 기사의 설문 통계 기사에서는 표본들을 자세히 보지 않으면 속는다는 이야기를 한다 (실생활에서의 통계 관련 고전 도서인 [새빨간 거짓말, 통계(How to lie with statistics)]에서 가장 먼저 등장하는 사례가 이 예제다(1)). 일반적으로 흔히 이야기하는 부분은 이런 것이다. ‘아니 겨우 몇 백명에...

머신 러닝에서 알고리즘 공부를 말할 때 내가 하고 싶은 이야기

AI Conference에서 인상 깊게 들은 talk으로 머신 러닝 계의 전설이 아닌 레전드 피터 노빅느님의 키노트가 있었다. 무수한 딥러닝/머신 러닝 프레임워크들이 등장하면서 AI 프로그램도 공장제;; 가 되었지만 여기서 간과되는 것이, 머신러닝을 일반 프로그래밍처럼 다루게 되는 것이다. 그래서 모델을 프로그램 짜는 양 만들고, 데이터 trainin...

201704-201706 책 로그

개인적으로 참 징글징글하게 다이나믹한 기간이었고, 그나마 몇 가지 위안 중에 하나는 책이었다. 책을 읽은 직후와 한참 후에 이렇게 다시 돌아보면 책에 대해 냉정해 지거나, 혹은 아예 인상에 안 남아서 기억마저 가물거리는 경우도 허다하다. 재미있지 않은가. (늘 그렇듯 추천은 볼드체로) 2017-04 [너무 시끄러운 고독] : 의...

O’Reilly AI Conference 3일차 후기

드디어 대망(?)의 3일차. Keynotes 2, 3일자 키노트는 유튜브에 다수 올라와 있으니 필요하신 분은 참고하세요. 키노트 답지 않게 상세한 설명을 해주는 학술적(?) 키노트가 많아서 좋았다. Magenta : Machine Learnin Creavity 첫 시작은 구글의 발표. 딥 러닝으로 예술 관련 프로젝트를 하는 마젠타 프로젝트에 ...

O’Reilly AI Conference 2일차 후기

드디어 메인인 세션 발표 날이다. Keynotes 키노트는 보통 1주일쯤 후(?) youtube에 무료로 공유되는 것으로 알고 있다. 키노트들 중 흥미로운 것들이 몇 개 있었으니 관심있으신 분들은 한 번 찾아보는 것을 권한다. Observations on the era 언제부턴가 데이터 관련 O’Reilly 의 간판이 된(?) Ben Loric...