제씨 블로그

안녕하세요 제씨입니다.

저는 현장에서 Qlik툴을 이용해서 고객사에서 프로젝트를 하고 있습니다.

그래서 현장에서 목소리를 들어보면

Qlik에서 제공하는 이 두 가지 툴에 대해 궁금증이 많이 있으세요

그래서 오늘은 이 두 가지 툴을 비교하는 블로깅을 해보고자 합니다 :-)

1. QlikSense와 QlikView의 공통점

이 두 제품은 한 회사에서 만든 제품이므로 엔진 측면에서 공통적인 분모를 가져갑니다.

먼저 위의 구조도를 보시면 이해에 도움이 될까하여 올립닏.

Qlik은 기존 BI가 담당하던 여러 부분을 저렇게 하나로 묶어서 제공합니다.

ETL(Extract, Transform, Load)에서부터 마트구성, 그리고 시각화까지 말이지요

위에 언급한 전반적인 기능은 두 제품이 모두 공유합니다.

그리고 Qlik 엔진이 가지고 있는 In-Memory 성능을 통한 속도의 장점,

QVD 마트를 통한 데이터 압축을 포함해서요.

그럼 이 두 제품이 각각 나뉜 이유가 무엇일까요?

저는 그 가장 큰 이유로 비즈니스가 전반적으로 Agile형태로 바뀌었기 때문이라고 생각합니다.

기존의 BI툴은 의사결정자를 위한 것이었습니다.

그들이 보고자 하는 지표들은 정해져 있었죠

그 회사의 KPI, 매출현황, 이익현황, 또는 각 제품별 분석 등으로 말이지요

다시 말하면, 한 번 만들어놓으면 그것을 다시 힘들여 제작할 필요가 적었습니다.

하지만 지금은 어떤가요?

소비자가 빠르게 변하고, 각 기업은 빠르게 변화하는 시장환경과 내부상황을 파악해야 합니다.

즉 기업은 빠르게 분석할 수 있는 환경을 원합니다.

하지만 QlikView라는 툴보다는 QlikSense 툴이 이런 빠른 방식의 분석에 조금 더 용이합니다.

왜냐하면 Qlik Sense는 보다 사용자 편의를 고려한 제품이거든요!

다시 말해 사용자, 즉 해당 분석을 담당하는 구성원(경영자, 의사결정자가 굳이 아니더라도)이 직접 시각화를 구성하고

데이터를 묶을 수 있는 전반적인 BI의 과정을 손쉽게 구현하도록 만든 제품이라는 말입니다.

2. QlikView vs QlikSense

먼저 QlikView는 현재 12 Version까지 출시가 되었습니다.

QlikView2가 1996에 출시되었다고 하니, BI툴이 하나의 브랜드를 가지고 25년을 살아남고 있는거네요.(이번 조사에서 알게 되었습니다.) 그리고 QlikView12가 2015년에 출시되었고, 현재 버전업을 거쳐 2019년 SR2버전을 마지막으로 새로운 업데이트는 없습니다. 왜냐하면 지금은 Qlik Sense라는 제품에 회사가 주력하고 있기 때문이지요 :)

QlikView는 개발자 친화적입니다.

원하는대로 구현이 가능하고, Off-line에서도 분석을 수행할 수 있어서 매우 편합니다.

그리고 간단한 시각화정도는 desktop버전을 받아서 손쉽게 수행할 수도 있고요.

다만 디자인적 요소가 바뀌는 시대의 흐름과 맞지 않습니다.

QlikSense의 화면을 보실까요?

어떤가요?

조금 더 단순하면서 깔끔한 느낌을 주지 않나요?

QlikSense는 2014년에 첫 출시를 하여 현재까지 Qlik이 주력해오고 있는 제품입니다.

장점은 명확합니다.

현대적인 디자인과 Grid를 통해 디자인과 그래프 배치 측면에서 사용자 편의성이 극대화 되었습니다.

QlikView보다 오히려 개발적인 측면에서는 선택지를 줄였는데요, 이게 바로 QlikSense의 핵심입니다.

사용자가 분석을 하기 위해 가장 필요한 분석요소만 남겨놓고, 나머지는 과감히 버린 것이지요.

물론 기존의 QlikView도 충분히 교육을 통해서 사용자가 분석하고 사용할 수 있도록 만들어 놓았습니다만,

QlikSense는 그 장점을 부각하여 제작한 툴인 것 같습니다.

따라서 QlikView가 구현하던 것들 중 일부가 QlikSense에서 구현되지 않는 경우가 있습니다.(반대상황도 종종 있습니다.)

그래프의 다양성과 확장성 측면에서 QlikSense가 조금 더 우세를 가져갑니다.

요즘들어 많이 쓰이는 fancy한 그래프들(Sankey Diagram, Waterfall barchart, Geoanaytics)을 적극적으로 지원하지요.

사실 이 외에도 다양한 차이점이 있습니다만,

툴을 선택하실 때에 필요한 정보는 여기까지만 해도 충분하고 생각이 됩니다 :)

요약하자면,

QlikView는 오래되었지만 오프라인에서 사용가능하고, 개발자 친화적이며, 심도 깊은 분석을 제공하는 제품이며

QlikSense는 현대적인 UI/UX, 온라인을 통해서만 가능하고, 사용자 친화적이며 확장성 높은 제품

이라고 정리해볼 수 있겠네요 :)

더 자세하게 궁금한 점은 댓글로 남겨주시면 추가 답변 달도록 하겠습니다.

그럼 오늘도 좋은 하루 보내세요

Decision Tree( 의사결정 나무 ) Model

모델

스무 고개처럼 일정한 기준을 질문으로 제시하였을 때, '예' 혹은 '아니오'로 갈라질 수 있는 결정 모델이다.

아래는 Decision Tree를 설명하는 가장 좋은 이미지

타이타닉 호의 생존율을 구할 때 사용하는 Decision Tree의 예이다.

Decision Tree Regression

보통 Classification 모델을 쉽게 떠올리는데, 위 그림처럼 관측치에 대한 Regression도 가능하다.

다만 Continusous한 모델이 아니므로 회귀선을 그렸을 경우 아래처럼 직각형의 그래프가 나오게 된다

위의 예제는 Random Forest의 그래프이다. 일반적인 Decision Tree보다 굴곡(꺾인 점)이 더 많다.

Random Forest는 Decision Tree를 모아서 그 결과치를 평균낸 모델이라고 해석하면 된다.

※ 본 글은 생활코딩의 '지옥에서 온 Git'을 바탕으로 작성되었습니다. 본 블로그는 쓴이의 복습을 위해 사용됩니다.

**  기본적으로 Git에서의 명령어를 파악하려면 Git Bash 안에서 'git'이라고 명령어를 쳐보면 된다.

1. 내 위치 파악하기

$ pwd

2. 시작하기

git init

3. 디렉토리 내 파일확인

ls -al

ls -al

마지막 세번 째 줄이 .git이라는 파일이 생성되는데, 이게 바로 '디렉토리'이다.

4. 파일을 만들고 싶을 때

vim f1.txt

vim f1.txt

이 화면에 들어가서 수정을 하고 싶다면 i를 누르고, 원하는 형식으로 수정을 한다.

만약 종료하고 싶다면 esc를 누른 후 INSERT 화면에서 빠져나온 후

:wq를 통해(w는 write를, q는 quit를 각각 상징하는듯?) 빠져나온다.

5. 만든 파일을 보고 싶을 때

ls - al

cat f1.txt

ls - al
cat f1.txt

6. 내가 만든 파일의 status를 확인하고 싶은 경우 및 status 추가

git status

git add f1.txt

git status

git status
git add f1.txt
git status

처음 status에서는 tracking이 되지 않는 상황을 확인 하고,

두 번째 add 코드를 실행한 후

git이 해당 파일을 정확히 추적하고 있음을 확인

https://youtu.be/YFNQwo7iTNc

'니콜라스' 라는 개발자가 이 개념을 너무나 잘 정리했다.

Git과 GitHub의 관계를 정리하자면, 커피와 커피숍의 관계이다.

즉 Git은 커피이고, GitHub는 이 커피를 가지고 서비스를 하는 커피숍이다.

Git은 버전관리시스템이며, 하나의 소스파일을 통해 여러 파일을 통제할 수 있다.

또한 GitHub를 통해 코드를 공유하여 협업할 수 있으며, 누가, 언제, 어디서 이 파일을 열고 어느 부분을 고쳤는지를 확인하고 수정할 수 있다.

또한 Google이나 페이스북, 다양한 거대기업에서 OpenSource로 제공한 코드들이 있는데 이 코드들이 어떻게 작동하고 활용될 수 있는지를 알 수 있는 코딩 생태계의 거대한 바다라고 볼 수 있다.

- 끝 -

※ 본 글은 생활코딩의 '지옥에서 온 Git'을 바탕으로 작성되었습니다. 본 블로그는 쓴이의 복습을 위해 사용됩니다.

1. Git 설치 - Window 기준

https://git-scm.com/

해당 사이트 접속 후 컴퓨터 사양에 맞는 Git 프로그램 다운로드

해당 EXE 파일 실행 후 모든 설치를 Default를 기본으로 진행

2. 다운 후 Window 검색창에서 Git Bash 클릭

Git Bash는 윈도우에서 리눅스나 유닉스에서 사용하는 명령어 체제를 사용할 수 있도록 되어있다.

이어 해당 명령어 창에서 'git'이라고 쳤을 때 아래에 나오는 장황한 글자들이 나오면 설치가 완료된다.

- 끝 -

심플하게 얘기하자면

fit은 train_data에서 독립변수들을 통해서 y를 fitting할 때 그대로 사용하면 되는 함수다

그래서 regressor.fit()의 모양새가 된다.

하지만 이 훈련된 데이터 모델을 가지고 test_datat에 적용할 때는 fit_transform을 사용해야 한다.

μ와 σ를 train_data에서 가져다 써야하므로 transform 한다는 개념이다.

자세한 내용은 아래 내용 참조!

(Data preprocessing, Linear Regression, Multinomial Regression 등은 이미 공부를 마친 상태이다... 나중에 추가 보완하거나 Data preprocessing Templete을 공유하는 방향으로 보충할 예정 ㅠ_ㅠ) 

1. Polynomial 회귀란 무엇인가?

Polynomial Regression(다항식 회귀)에 대해서 알아보자.

기본적으로 선형회귀에 대한 내용으로 n차 다항식의 형태를 띈다.

왜 P

olynomial 회귀를 사용하는가?

모든 데이터가 선형적인 모형을 띄면 쉽게 추정이 가능하겠지만

선형적이지 않은 모양(ex) 위 그림의 1사분면의 모양)으로 데이터가 분포되어 있다면 선형모형은 맞지 않을 것이다.

이럴 때 다항식 회귀가 필요하다.

다항식 회귀(Polynomial) vs 다중 회귀(Multinomial)

처음엔 다중회귀와 다항식 회귀의 차이를 몰랐는데, 위 그림과 같이 간단히 설명할 수 있다.

다시 말하자면, n차형 다항식 형태이면 다항회귀, 1차형이고 변수가 많으면 다중회귀인 것이다.

왜 Linear라고 부르는가?

y와 x간의 관계를 직선형이 아니더더라도, 곡선형으로라도 선형으로 표현 가능하기 때문이다.

만약에 분모의 영역에 x가 들어가게 된다면 더이상 선형이라고 부를 수 없을 것이다.

머신러닝은 통계학도로서 데이터 업계에 관심을 갖고 따라오다 보니 결국에는 마주하게 되는 관문 같은 것 같다.

일부 마케팅적인 용어와 섞이며 주가를 높이고는 있지만 실제로 이게 어떻게 구동하는지 잘 몰라 면접 때도 애를 먹었던 머신러닝. 다양한 루트로 지식을 접해오다가 문득 체계적으로 공부하고 배워보고 싶다는 열망이 생겼다.

다양한 공부 루트가 있을 수 있다.

Udacity, Datacamp, 앵드류 응 교수의 강의 등

하지만 개인적으로 하나하나 체계적으로 따라가고 짚어주면서 나름 실습도 겸할 수 있는 강의를 원했고

마지막으로 선택하게 된 게 udemy 강의였다.

(해당 페이지는 구글 서칭을 통해 발견할 수 있는 다양한 블로그 중에서 공부방법을 잘 정리해 놓은 페이지인 것 같아 링크를 공유한다.)

그 중에서도 아래 강의를 듣기 시작했는데, 생각보다 굉장히 상세하게 설명해주고 넘어가는 편이다.

이론적인 부분부터 실제적인 부분까지,

게다가 중간에 코드가 업데이트 되거나 바뀌면 수정해서 업데이트를 다시 해주는 강사의 친절함까지.

게다가 9만 명이 넘는 사람들의 평가가 4.5가 넘는다는 건 꽤나 높은 신뢰도를 준다.

게다가 대폭 할인행사를 자주하는 편이라 저렴한 가격으로 들을 수 있다.

이제 거의 다섯 번째 챕터를 넘어가는 과정이지만, 상당히 만족하는 편

다만 어느 정도의 영어가 뒷받침 되어야 편할 것이다. 자막이 있긴 한데 코드와 내용 그리고 영어까지 따라가는 것은 입력의 문제가 발생할 수도 있다.

아무튼 앞으로의 포스팅은 내 공부와 더불어 차분히 이런 내용들을 정리하여 올려볼 생각이다.