제씨 블로그

[육아일기 D+79] 2개월이 지난 시점에서 돌아보는 육아생활

제씨_ — Wed, 14 Sep 2022 22:59:39 +0900

[목차]

1. 아기는 생각보다 너무 예쁘다.

2. 평소의 체력이 이 때 쓰인다.

3. 오롯이 부부 둘이서 해나가는 것도 나쁘지 않다.

4. 늘 신경써주기

5. 순간의 행복을 실감한다.

1. 아기는 생각보다 너무 예쁘다.

나도 아내도 몰랐다. 둘 다 이렇게 팔불출이 될 줄은

이쁠거라고 예상정도만 했지 이렇게 엎어질 줄은 몰랐다.

아내는 아이를 낳기 전까지 아이들이 별로 귀엽지 않아서 내 아이도 안 예뻐하면 어쩌지 하는 쓸데없는 걱정도 했다.

똥을 싸도 예쁘고, 내 옷에 오줌을 싸도 예쁘고, 토해도 예쁘다.

아들이어도 너무 예쁘고 귀엽다. (내심 딸을 바랐다.)

중요한 것은 결혼하고 아이를 낳기 전까지, 절대로 이 기분을 상상할 수 없었다는 것이다.

진정한 경험의 세계이다. 육아의 국면에 들어서기 전까지는, 이 기쁨을 절대로 알 수가 없다.

2. 평소의 체력이 이 때 쓰인다.

육아는 잠과의 사투다.

밤에 2~3시간에 한 번씩 깨는 아이를 달래고 먹이고 재우는 과정을 하다보면, 두 사람이 번갈아가면서 해도 지치게 되어 있다.

더불어서 집안일, 새롭게 아이를 케어하며 생기는 모든 일들을 부부가 나눠서 하다보면 집안일이 끝나지를 않는다.

출근하는 사람은 그 피곤을 갖고 그대로 일터로 나가게 되어있다.

지치고 피곤하면 날이 서기 쉽고, 한 사람의 평온함이 다른 사람의 분노가 되기도 한다.

그래서 체력이 중요하다. 남는 체력으로 최대한 배우자의 짐을 덜겠다는 마인드를 지녀야 한다.

그리고 이 때 피곤을 이겨내며 지켜낸 아내의 한시간의 잠이 가정의 평화를 이룩한다.

체력은 정말 중요하다. 평소에 길러놓지 않으면, 더더욱이나 힘들다.

3. 오롯이 부부 둘이서 해나가는 것도 나쁘지 않다.

우리는 친정이나 시댁의 도움을 받지 않는다.

엄밀히 말하면 받지 못하기 때문에 둘이서 해나가는 것이지만, 100일의 기적을 3주 정도 앞둔 지금 시점에서 되돌아보면 이 과정이 오히려 더 좋았다고도 볼 수 있다.

그 이유로 첫째, 자족감이 생긴다.

우리 둘이가 온전히 이 과정을 겪어내고 서로 의지하며 지나왔다는 사실이 뿌듯하다. 그리고 서로를 바라보는 애틋함, 그리고 약간 짠함이 섞이며 돈독해진다.

둘째, 양가에 부담을 느끼지 않는다.

어떤 식으로든 도움을 구한다는 것은 빚을 지는 일처럼 느껴지기 마련이다. 부모님들은 기꺼이 해주실 수 있으나, 우리 부부 마음 속 깊은 곳에서는 부채감이 생길 수밖에 없다. 공짜는 없다. 부모님들이 도와주신다면, 돈이든 마음이든 발걸음이든 그들께서 원하시는 것을 우리가 맞춰드리는 것이 인지상정이다. 그래서 온전히 둘이 이 초반 육아를 감당해나가는 사실이 우리를 오히려 더 자유롭게 하는 측면이 있다.

4. 늘 서로 신경써주기

나는 아내를 바라보며 그녀가 겪어야 하는 커다란 변화를 상상했다.

몸의 변화, 마음의 변화, 그리고 호르몬의 변화, 환경의 변화들을 상상하며 그녀가 겪을 혼란과 적응할 시간이 필요함을 이해하려고 하다보니, 자연히 아내의 필요를 찾아 움직이게 되는 것 같다.

나의 아내도 좋은 사람인지라, 그런 나의 마음을 금방 알아채고 내게도 더 잘해주려고 한다. 서로 짠한가보다.

아내도 새벽에 두어번씩 깨며, 꾸벅꾸벅 눈을 감고 아이를 달래고 아침에 출근하는 나를 보며 비슷한 생각을 하는 듯하다.

서로 밖에 없다. 내가 아내를 물심양면 챙기고 내가 맞추는 삶이 행복한 삶이다.

5. 순간의 행복을 실감한다.

아이를 안고 미소를 지으며 행복이 지금임을 실감한다.

늘 허상같은 행복을 좇지만, 실은 행복은 이미 내 곁에 있는 것, 이미 주어진 것이다.

아이가 있음으로써 이 사실을 더욱 실감할 수 있다.

결론적으로 육아는 추천한다. 걱정했던 것보다는 덜 힘들고, 즐거움은 더 많은 것 같다.

[Career] 데이터 커리어 회고 - Data Consultant

제씨_ — Sun, 4 Sep 2022 23:14:33 +0900

[목차]

1. 현재 상태

2. 내 커리어 여정

3. 취업준비생으로서 겪었던 어려움

4. 내가 추천하는 방법

5. 앞으로의 커리어

1. 현재 상태

나는 현재 국내 회계법인 컨설팅 회사의 데이터 관련 조직에서 일하고 있다.

이 조직에서 하는 일은 크게는 Data Science와 Data Platform / Governance / Road Map 수립 등이 있다.

Data Science는 고객의 문제를 정의 후 알고리즘, 통계 등을 이용하여 해결하는 업무이다.

Data Platform은 빅데이터 플랫폼 수립, 데이터 인프라 등과 관련된 전반적인 컨설팅 업무를 의미한다.

그 외 Governance / Road Map 등은 데이터를 어떻게 관리하고, 프로젝트를 시작할 지 모르는 기업들을 컨설팅하는 서비스이다.

2. 내 커리어 여정

나는 BI(Business Intelligence) 부문에서 커리어를 시작했다.

쉽게 얘기하자면, 시각화 개발이고, QlikView를 내 처음 Tool로써 접했다.

개인적으로 시각화 툴로써 데이터를 접했던 과정이, 어떻게 데이터를 핸들링하고 가공해야 하는지 이해하고 그 과정을 직접 시각화로 확인할 수 있어서 좋은 시작점이었다고 본다.

그리고 회사를 현재의 컨설팅 회사로 옮겨 지표 설계 ~ 개발까지의 업무를 모두 진행해보고 있다.

추가된 것은, 내가 고객의 비즈니스를 최대한 이해하고, 회사의 Asset을 활용하여 고객에게 선제시 한다는 점이다.

3. 취준생으로서 겪었던 어려움

취업 준비를 할 당시만 해도 데이터 분야의 정보가 너무 적었다.

다들 개발 얘기를 하거나, 머신러닝이나 AI 이야기를 했을 뿐이고,

그리고 Python이 얼마나 중요하고 시각화를 만드는 기술이 어떻고라는 기술에 대해서 주로 이야기가 오갔다.

그래서 "진짜 데이터로 Business를 어떻게 해결한다는걸까?" 라는 질문에 대답을 해줄 수 있는 사람이 극히 드물었다. 드문 정도가 아니라 내게는 없었다.

그래서 면접 때마다 공허한 얘기를 늘어놓아야 했는데, 이게 내가 맞닥드린 가장 큰 어려움이었다.

더불어 나는 대학시절을 탱탱 놀다가 취업전선에 뛰어들어 Tool 들에 익숙하지 못했는데, 이게 무척 높은 허들이었다.

4. 내가 추천하는 지원 방법

그럼에도 불구하고 내가 적용했던 방법은 바닥부터 시작하는 일이었다.

BI 개발을 시작했던 회사의 면접 때가 생각나는데, 나는 연속 낙방을 하느라 조금 지쳐있었다.

일부 회사에서는 내가 아무것도 없으면서, 무언가를 만들어본양 허풍을 늘어놓기도 했다.

그러나 면접관들은 거짓을 잘 분별할 줄 안다.

내가 이 업에서 조금만 있어봐도 누가 허황된 말을 하는지 금방 판별할 수 있다.

그래서 나는 면접에서 나를 내려놓고, 나는 아무것도 아는 게 없지만 열정을 가지고 배워볼 자신이 있다고 스스로를 어필했다. 그리고 이 점을 당시 나를 뽑아주셨던 본부장님께서 좋게 보신 모양이다.

일은 들어와서 배워도 되지만, 얼마나 열심히 하려고 하는지, 진실하게 원하는 지를 평가하신 것 같았다.

결론을 얘기하자면, 어떤 회사라도 첫 커리어로 괜찮다.

너무 대기업에 들어가려고 하거나, 네카라쿠배당토에 목 맬 필요는 없지 싶다.

어느 회사든 들어가서 일을 하고, 공부하면서 기술과 데이터를 이해하기 시작하면 그 다음 길은 점점 넓어질 것이기 때문이다. 나는 그렇게 느끼고 있으며, 앞으로도 그렇게 될 것이라 생각한다.

5. 앞으로의 커리어

사실 나 역시도 너무나 많은 고민을 하고 있다. 특히 아래와 같은 고민을 하며 살고 있다.

개발자의 끝은 무엇인가? 컨설턴트의 끝은 무엇인가? 데이터 분석가는 20년 30년 분석가로서 남을 수 있는가? 앞으로 나는 살아남을 직업을 선택하고 있는가?

과거 선배들의 말은 이미 지나간 과거에 유효하며, 세상은 너무 빨리 바뀌고 기술도 자꾸 변한다. 그래서 그들의 말을 참고는 하되 너무 맹신할 필요는 없다. 그들도 모르게 낡았을 수도 있기 때문이다.

따라서 Data를 무기로 가져가되, 여러 기술에 관심을 가지고 Business에 이런 기술들을 접목할 지 계속 고민하는 것 만이 앞으로의 변화에 대응하는 길이라고 본다.

서울시 신혼부부 임차보증금 이자지원 사업 후기

제씨_ — Tue, 31 May 2022 00:32:28 +0900

개요

결혼을 준비하면서 2022년 2월 16일 전세계약을 체결했고 "서울시 신혼부부 임차보증금 이자지원"사업을 신청하였음
지금 살고 있는 집이 2억 정도이므로 약 1.8억을 대출받았으며(90%), 최종 1.5% 정도의 이자율을 책정받았고, 월 약 25만원 정도를 매달 내고 있음
2023.2 기준, 이율이 올라 2.12%, 32만원 정도를 납부중
신혼부부이고, 서울시에 거주 예정이고, 전세로 시작한다면 가장 좋은 조건으로 전세대출을 받을 수 있는 정책

사업소개

서울시주거포털 - 신혼부부 임차보증금 이자지원

사업개요 | 신혼부부 임차보증금 이자지원 | 청년·신혼부부 지원 | 주거 정책 | 서울주거포털

서울주거포털,신혼부부들의 행복한 미래를 위해 더 나은 주거환경과 소득대비 높은 주거비 부담을 완화하기 위해 신혼부부 임차보증금 지원사업을 시행합니다. ※ 신청 전 유의사항 : 서울시

housing.seoul.go.kr

핵심 조건
- 신혼부부 또는 예비 신혼부부
- 부부합산 소득 9,700만원 이하
- 서울시 관내의 임차보증금 7억원 이하의 주택, 오피스텔, 다세대 주택 등 (상세 내용은 PDF 참조)
취급은행
- 국민, 신한, 하나
  - 나는 주거래은행이었던 신한은행에서 했으며, 당시 국민은행은 지원자 TO가 없다고 했음

진행순서

전세매물 찾기
- 네이버 부동산으로 열심히 전세 매물을 찾는다.
- 마음 속의 금액을 중심으로 찾으며 목표하는 매물들의 대략적인 대출금액을 알아둔다.
은행 방문
- 은행에 방문하여 본인이 해당 사업의 대출이 가능한지 알아본다.
- 예비 배우자의 전세 상황도 공유하여 대출이 가능한지 등등을 꼼꼼히 따지고 다음 스탭을 진행한다.
- 개인적으로 은행을 여러 번 방문하여 등기를 보여주며 해당 매물이 가능할지 물어보았다. 처음이라 불안함이 컸다.
전세매물 계약
- 전세매물을 찾고 전세대출이 가능한 매물인지 반드시 확인. 불법건출물은 아닌지, 해당 매물에 과도한 빚은 없는지 등등
- 매물이 확정되면 계약을 하되, 전체 계약금의 5% 이상을 지불했다는 지급 영수증을 반드시 챙긴다. (부동산 중개인이 전세대출한다고 하면 서류를 대부분 챙겨준다.)
- 계약하면 그 이후 바로 확정일자를 받으러 간다. 등기소로 가거나 해당 주민센터로 가면 확정일자를 받아준다. 확정일자가 찍혀있어야 은행에서 대출을 실행해준다.
서울주거포털 신청
- 서울시 주거포털에 융자신청서 신청
- 3일 정도 걸린다고 하나, 보통 다음날이면 담당자가 확인해줌
- 나는 2번 정도 반려되었었는데 대부분 오타나 잘못 기입한 정보였으므로 처음부터 꼼꼼하게 작성할 것을 추천
- 추천서가 발급되면 출력해서 나머지 서류들과 함께 챙기기
은행 방문
- 은행 방문은 배우자와 함께 가야 함
- 같이 못가는 경우 사업소개공고문을 확인하여 적절한 서류들을 챙겨야 한다.
- 서류는 아래와 같이 챙겨야 한다.
  - 신분증
  - 주민등록등본
  - 가족관계증명서
  - 혼인관계증명서(예비부부의 경우 혼인관계증명서를 예식장 계약서로 갈음)
  - 임대차계약서(확정일자부)
  - 지급영수증
  - 융자추천서
  - 건물등기사항전부증명서
  - 근로소득원천징수영수증(or 월급여명세서 12개월치)
  - 재직증명서(or 건강보험자격득실확인서)
대출 실행 및 잔금 치르기
- 대출이 승인되면 잔금일에 맞춰 은행에서 집주인 계좌로 송금하게 된다.
- 잔금을 치르고 잔금일에 전입신고를 해준다.

주의사항

서류가 정말 많다. 일시에 따라 서류가 바뀔 수도 있으니 꼭 공고문을 다시 확인하고 서류를 챙겨가길 바람
임대차계약서의 확정일자는 잔금일이 아니라 계약일에 받아야 한다. 확정일자가 안찍혀있으면 대출을 실행할 수 없다.
각자 사정에 따라 궁금한 부분이 많을텐데, QnA문서를 꼼꼼히 읽어보면 대부분 해결할 수 있다. 나는 해당 문서를 프린트해서 형관펜으로 확인해가며 세부사항을 확인했다.
애매한 부분이 있다면 협약은행에 반드시 문의할 것을 당부드린다.

대환하는 경우

아내가 중소기업청년전세대출이 있어서 대환의 형식을 거쳤다.(당연히 중복해서 대출하는 기간이 있으면 안된다.) 우리 부부가 대환을 진행한 순서는 아래와 같다.

아내가 살던 방 내놓고 들어올 세입자와의 잔금일 확인
- 해당 잔금일은, 우리 부부가 들어갈 잔금일보다 1주일 정도 빨라서 기간이 조금 촉박했다.
- 은행에 방문해서 어떻게 해야 하는지 자주 물어봤다. 신한은행의 모바일톡도 애용했다.
위 대출 순서 중 5번, 은행방문 시에 아내의 대출금이 먼저 상환될 것임을 알리고 대출을 진행한다.
- 대출이 상환되면, 일정 영업일이 지나야 상환된 내역이 데이터로 남는다고 한다.
- 상환이 확인되면 곧바로 다음 대출 승인이 진행된다.
- 단점은 1주일정도 거주할 공간이 없는 일자가 생기는데, 이는 각자의 사정에 맞게 해결이 필요하다.

경사하강법(Gradient Decent) 정리

제씨_ — Tue, 12 Apr 2022 15:09:11 +0900

경사하강법 정의

경사 하강법(傾斜下降法, Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것이다
위키피디아

이 개념을 숙지하기 위해서는 비용함수라는 개념을 먼저 알아두면 좋다.

비용함수

$$y = w_1*x_1 + w_0$$ 라는 회귀식이 있을 경우, 이 함수의 *_비용함수 RSS**는 다음과 같다. (약간의 회귀분석에 대한 개념이 필요)

$$RSS(w_0, w_1) = \frac{1}{N}\sum_{i=1}^{N}(y_i-(w_0+w_1*x_i))^2$$

여기서 N은 학습데이터의 총 건수이며, i는 각 데이터포인트이다. 회귀에서는 이 RSS는 비용이라고 하며 w변수로 구성되는 RSS를 비용함수, 또는 손실함수(loss function)라고 한다. 머신러닝 회귀 알고리즘에서는 데이터를 계속 학습하면서 이 비용함수가 반환되는 값을 지속해서 감소시키고, 최종적으로는 더이상 감소하지 않는 최소의 오류값을 구하고자 한다.
오류값을 지속해서 작아지게 하는 방향으로 W값을 계속 업데이트해 나가며, 오류값이 더 이상 작아지지 않으면 그 오류값을 최소 비용으로 판단하고 그 W를 최적의 파라미터로 판단한다.

머신러닝에서 쓰이는 이유

그럼 비용함수가 최소가 되는 W파라미터를 어떻게 구할 수 있을까? 하는 대답에 경사하강법이 사용되는 것이다. 모든 변수(x)를 미분하여 최소값을 가지는 계수를 찾아내는 방법이 있을 수 있으나 아래의 이유로 경사하강법이 쓰인다.

실제 분석에서는 함수의 형태가 복잡하므로 미분계수와 그 근을 계산하기 어려움
컴퓨터로는 미분계산과정의 구현보다 경사하강법 구현이 더 쉬움
데이터 양이 많을 수록 경사하강법이 계산량 측면에서 효율적임

경사하강법의 수식, 유도 및 원리

경사하강법을 유도하는 원리는 아래 사이트가 잘 정리되어 있어 참고했다.
https://angeloyeo.github.io/2020/08/16/gradient_descent.html

파이썬 코드 구현

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

np.random.seed(0)

# y = 4X + 6을 근사, 임의의 값은 노이즈를 위해 부여
X = 2 * np.random.rand(100,1) # 0~1 사이의 random 소수 
y = 6 + 4*X+ np.random.randn(100,1)

plt.scatter(X,y)

def get_cost(y, y_pred):
    N = len(y)
    cost = np.sum(np.square(y - y_pred))/N
    return cost

# w1과 w0를 업데이트할 w1_update, w0_update를 반환
def get_weight_updates(w1, w0, X, y, learning_rate=0.01):
    N = len(y)

    w1_update = np.zeros_like(w1)
    w0_update = np.zeros_like(w0)

    y_pred = np.dot(X, w1.T) + w0
    diff = y - y_pred

    w0_factors = np.ones((N,1))

    # w1과 w0를 업데이트할 w1_update와 w0_update 계산
    w1_update = -(2/N)*learning_rate*(np.dot(X.T, diff))
    w0_update = -(2/N)*learning_rate*(np.dot(w0_factors.T, diff))

    return w1_update, w0_update

def gradient_descent_stpes(X, y, iters=10000):
    # 초기값 0으로 설정
    w0 = np.zeros((1,1))
    w1 = np.zeros((1,1))

    # 인자로 주어진 iters 만큼 반복적으로 get_weight_updates() 호출해 w1, w0 업데이트
    for ind in range(iters):
        w1_update, w0_update = get_weight_updates(w1, w0, X, y, learning_rate=0.01)
        w1 = w1 - w1_update
        w0 = w0 - w0_update

    return w1, w0

def get_cost(y, y_pred):
    N = len(y)
    cost = np.sum(np.square(y - y_pred))/N
    return cost

w1, w0 = gradient_descent_stpes(X,y, iters=1000)
print(f"w1 : {w1[0,0]:.3f}, w0 : {w0[0,0]:.3f}")
y_pred = w1[0, 0]*X + w0
print("GD Total Cost", round(get_cost(y, y_pred),4))

w1 : 4.022, w0 : 6.162
GD Total Cost 0.9935

plt.scatter(X,y)
plt.plot(X, y_pred)

확률적 경사하강법

확률적 경사 하강법(Stochastic Gradient Descent)는 경사 하강법과 다르게 한번 학습할 때 모든 데이터에 대해 가중치를 조절하는 것이 아니라, 램덤하게 추출한 일부 데이터에 대해 가중치를 조절함. 결과적으로 속도는 개선되었지만 최적 해의 정확도는 낮다.

출처: 흰고래의꿈

파이썬 코드 구현

def stochastic_gradient_descent_stpes(X, y, batch_size=10, iters=1000):
    w0 = np.zeros((1,1))
    w1 = np.zeros((1,1))
    prev_cost = 100000
    iter_index = 0

    for ind in range(iters):
        np.random.seed(ind)
        # 전체 X,y 데이터에서 랜덤하게 batch_size만큼 데이터 추출하여 sample_X, sample_y로 저장
        stochastic_random_index = np.random.permutation(X.shape[0])
        sample_X = X[stochastic_random_index[0:batch_size]]
        sample_y = y[stochastic_random_index[0:batch_size]]
        # 랜덤하게 batch_size만큼 추출된 데이터 기반으로 w1_update, w0_update 계산 후 업데이트
        w1_update, w0_update = get_weight_updates(w1, w0, sample_X, sample_y, learning_rate = 0.01)
        w1 = w1 - w1_update
        w0 = w0 - w0_update

    return w1, w0

w1, w0 = stochastic_gradient_descent_stpes(X, y, iters= 1000)
print("w1 :", round(w1[0,0], 3), "w0:", round(w0[0,0], 3))
y_pred = w1[0, 0]*X + w0
print("Stochastic Gradient Descent Total cost : ",get_cost(y, y_pred))

w1 : 4.028 w0: 6.156
Stochastic Gradient Descent Total cost :  0.9937111256675345

참고 사이트

PCA(주성분 분석), 고유값, 고유벡터 정리

제씨_ — Tue, 12 Apr 2022 15:06:55 +0900

고유값과 고유벡터

고유값과 고유벡터는 앞서 활용한 공분산행렬, 그리고 앞에 설명할 주성분 분석과 뗄 수 없는 관계이다. 따라서 PCA의 메커니즘을 제대로 이해하기 위해서는 고유값과 고유벡터가 의마하는 바를 제대로 이해하는 게 좋다.

고유값과 고유벡터 설명

$$X=\begin{bmatrix} 1 \\ 1 \end{bmatrix}$$ 이라는 행렬이 있다고 가정해보자. 이 행렬에 만약 $$A=\begin{bmatrix} 2&1 \\ 1&2 \end{bmatrix}$$를 선형변환하면 이렇게 계산할 수 있다.

$$AX= \begin{bmatrix} 2&1 \\ 1&2 \end{bmatrix}\begin{bmatrix} 1 \\ 1 \end{bmatrix}=\begin{bmatrix} 3 \\ 3 \end{bmatrix}$$
즉 어떤 벡터에 A를 곱하니 벡터의 방향은 그대로이고 길이만 변하였다고 표현할 수 있다. 다시 말하면 아래 좌표평면에 있는 (1,1) 벡터가 (3,3)가지 방향의 변환 없이 그대로 이동한 것이다.

여기서 $$AX = \lambda X$$ 가 되는 $$\lambda$$ 값이 바로 고유값(eigen value)이다. 조금 더 정리를 해보자

$$AX - \lambda IX = (A - \lambda I)X = 0$$
$$det(A - \lambda I) = 0$$ (det는 determinant이며, $$ad-bc$$의 형태로 행렬값을 계산하는 수식임)
$$det(A - \lambda I) = det\begin{bmatrix} 2-\lambda&1 \\ 1&2-\lambda \end{bmatrix} = 0$$
$$(2-\lambda)^2 -1 = (\lambda-1)(\lambda-3) = 0 $$
$$\lambda =2$$ or $$\lambda =3$$
즉 고유값은 2 또는 3이다

그럼 여기서 고유벡터를 구하면 아래와 같이 볼 수 있다

고유값이 3인 경우, $$\begin{bmatrix} 2&1 \\ 1&2 \end{bmatrix}\begin{bmatrix} X_1 \\ X_2 \end{bmatrix} = 3\begin{bmatrix} X_1 \ X_2 \end{bmatrix}$$
- $$2X_1 + X_2 = 3X_1$$
- $$X_1 + 2X_2 = 3X_2$$
- $$X_1 = X_2$$
- 가장 쉬운 형태의 고유행렬로 $$\begin{bmatrix} X_1 \\ X_2 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \end{bmatrix} $$로 볼 수 있다.
고유값이 1인 경우도 동일하게 구할 수 있다

고유값과 고유벡터의 의미

$$A$$ 행렬을 공분산 행렬(covariance matrix)이라고 생각해보자.

$$\begin{bmatrix} 2&1 \\ 1&2 \end{bmatrix}$$ 행렬의 고유값은 1과 3이다
고유값의 합은 4로, 두 분산의 합(2+2)과 같다
고유값의 곱은 $$det(A) = (2_2 - 1_1)$$과 동일
분산정보는 최대한 해치지 않으면서 차원을 축소하기 위해 고유값과 고유벡터를 찾아낸 것
고유벡터는 행렬 A를 곱하더라도 방향이 변하지 않고 그 크기만 변하는 벡터를 의미함

주성분 분석(PCA)

주성분 분석의 목적

주성분 분석의 목적 및 핵심은 아래와 같다.

고차원의 데이터를 저차원으로 줄이는 것
공통된 변수들을 줄여서 주성분을 찾는 것
- 사용된 변수의 개수 > 주성분의 개수
하지만 전체 데이터의 분산에 영향을 주어서는 안됨

주성분 뽑아낼 때 원칙

분산이 가장 커지는 축을 첫 번째 주성분으로 두고, 그 다음 분산이 두번째로 커지는 축을 두 번째 주성분으로 두는 식으로 주성분은 추출
각 주성분은 서로간 90도 직교함
- 공분산 행렬의 고유벡터 개념임
위에서 고유값 3일 때 계산되는 첫 번째 고유벡터가 바로 첫 번째 주성분(PC1)이 된다. 즉, $$ \begin{bmatrix} 1 \ 1 \end{bmatrix} $$ 고유벡터가 첫 번째 주성분 축이 된다는 의미임
원본 데이터가 있을 경우 먼저 표준화가 진행된다
표준화가 되었다고 가정하고, $$ \begin{bmatrix} 70&80 \\ 50&40 \\ 70&90 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} $$ 이 계산 되어 최종 $$\begin{bmatrix} 150 \\ 90 \\ 160 \end{bmatrix} $$이 되어 새로운 축으로 반영되는 것이다. 이 축은 국어와 영어점수를 설명하는 '언어능력점수' 정도로 해석해 볼 수 있다.
2차원 좌표평면에서 설명해야 이해가 빠른데, 해당 설명은 참고유튜브를 참조하자
고유값이 1일 때 나왔던 주성분 PC2(고유벡터)는 분산의 설명도에 따라 사용할 수도, 안 할 수도 있다
PC1과 PC2의 상관관계는 0이다(고유값의 계산관계 상 0이 될 수 밖에 없다.)

주성분 분석을 사용할 때

주성분 분석은 언제나 가능한가?
- 주성분 분석은 데이터의 이면에 보이지 않는 원인이 있음을 전제
- 즉 국어점수와 영어점수를 설명하는 '언어능력'이 있음을 생각하는 것
주성분 분석에 적합한 데이터란 무엇인가?
- 구형성 검증(Bartlett's test of sphericity)
- "상관관계가 0이라면 주성분이 존재할 수 있는가?"를 생각하는 것
- 즉 상관관계가 업는 형태라면 주성분 분석을 할 수 없음

PCA 실습

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns # seaborn
import warnings
warnings.filterwarnings("ignore") # 경고메세지 무시

df = pd.read_excel("./data/pca_credit_card/card.xls", header=1).iloc[:,1:]

print(df.shape)
df.head(3)

(30000, 24)

	LIMIT_BAL	SEX	EDUCATION	MARRIAGE	AGE	PAY_0	PAY_2	PAY_3	PAY_4	PAY_5	...	BILL_AMT4	BILL_AMT5	BILL_AMT6	PAY_AMT1	PAY_AMT2	PAY_AMT3	PAY_AMT4	PAY_AMT5	PAY_AMT6	default payment next month
0	20000	2	2	1	24	2	2	-1	-1	-2	...	0	0	0	0	689	0	0	0	0	1
1	120000	2	2	2	26	-1	2	0	0	0	...	3272	3455	3261	0	1000	1000	1000	0	2000	1
2	90000	2	2	2	34	0	0	0	0	0	...	14331	14948	15549	1518	1500	1000	1000	1000	5000	0

3 rows × 24 columns

default payment next month가 Target 이며 1이면 "다음달 연체", 0이면 "정상납"임

df.rename(columns={"PAY_0":"PAY_1", "default payment next month":"default"}, inplace=True)
y_target = df["default"]
X_features = df.drop("default", axis=1)

corr = X_features.corr()
plt.figure(figsize=(14,14))
sns.heatmap(corr, annot=True, fmt='.1g')

PAY_1 ~ 6까지의 상관도와 BILL_AMT1 ~ 6까지의 상관도가 각각 높음
PCA로 변환을 시행

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

# BILL
cols_bill = ["BILL_AMT" + str(i) for i in range(1,7)]
print("대상 속성명 :", cols_bill)

# PCA 객체 생성 후 변환
scaler = StandardScaler()
df_cols_scaled = scaler.fit_transform(X_features[cols_bill])
pca = PCA(n_components=2)
pca.fit(df_cols_scaled)
print("PCA Component 별 변동성 :", pca.explained_variance_ratio_)

대상 속성명 : ['BILL_AMT1', 'BILL_AMT2', 'BILL_AMT3', 'BILL_AMT4', 'BILL_AMT5', 'BILL_AMT6']
PCA Component 별 변동성 : [0.90555253 0.0509867 ]

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

rcf = RandomForestClassifier(n_estimators=300, random_state=156)
scores = cross_val_score(rcf, X_features, y_target, scoring="accuracy", cv=3)

print("개별 정확도 :", scores)
print("평균정확도:", np.round(np.mean(scores),3))

개별 정확도 : [0.8083 0.8196 0.8232]
평균정확도: 0.817

# 원본 데이터 세트에 먼저 StandardScaler
scaler = StandardScaler()
df_scaled = scaler.fit_transform(X_features)

# 6개의 컴포넌트를 가진 PCA 변환 수행 cross_val_score()로 분류 예측 수행
pca = PCA(n_components=6)
df_pca = pca.fit_transform(df_scaled)
scores_pca = cross_val_score(rcf, df_pca, y_target, scoring="accuracy", cv=3)

print("개별 정확도 :", scores_pca)
print("평균정확도:", np.round(np.mean(scores_pca),3))

개별 정확도 : [0.7905 0.7976 0.8021]
평균정확도: 0.797

# 6개의 변수만으로도 성능의 차이가 크게 없음
pca.explained_variance_ratio_

array([0.28448215, 0.17818817, 0.06743307, 0.06401153, 0.04457547,
       0.04161736])

결론적으로 PCA를 사용할 때는 변수가 많고, X변수 간의 상관관계가 있다 싶을 때 사용한다
그리고 원본 데이터를 돌려보고 시간이 많이 걸린다 싶을 때 차원 축소를 고려해볼 수 있다
대신 각 변수의 해석의 문제가 남는다.

차원축소(Dimension Reduction) 정리

제씨_ — Tue, 12 Apr 2022 15:04:48 +0900

차원축소(Dimension Reduction)

변수의 개수를 줄이는 것을 의미함

차원축소를 하는 이유

변수가 많으면 다 사용하는 것이 비효율적인 경우
간혹 변수의 개수보다 관찰값의 개수가 적은 경우
변수 간 상관관계가 있는 경우
- 국어, 영어, 사회 -> 인문영역
- 수학, 물리 -> 수리탐구영역
- 위와 같이 5개의 변수를 두 가지의 변수로 축소하여 표현 가능

차원축소를 하는 방법

상관관계가 높은 변수들을 묶어보기
공분산행렬을 이용
Covariance Matrix는 Corrlation Matrix와 유사
두 변수의 공변(covariate)량과 관계가 있음

치원축소를 할 때 주의사항

원 데이터의 분산을 최대한 유지하는 것이 중요(분산이 커지거나 작아지는 것은 지양)
원 데이터와 다른 새로운 데이터가 생성되는 것
분석자의 의도대로 축소되지 않거나 해석이 어려운 경우도 발생함

공분산과 상관관계

공분산

공분산 공식은 아래와 같다.

$$\frac{1}{n-1}\sum_{i=1}^{N}(x_i-\bar{x})(y_i-\bar{y})$$

두 변수의 방향을 의미함
두 변수의 공분산행렬은 다음과 같이 표현된다. 여기서 a는 첫 번째 변수의 분산, b는 공분산, c는 두 번째 변수의 분산으로 표현된다. 만약 국어와 영어점수가 있다고 한다면 a는 국어의 분산, c는 영어의 분산, 그리고 b는 공분산이 된다.

$$\begin{pmatrix}a & b \\ b & c \end{pmatrix}$$

분산은 언제나 양수이나 공분산은 음수일 수도 있음
공분산이 양수라면 X와 Y는 같은 방향으로 움직인다는 의미
반대로 공분산이 음수라면 X,Y는 음의 상관관계를 갖는다는 의미
공분산이 0이라면? -> 상관관계가 없다는 뜻
다만 상관관계가 얼마나 큰지는 제대로 설명하지 못함
참고유튜브

상관관계

상관계수(p)는 아래와 같이 계산이 된다.
$$p = $$ $$Cov(x,y) \over \sqrt{Var(x)*Var(y)}$$

공분산을 각각의 분산으로 나누어 표준화한 개념
상관계수는 -1에서 1 사이의 값을 가지며 각 -1과 1에 근접할수록 상관관계가 있는 것을 판단 가능

Python Matploblib 시각화 기본

제씨_ — Sat, 2 Apr 2022 01:04:13 +0900

Matplotlib를 항상 까먹어서 다시 정리하였음!

Matplotlib

# 패키지
import matplotlib as mpl
import matplotlib.pyplot as plt
import numpy as np

가장 간단한 예제

plt.show()의 역할은 print의 역할과 동일하다고 보면 된다.
즉 결과를 Out으로 내는 게 아니라 Print한다는 의미이나, 실질적으로 큰 차이는 없다고 본다.
r-을 통해 빨간색 라인 타입을 보일 수 있음

fig, ax = plt.subplots()  # Create a figure containing a single axes.
ax.plot([1,2,3,4], [1,4,2,3] ,'r-') # 꺾은선
ax.scatter([1,2,3,4], [1,4,2,3]) # 산점도
plt.xlabel("X Label") # X 축
plt.ylabel("Y Label") # Y 축
ax.set_title("test") # 제목
plt.show()

Figure의 구성

figure는 ax를 담는 그릇이다. 각 ax는 하나의 차트, 또는 좌표평면이라고 보면 될 것 같다.

fig = plt.figure()  # 빈 Figure
fig, ax = plt.subplots()  # 하나의 ax를 가진 Figure
fig, axs = plt.subplots(2, 2)  # 2X2 Grid의 Figure

<Figure size 432x288 with 0 Axes>

Axes

Ax는 Figure안에 담기는 차트 객체를 의미한다.
각 Ax는 set_title()함수를 통해 이름을 정할 수도 있고, set_xlabel(), set_ylabel()을 통해 축 이름을 정할 수 있다.

Subplots 연습

Subplot은 현실 시각화 분석에서 가장 많이 쓰이는 함수이다.
plt.tight_layout()은 subplot끼리 겹치는 경우 이를 해결해 줄 수 있다.

x = np.linspace(0, 10, 6)
y = x ** 2

plt.subplot(1,2,1)
plt.plot(x,y,'r')

plt.subplot(1,2,2)
plt.plot(y,x,'b')

[<matplotlib.lines.Line2D at 0x129ae2c3940>]

fig, axes = plt.subplots(nrows=1, ncols=2)
plt.tight_layout() # Layout을 화면에 맞춰주는 함수

for ax in axes:
    ax.plot(x,y)

axes를 쳐보면 array 객체임을 알 수 있음, 따라서 위 명령어 처럼 ax를 반복문으로 루프를 돌릴 수 있음

axes

array([<AxesSubplot:>, <AxesSubplot:>], dtype=object)

Plot function이 받는 데이터 형태

nmupy.array 형태를 기본적으로 받음
ax.scatter에서 c인자는 color를 의미하고 s인자는 size를 의미한다.
그래서 c인자에넌 0~49까지의 사이의 값이 들어가고, size는 d도 마찬가지이다.

b = np.matrix([[1,2],[3,4]])
b_asarray = np.asarray(b)

np.random.seed(19680801)  # seed
data = {'a': np.arange(50),
        'c': np.random.randint(0, 50, 50),
        'd': np.random.randn(50)}
data['b'] = data['a'] + 10 * np.random.randn(50)
data['d'] = np.abs(data['d']) * 100

fig, ax = plt.subplots(figsize=(5, 2.7))
ax.scatter('a', 'b', c='c', s='d', data=data)
ax.set_xlabel('entry a')
ax.set_ylabel('entry b');

코딩 스타일

코딩 스타일은 크게 아래와 같이 두 가지로 나눈다.

1. OO 스타일 : fig와 ax를 정확히 정의하고 들어감

2. pyplot자동화 : pyplot이 알아서 figure와 ax를 컨트롤하도록 함

# OO 스타일
x = np.linspace(0, 2, 100)  # Sample data.

# Note that even in the OO-style, we use `.pyplot.figure` to create the Figure.
fig, ax = plt.subplots(figsize=(5, 2.7))
ax.plot(x, x, label='linear')  # Plot some data on the axes.
ax.plot(x, x**2, label='quadratic')  # Plot more data on the axes...
ax.plot(x, x**3, label='cubic')  # ... and some more.
ax.set_xlabel('x label')  # Add an x-label to the axes.
ax.set_ylabel('y label')  # Add a y-label to the axes.
ax.set_title("Simple Plot")  # Add a title to the axes.
ax.legend();  # Add a legend.

# pyplot  스타일
x = np.linspace(0, 2, 100)  # Sample data.

plt.figure(figsize=(5, 2.7))
plt.plot(x, x, label='linear')  # Plot some data on the (implicit) axes.
plt.plot(x, x**2, label='quadratic')  # etc.
plt.plot(x, x**3, label='cubic')
plt.xlabel('x label')
plt.ylabel('y label')
plt.title("Simple Plot")
plt.legend();

Plot Styling

plot에 color인자와 linewidth, linestyle등을 지정해서 스타일링 가능하다.
alpha를 통해 투명도도 조정 가능

data1, data2, data3, data4 = np.random.randn(4, 100)  

fig, ax = plt.subplots(figsize=(5, 2.7))
x = np.arange(len(data1))
ax.plot(x, np.cumsum(data1), color='blue', linewidth=3, linestyle='--')
l, = ax.plot(x, np.cumsum(data2), color='orange', linewidth=2)
l.set_linestyle(':');

colors

facecolor와 edgecolor등을 설정 가능합

fig, ax = plt.subplots(figsize=(5, 2.7))
ax.scatter(data1, data2, s=50, facecolor='C0', edgecolor='k');

fig = plt.figure()

ax = fig.add_axes([0,0,0.5,0.5])
ax.plot(x,y, color='r', marker='o', markersize=10, markerfacecolor="yellow", markeredgecolor="green") # 색 부여, 마커 부여
plt.show()

marker

fig, ax = plt.subplots(figsize=(5, 2.7))
ax.plot(data1, 'o', label='data1')
ax.plot(data2, 'd', label='data2')
ax.plot(data3, 'v', label='data3')
ax.plot(data4, 's', label='data4')
ax.legend();

Labeling Plots

fontsize나 color이용 가능하다.

mu, sigma = 115, 15
x = mu + sigma * np.random.randn(10000)
fig, ax = plt.subplots(figsize=(5, 2.7))
# the histogram of the data
n, bins, patches = ax.hist(x, 50, density=1, facecolor='C0', alpha=0.75)

# ax.set_xlabel('Length [cm]')
ax.set_xlabel('my data', fontsize=14, color='red')
ax.set_ylabel('Probability')
ax.set_title('Aardvark lengths\n (not really)')
ax.text(75, .025, r'$\mu=115,\ \sigma=15$')
ax.axis([55, 175, 0, 0.03])
ax.grid(True);

Limit

set_xlim, set_ylim을 통해 X축과 y축의 범위를 정의할 수 있다.
작게 설정 시, Zoom-In 효과가 있다

fig = plt.figure()

ax = fig.add_axes([0,0,0.5,0.5])
ax.plot(x,y, color='r', marker='o', markersize=10, markerfacecolor="yellow", markeredgecolor="green") # 색 부여, 마커 부여
ax.set_xlim([0,10]) # x limit
ax.set_ylim([0,25]) # y limit
plt.show()

Legend(범례)

loc인자를 통해 위치를 정할 수 있으며 0일 때 자동 조정이며 0~10까지 숫자에 따라 위치를 조정 가능하다.

fig, ax = plt.subplots(figsize=(5, 2.7))
ax.plot(np.arange(len(data1)), data1, label='data1')
ax.plot(np.arange(len(data2)), data2, label='data2')
ax.plot(np.arange(len(data3)), data3, 'd', label='data3')
# ax.legend(loc=10); #10이면 한 가운데로 옴
ax.legend(loc=(0.76,0.63)) # 숫자로 부여 가능

<matplotlib.legend.Legend at 0x129b0480eb0>

참고사이트 : https://matplotlib.org/stable/tutorials/introductory/usage.html#types-of-inputs-to-plotting-functions

Python seaborn 시각화 기본 정리

제씨_ — Sat, 2 Apr 2022 00:57:33 +0900

Seaborn의 기본 내용 정리한 내용임

import seaborn as sns
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore") # 경고메세지 무시

# 펭귄데이터
penguins = sns.load_dataset("penguins")
penguins.info()
penguins.head()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 344 entries, 0 to 343
Data columns (total 7 columns):
 #   Column             Non-Null Count  Dtype  
---  ------             --------------  -----  
 0   species            344 non-null    object 
 1   island             344 non-null    object 
 2   bill_length_mm     342 non-null    float64
 3   bill_depth_mm      342 non-null    float64
 4   flipper_length_mm  342 non-null    float64
 5   body_mass_g        342 non-null    float64
 6   sex                333 non-null    object 
dtypes: float64(4), object(3)
memory usage: 18.9+ KB

	species	island	bill_length_mm	bill_depth_mm	flipper_length_mm	body_mass_g	sex
0	Adelie	Torgersen	39.1	18.7	181.0	3750.0	Male
1	Adelie	Torgersen	39.5	17.4	186.0	3800.0	Female
2	Adelie	Torgersen	40.3	18.0	195.0	3250.0	Female
3	Adelie	Torgersen	NaN	NaN	NaN	NaN	NaN
4	Adelie	Torgersen	36.7	19.3	193.0	3450.0	Female

#히스토그램
sns.histplot(data=penguins, x="flipper_length_mm", hue="species", multiple="stack")

<AxesSubplot:xlabel='flipper_length_mm', ylabel='Count'>

# kernel density estimation
sns.kdeplot(data=penguins, x="flipper_length_mm", hue="species", multiple="stack")

<AxesSubplot:xlabel='flipper_length_mm', ylabel='Density'>

Figure Level vs Axes Level Functions

axes-level는 matplotlib.pyplot.axes를 기준으로 만들어지고
Figure-level은 FacetGrid를 기준으로 만들어진다.

Distribution Plots

distplot

분포 확인
kde차트와 히스토그램 확인가능

sns.distplot(penguins["flipper_length_mm"], bins=40)
# kde=False를 하면 kde차트는 사라짐

C:\Users\Jessie\anaconda3\lib\site-packages\seaborn\distributions.py:2619: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).
  warnings.warn(msg, FutureWarning)





<AxesSubplot:xlabel='flipper_length_mm', ylabel='Density'>

jointplot

Scatterplot을 기본으로 각 축의 분포 확인 가능

sns.jointplot(x="flipper_length_mm",y="bill_length_mm",data=penguins, hue="species")
# hue="species" - 색반환
# kind="hex" - 육각형 모양으로 반환
# kind="reg" - Regression plot
# kind="kde"  - 등고선

<seaborn.axisgrid.JointGrid at 0x165bc527550>

sns.jointplot(x="flipper_length_mm",y="bill_length_mm",data=penguins, kind="reg" )

<seaborn.axisgrid.JointGrid at 0x165bc4fe6d0>

pairplot

모든 Numeric 변수에 대하여 Scatter plot과 분포도 그림

sns.pairplot(data=penguins, hue="species", palette="coolwarm")

<seaborn.axisgrid.PairGrid at 0x165bf0f27c0>

rugplot

sns.rugplot(penguins["flipper_length_mm"])

<AxesSubplot:xlabel='flipper_length_mm'>

Categoricla Plots

barplot

estimator인자는 Barplot의 y축을 계량하는 기준을 의미하며 default값은 mean이다.

import numpy as np
sns.barplot(data=penguins, x="species", y="flipper_length_mm", estimator=np.std) # 표준편차

<AxesSubplot:xlabel='species', ylabel='flipper_length_mm'>

countplot

sns.countplot(data=penguins, x="species")

<AxesSubplot:xlabel='species', ylabel='count'>

boxplot

sns.boxplot(x="species",y="bill_length_mm",data=penguins, hue="sex")

<AxesSubplot:xlabel='species', ylabel='bill_length_mm'>

viloin plot

sns.violinplot(x="species",y="bill_length_mm",data=penguins, hue="sex", split=True)

<AxesSubplot:xlabel='species', ylabel='bill_length_mm'>

stripplot

sns.stripplot(x="species",y="bill_length_mm",data=penguins, jitter=True, hue="sex", split=True)

C:\Users\Jessie\anaconda3\lib\site-packages\seaborn\categorical.py:2805: UserWarning: The `split` parameter has been renamed to `dodge`.
  warnings.warn(msg, UserWarning)





<AxesSubplot:xlabel='species', ylabel='bill_length_mm'>

swarmplot

stripplot과 violing plot의 조합으로 볼 수 있음

sns.swarmplot(x="species",y="bill_length_mm",data=penguins)

<AxesSubplot:xlabel='species', ylabel='bill_length_mm'>

Matrix chart

tc = penguins.corr()

Heatmap

annot=Ture 인자를 통해서 히트맵에 해당하는 셀의 값을 노출할 수 있다.
cmap을 통해 컬러맵 부여 가능

sns.heatmap(tc,annot=True, cmap="coolwarm")

<AxesSubplot:>

test = penguins.pivot_table(index="species", columns="island", values="bill_length_mm")

sns.heatmap(test, cmap="magma")

<AxesSubplot:xlabel='island', ylabel='species'>

Clustermap

sns.clustermap(tc, cmap="coolwarm", standard_scale=1, annot=True)

<seaborn.matrix.ClusterGrid at 0x165c2a16dc0>

Grid

iris = sns.load_dataset("iris")
iris.head()

	sepal_length	sepal_width	petal_length	petal_width	species
0	5.1	3.5	1.4	0.2	setosa
1	4.9	3.0	1.4	0.2	setosa
2	4.7	3.2	1.3	0.2	setosa
3	4.6	3.1	1.5	0.2	setosa
4	5.0	3.6	1.4	0.2	setosa

PairGrid

g = sns.PairGrid(iris)
# g.map(plt.scatter) # scatter
g.map_diag(sns.distplot) # 사선에는 distplot
g.map_upper(plt.scatter) # 사선 상단에는 scatterplot
g.map_lower(sns.kdeplot) # 사선 아래에는 kdeplot

<seaborn.axisgrid.PairGrid at 0x165c7fc8790>

FacetGrid

Categorical한 변수를 기준으로 그래프를 쪼개서 볼 수 있음
Trellis(격자구조)의 개념이라고 생각하면 좋음

tips = sns.load_dataset("tips")
tips.head()

	total_bill	tip	sex	smoker	day	time	size
0	16.99	1.01	Female	No	Sun	Dinner	2
1	10.34	1.66	Male	No	Sun	Dinner	3
2	21.01	3.50	Male	No	Sun	Dinner	3
3	23.68	3.31	Male	No	Sun	Dinner	2
4	24.59	3.61	Female	No	Sun	Dinner	4

g = sns.FacetGrid(data=tips, col="time", row="smoker")
# g.map(sns.distplot, "total_bill")
g.map(plt.scatter, "total_bill", "tip")

<seaborn.axisgrid.FacetGrid at 0x165ca168850>

regplot

lmplot

sns.lmplot(x="total_bill", y="tip",data=tips, hue="sex", markers=['o','v'])

<seaborn.axisgrid.FacetGrid at 0x165ca196df0>

sns.lmplot(x="total_bill", y="tip",data=tips,col="sex",row="time") # auto FacetGrid

<seaborn.axisgrid.FacetGrid at 0x165ca32e400>

Rigdge와 Lasso

제씨_ — Thu, 31 Mar 2022 21:55:13 +0900

Ridge 회귀 (L2 규제)

선형 모델이며 최소적합법을 사용
일반 회귀와 다른 점은 가중치(w 또는 β) 의 절대값을 최대한 작게 함
즉 기울기를 0으로 만듬
이렇게 하는 이유는 과대적합이 생기지 않도록 모델을 강제로 제한함을 의미

Lasso 회귀 (L1 규제)

Ridge에서와 마찬가지로 계수를 0에 가깝게 제한하는 것은 동일함
하지만 정말로 0인 계수가 생기기도 함. 즉 제외되는 계수도 발생
이는 자동으로 특성이 선택된다고 볼 수 있으며 가장 중요한 특성이 무엇인지 드러내 준다고 생각하면 됨
간혹 Lasso를 이용하면 과속적합이 발생하기도 하는데, 이는 너무 많은 Feature를 Drop하여 모델을 못 쓰게 만드는 경우이다.

무엇을 사용할 것인가?

일반적으로 Ridge 회귀를 분석에서 선호하는 편
다만 분석하기 쉬운 모델을 고를 경우 Lasso가 더 좋은 선택이 될 수 있음
Lasso와 Ridge의 패널티를 결합한 ElasticNet이라는 것도 있음. 최상의 결과를 내기도 하지만 두 개의 매개변수를 조정해야 함.

참고 사이트

Tistory와 Git Hub Page 동시 운영 결정

제씨_ — Thu, 31 Mar 2022 14:13:25 +0900

Git hub 블로그를 운영한지 1년이 지난 지금, 장단점을 돌아보고 티스토리까지 운영하게 되는 계기를 함께 서술한다.

깃헙블로그 장점

마크다운 친숙성
깃헙 블로그를 운영하는 동안 깃헙의 메커니즘을 많이 익혔다. 더불어서 마크다운 언어를 자유롭게 사용하게 되었는데, 보고서를 만들거나 문서를 정리할 때, 개발 블로그를 만들 때 큰 도움이 됐다.
개발친화적 느낌
사실 깃헙 블로그는 멋지다. 일정 플랫폼을 벗어나서 블로그와 홈페이지를 구성해보고 그것을 유지하는 경험 자체도 근사하다. 그리고 포트폴리오로써 이보다 제시하기 좋은 점은 없다고 본다.

깃헙블로그 단점

유지관리가 쉽지 않다
_VS Code*_를 켜야하고 깃헙으 스테이지에 올리고, 푸시하고 이를 관리하는 과정이 까다롭다. 특히 이미지와 마크다운을 맵핑시키는 부분이 꽤 귀찮아서 글을 자주 쓰지 않게 되는 것 같다.
방문자 통계의 어려움
방문자 통계를 내고 싶었는데, 결과적으로 구글 애널리틱스와 끝내 연결되지 않았다. 이유는 잘 모른다. 시키는대로 했지만, 결과는 나오지 않으니 답답할 수 밖에. 완성되지 않은 상태에서 하나하나 만든 다는 것은 어려움이 따르는 것 같다.
결국엔 하나의 스킨테마에 갇힌다
내가 웹개발자가 아닌 이상, 지금 유지하는 정도 이상의 스킨 수준을 관리하는 것은 불가능하다. 너무 귀찮은 일이 될 것 같다.

티스토리 병행 운영

고민 끝에 두 개의 블로그를 병행운영 하기로 했다. 고로 똑같은 내용의 깃헙 블로그를 발견한다면, 그것은 바로 나이다..

티스토리의 마크다운 지원
티스토리가 마크다운을 지원한다. 내가 모든 깃헙 문서를 마크다운으로 작성하는만큼 이상의 호환성이 높아질 것이라고 생각한다. 물론 이미지를 다시 넣는 작업은 조금 귀찮은 일이 되겠지만, 드는 노력에 비해 티스토리 노출이 상당히 좋은 편
가시적인 트래픽
티스토리는 자체적으로 통계 기능을 지원한다. 1년 넘게 관리를 하지 않았는데도 불구하고 꾸준하게 50 ~ 100명의 트래픽을 유지하고 있다. 즉 내가 좀 더 관심을 갖고 관리를 하면 더 좋은 트래픽을 일으킬 수 있을 것이라 판단했다.

EIS가 번번히 실패하는 이유

제씨_ — Thu, 31 Mar 2022 10:36:06 +0900

개요

EIS를 기꺼이 만들었으나 사용하지 않는 기업과 그 이유에 대하여 생각해보았습니다.

목차
- 원인
- 해결책

몇 년간 QlikView / Sense 를 사용해서 여러 기업의 EIS와 대시보드를 구축하고 나서 가장 크게 느낀 점은, 결국 애써서 만들었으나 그 효용이 낮다라는 생각이었습니다. 긴 시간 그 이유를 조금 생각해봤고 아래와 같이 정리해볼 수 있다고 생각합니다.

임원들은 경영정보에 생각보다 관심이 없다

내 일이 아닌 것 같아...
경영데이터가 사람들의 업무에 크리티컬하게 영향을 주지 않습니다. 즉 보면 좋고 안보면 그만인 그래프들에 지나지 않게 됩니다. 그래서 그냥 경영데이터가 보기좋게 제시되어서 보고용으로 적합할 뿐, 그 이상의 역할은 하지 않게 되는 것 같습니다. 실제로 많은 기업에서 사용자는 Open 이후로 천천히 우하향곡선을 그리게 되죠.

데이터가 뻔하다.

이미 보고 받고 있는 데이터인데?
경영데이터는 보통 ERP에서 사용하고 있는 데이터를 집계하여 시각화합니다. 그렇게 때문에 데이터 자체에서 새로울 것은 잘 없겠죠. 다만 비즈니스 로직에 따라서 필요한 지표들이 더 추가되고편리하게 볼 수 있다는 장점이 있을 수 있습니다. 하지만 이러한 편의를 위해서 들여야 하는 노력에 비해, 사용빈도가 현저히 낮습니다.
데이터가 변하는 게 없잖아?
데이터의 집계에는 시간이 걸립니다. 일 단위로 집계되는 데이터를 본다면 실시간을 원하고, 결산을 기준으로 데이터를 본다면 일 데이터를 원하는 사용자도 생깁니다. 이럴 경우 데이터의 신선도에 대한 요구가 지속적으로 발생합니다. 이렇게 신선도를 잃게 되었다고 생각되는 데이터는 지나간 실적에 대한 보고로써의 역할만 맡게 되는 것 같습니다.
그래서 원인이 뭐야?
BI의 딜레마는 낮은 수준으로 데이터를 묶을수록 정보 전달성이 떨어지며, 높은 수준으로 묶을수록 데이터의 원인을 트래킹하기 어렵습니다. 이 중 EIS는 후자에 가깝습니다. 때문에 데이터를 보고 의문이 생겨도 그 하위로 내려가지 못하고, 결국 팀 내의 현업에게 묻게 됩니다. 즉, Drill-Down 되지 않게 되면 이 역시 EIS가 실패하는 원인이 되는 것으로 보입니다.

EIS가 업의 핵심이 아니다.

나 진짜 바쁘고, 이것까지 볼 시간이 없다.
EIS 정보를 모른다고 해서 자신의 업무에 영향을 받지 않습니다. 그렇다면 바쁜 와중에는 굳이 전체 경영정보를 볼 이유가 없겠죠. 자신의 업무로도 이미, 충분히 각자 바쁜 시간을 보내고 있을테니까요. 이건 어떤 EIS를 구축하느냐의 문제도 있지만, EIS가 가진 본질적인 한계처럼 느껴지기도 합니다.
EIS 없어도 잘 돌아갔어
사실입니다. 이전에 잘 돌아가던 업무의 패턴이 있고 EIS는 편의 내지는 지원의 개념으로 현업들의 업무에 끼어들 뿐이죠. 거창한 의미를 둘 필요가 없다는 뜻입니다. 그래서 저는 EIS를 힘주어 만들 필요가 없다고 생각한다. 반대로 Micro한 자신의 업무단위까지 관련이 있다면, (예를 들어 생산라인 오류 감지 등) 시키지 않아도 그것을 보게 되지 않을까요?

이런 식으로 EIS는 애써 기업에서 만들지만 쉽게 사장됩니다.그러면 어떻게 반복되는 EIS의 실패를 막을 수 있을까요? 저는 이렇게 생각합니다.

최대한 간단하게

핵심지표만 간추리자
EIS 안에서는 핵심지표만 과감하게 최소한의 노력으로 핵심지표만 간추려야 한다고 봅니다. 굳이 거대하고 무겁게 만들어봐야 사용하지 않을 확률이 놓기 때문이죠. 그래도 임원들이 보기 때문에 대충 만들기 조금 그렇다고 생각하겠지만, 이건 문화를 바꾸는 게 급선무인 것 같습니다. 중요하게 생각하는 분석지표는 수시로 바뀔 수 있으며 더군다나 요즘같이 빠르게 변하는 시대에는 더더욱이나 그렇습니다.
필요에 의해 추가하자
다른 개발이나 프로젝트, 분석도 마찬가지이지만 EIS에서도 똑같이 적용되는 것 같습니다. 가장 작게 필요한 부분만 시작하고, 차후 현업의 필요를 받아들여서 확장해나가는 것이 더욱 중요해보입니다.

업무와 관련된 데이터만

업과 직결된 지표들
그나마 만들어진 EIS에서 사람들이 보는 지표는, 매출액, 영업이익과 같이 본인들의 평가와 직결된 정보들이었습니다. 그런 핵심 정보들과 더불어서 재고관리팀이라면 재고 현황 데이터를, 생산관리팀이라면 생산관리 데이터를 볼 수 있도록 팀마다 화면을 분리해야 합니다.
진짜 EIS가 필요한 것인지요..
EIS가 필요한 것인지 스스로 자문하며 진단할 필요가 있습니다. 예를 들어서 B2B 기업이고 고객사가 한정적이며, 고객사에 대한 정보를 정리하지 않는 기업의 경우, 데이터를 보며 얻을 수 있는 Action이 발생하지 않죠.

가급적 만들지 말자..

어차피 쓰지도 않는 거..
각고의 노력을 다해 만들어봐야 EIS는 높은 확률로 사장됩니다.그래서 그 때 그 때마다 데이터를 다르게 볼 수 있는 보고서와 좀 더 데이터분석에 가까운 플랫폼을 제공해주는 게 더 좋아보입니다.
현업에게도 교육이 필요하다.
데이터를 다루고 그것을 어떻게 가공해야 하는지에 대한 기본적인 지식이 현업에게도 필요합니다. 그들이 유연하게 데이터에 접근하고 데이터를 가공할 수 있을 때 비로소 유연한 데이터 분석과 문화가 형성이 된다고 생각합니다.

R) 정규표현식 마스터하기

제씨_ — Sun, 28 Mar 2021 14:04:20 +0900

도움이 되는 사이트

엘리의 드림코딩 - 정교표현식(https://www.youtube.com/watch?v=t3M6toIflyQ)
정규표현식 연습사이트(https://regexr.com/5mhou)
엘리의 드림코딩 - 정규표현식 깃허브(https://github.com/dream-ellie/regex)

출처 : 엘리의 드림코딩 - 정규표현식 깃허브(https://github.com/dream-ellie/regex)

Groups and ranges

Chracter	뜻
\|	또는
()	그룹
[]	문자셋, 괄호안의 어떤 문자든
[^]	부정 문자셋, 괄호안의 어떤 문가 아닐때
(?:)	찾지만 기억하지는 않음

Quantifiers

Chracter	뜻
?	없거나 있거나 (zero or one)
*	없거나 있거나 많거나 (zero or more)
+	하나 또는 많이 (one or more)
{n}	n번 반복
{min,}	최소
{min,max}	최소, 그리고 최대

Boundary-type

Chracter	뜻
\b	단어 경계
\B	단어 경계가 아님
^	문장의 시작
$	문장의 끝

Character classes

Chracter	뜻
\	특수 문자가 아닌 문자
.	어떤 글자 (줄바꿈 문자 제외)
\d	digit 숫자
\D	digit 숫자 아님
\w	word 문자
\W	word 문자 아님
\s	space 공백
\S	space 공백 아님

Titanic Data 에서의 적용

Name 필드에는 아래와 같은 이름들이 있다.

Bonnell, Miss. Elizabeth

Nasser, Mrs. Nicholas (Adele Achem)

Vander Planke, Mrs. Julius (Emelia Maria Vandemoortele)

Williams-Lambert, Mr. Fletcher Fellows

Clarke, Mrs. Charles V (Ada Maria Winfield)

Ford, Miss. Doolina Margaret "Daisy"

Duff Gordon, Lady. (Lucille Christiana Sutherland) ("Mrs Morgan")

Rothes, the Countess. of (Lucy Noel Martha Dyer-Edwards)

여기에서 우리는 Miss, Mrs, Lady와 같은 호칭을 뽑아내려고 한다.

이 때 정규표현식을 사용해서 R에서 가져오게 되는데 아래와 같은 표현식을 사용한다.

full$Title <- gsub('(.*, )|(\\..*)', '', full$Name)

여기서 '\\'로 '\'가번 쓰이는 것은, R에서는 '\'를 '\\'로 써야 백대시로 인식하기 때문이다.

gsub은 대체시키는 함수이다.

대체시키려는 값과 대체시키는 값을 차례로 Paramter로 받는다.

결과는 아래와 같다.

(.*, ) - 콤마와 공백 앞에 있는 모든 값

| - 또는

(\..*) - 점 다음에 있는 모든 값

R에서 사용할 때는 \\를 \ 대신 사용한다는 것이 포인트였다.

정규표현식은 문자열을 다루기 위해서는 반드시 배워야할 필요가 있다는 점을 이해했다.

다음에 문자열을 다룰 때에는 좀더 편하게 다룰 수 있을 것 같다.

끝

Git) Github Repository와 Local 환경 동기화

제씨_ — Sat, 27 Feb 2021 06:21:33 +0900

예를 들어 A의 개발 환경에서 각각 개발하고 깃허브에 올린다음,

그것을 B의 개발환경에서 다시 불러와서 작업하고 싶은 경우가 있다.

이 상태에서 그냥 Pull을 누를 경우 충돌이 생기면서 최신화가 되지 않는다.

이럴 때는 아래 코드를 참조하자.

git reset --hard HEAD
git pull

reset --hard HEAD 는 가장 최근의 코드로 Commit을 리셋합니다.

그리고 이 상태에서

git pull을 하시면 충돌 없이 최신화가 됩니다.

R) R Markdowon 설치 시 에러(Error in install.packages : ERROR: failed to lock directory)

제씨_ — Sun, 14 Feb 2021 13:12:27 +0900

Error in install.packages : ERROR: failed to lock directory
Try removing ‘C:\Users\..../00LOCK’

R MarkDown을 사용하려니까 저런 에러가 발생했다.

해결 방법은 위에 해당하는 디렉토리로 가서 00LOCK이라고 하는 폴더를 지워주자

그러면 R Markdown이 다시 제대로 동작한다.

R) 명령어로 버전 업그레이드 하기

제씨_ — Fri, 12 Feb 2021 06:12:15 +0900

따로 CRAN Page에 들어가지 않고 명령어로 R 버전을 업그레이드 할 수 있다.

1. install.packages("installr")

패키지 콜을 먼저 수행한다.

WARNING: Rtools is required to build R packages but is not currently installed. Please download and install the appropriate version of Rtools before proceeding:

https://cran.rstudio.com/bin/windows/Rtools/
Installing package into ‘C:/Users/Jessie/Documents/R/win-library/4.0’
(as ‘lib’ is unspecified)
also installing the dependencies ‘glue’, ‘magrittr’, ‘stringi’, ‘stringr’

URL 'https://cran.rstudio.com/bin/windows/contrib/4.0/glue_1.4.2.zip'을 시도합니다
Content type 'application/zip' length 154967 bytes (151 KB)
downloaded 151 KB

URL 'https://cran.rstudio.com/bin/windows/contrib/4.0/magrittr_2.0.1.zip'을 시도합니다
Content type 'application/zip' length 235353 bytes (229 KB)
downloaded 229 KB

URL 'https://cran.rstudio.com/bin/windows/contrib/4.0/stringi_1.5.3.zip'을 시도합니다
Content type 'application/zip' length 15243599 bytes (14.5 MB)
downloaded 14.5 MB

URL 'https://cran.rstudio.com/bin/windows/contrib/4.0/stringr_1.4.0.zip'을 시도합니다
Content type 'application/zip' length 216647 bytes (211 KB)
downloaded 211 KB

URL 'https://cran.rstudio.com/bin/windows/contrib/4.0/installr_0.22.0.zip'을 시도합니다
Content type 'application/zip' length 341403 bytes (333 KB)
downloaded 333 KB

package ‘glue’ successfully unpacked and MD5 sums checked
package ‘magrittr’ successfully unpacked and MD5 sums checked
package ‘stringi’ successfully unpacked and MD5 sums checked
package ‘stringr’ successfully unpacked and MD5 sums checked
package ‘installr’ successfully unpacked and MD5 sums checked

The downloaded binary packages are in
	C:\Users\Jessie\AppData\Local\Temp\RtmpINxkdB\downloaded_packages

2. library(installr)

그리고 라이브러리 콜을 수행한다.

필요한 패키지를 로딩중입니다: stringr

Welcome to installr version 0.22.0

More information is available on the installr project website:
https://github.com/talgalili/installr/

Contact: <tal.galili@gmail.com>
Suggestions and bug-reports can be submitted at: https://github.com/talgalili/installr/issues

			To suppress this message use:
			suppressPackageStartupMessages(library(installr))

3. check.for.updates.R()

위 명령어 수행을 통해 R의 버전을 확인한다.

나는 현재 업데이트가 마친 상태이므로 (21.02.12 기준) 4.0.3 버전이 설치가 완료되었다.

4. install.R()

위 명령어 수행과 동시에 설치에 대한 진행이 시작되고 그대로 Next - Next로 쫓아 수행한다.

5. version
인스톨을 마친 후에 RStudio를 종료하고 실행 후 version 명령어를 입력하여 현재의 버전을 확인 할 수 있다. 아래 내용처럼 현재의 R버전이 4.0.3 (2020-10-10)의 최신 버전인 것을 확인 가능하다.

> version
               _                           
platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          4                           
minor          0.3                         
year           2020                        
month          10                          
day            10                          
svn rev        79318                       
language       R                           
version.string R version 4.0.3 (2020-10-10)
nickname       Bunny-Wunnies Freak Out

Git Bash) mkdir부터 Permission Denied 뜨는 경우

제씨_ — Sun, 7 Feb 2021 06:34:19 +0900

Git의 첫 시작은 Git Bash에서 mkdir부터 시작합니다.

오랜만에 다시 Git을 사용해보려고(거의 복기 수준) 매뉴얼 보면서 따라가보는데

그런데 오늘은 처음부터 복병이 있네요. Permission Denied라고 뜹니다 ㅠ_ㅠ

이걸 해결하려고 찾아보고 실행해본 방법 중 가장 쉬운방법은

아이콘에서 오른쪽 마우스 하고 관리자 권한으로 실행하는 방법이었습니다.

이 방법으로 Try 해보세요 :)

R) Data Frame 다루기

제씨_ — Sat, 6 Feb 2021 05:53:06 +0900

<순서>

1. 데이터 프레임 만들기

2. 데이터 프레임에 Column 추가

3. 데이터 프레임에서 Column 제거

1. 데이터 프레임 만들기

종종 샘플 데이터를 만들 때 데이터프레임을 직접 만들어야 하는 경우가 있습니다. R에서 데이터 프레임을 직접 만드는 방법은 아래와 같습니다.

# Data Frame 만들기

id <- c(1,2,3,4,5,6)
class <- c(1,1,1,1,2,2)
math <- c(50,60,45,30,25,50)
english <- c(98,97,86,98,80,89)

exam <- data.frame(id,class,math,english, stringsAsFactors = F)

1) c()를 이용해 길이를 맞춰 벡터를 생성한다

2) 해당 벡터를 data.frame이라는 함수와 함께 생성한다.

3) Character가 자동으로 Factor로 처리되는 것을 막기 위해 stringsAsFactors = F로 설정해준다.

결과는 아래와 같습니다.

  id class math english
1  1     1   50      98
2  2     1   60      97
3  3     1   45      86
4  4     1   30      98
5  5     2   25      80
6  6     2   50      89

꼭 이 방법을 사용해야 하는 것은 아니지만, 가장 깔끔하게 데이터를 생성할 수 있는 방법이라고 생각합니다.

더 좋은 방법은 댓글로 공유해주세요 :)

2. 데이터 프레임에 Column 추가하기

위에서 만든 데이터 프레임은 시험 점수에 대한 데이터 프레임입니다. 만약 데이터 프레임에 과학점수를 추가하고 싶을 수 있겠죠? 그럼 어떻게 해야 할까요?

# Data Frame Column 추가하기
# 1) $ 사용하기
exam$science <- c(50,60,78,58,65,98)

먼저 위와 같이 $로 이용한 방법이 있습니다.

기존의 데이터 프레임에서 $를 사용하여 새로운 Column이름을 붙여주고 똑같은 길이의 벡터를 붙여주는 방법입니다.

# 2) transform 함수 사용하기
exam <- transform(exam, physics = c(10,10,10,20,40,30))

두 번째로 transform 함수를 사용하는 방법입니다.

Transform 함수를 통하여 Physics라는 Column을 추가했습니다.

결과를 볼까요?

  id class math english science physics
1  1     1   50      98      50      10
2  2     1   60      97      60      10
3  3     1   45      86      78      10
4  4     1   30      98      58      20
5  5     2   25      80      65      40
6  6     2   50      89      98      30

Science와 Physics가 잘 생성된 것을 볼 수 있네요 :)

3. 데이터 프레임에서 Column 제거

마지막으로 만든 Column을 지우고 싶은 경우가 있을 수 있습니다. 현재 exam 데이터 프레임에는 science와 physics 점수가 들어가 있습니다. 이 중 physics 점수를 빼고 싶다고 가정할게요.

# Data Frame Column Column 지우기

exam$physics <- NULL

$을 사용해서 제거를 원하는 Column에 NULL을 할당해주면 됩니다. 간단하죠?

감사합니다 :)

R) rvest와 httr 이용해서 네이버 실시간 증권 뉴스 크롤링

제씨_ — Tue, 5 Jan 2021 23:47:53 +0900

데이터 분석에서 데이터를 구하는 일은 늘 숙제인 것 같다.

오늘은 네이버 실시간 증권 뉴스를 가져오는 연습을 진행해본다.

1. 네이버 증권뉴스 주소

finance.naver.com/news/news_list.nhn?mode=LSS2D&section_id=101&section_id2=258

실시간 속보 : 네이버 금융

관심종목의 실시간 주가를 가장 빠르게 확인하는 곳

finance.naver.com

뉴스 제목에서 오른쪽 마우스 - 검사를 누르면 오른쪽에 패널이 생기면서 태그들이 생성됨

2. RStudio 켜고 패키지 다운 및 라이브러리 생성

install.packages(c("rvest","ggplot2","dplyr","httr"))
library(httr)
library(rvest)

3. URL 생성

url <- 'https://finance.naver.com/news/news_list.nhn?mode=LSS2D&section_id=101&section_id2=258'
data <- GET(url)

위에 링크에 맞는 url을 url객체에 넣어준다.

4. 태그를 찾아 text 뽑아내기

news <- read_html(data, encoding="EUC-KR")

headlines <- news %>% 
  html_nodes('dl') %>% 
  html_nodes('.articleSubject') %>% 
  html_nodes('a') %>% 
  html_text()

5. 결과 보기

 [1] "‘삼천피’‘천스닥’ 시대 눈앞에 왔다"                                                  
 [2] "박셀바이오, `투자위험종목` 지정에 6일 거래정지된다"                                     
 [3] "코로나19로 지친 삶…술·담배 소비액 역대 최대"                                          
 [4] "[신년 대예측]코스피 3천 시대?…동학개미 힘 어디까지?"                                   
 [5] "[데일리안 오늘뉴스 종합] 박원순 피소 몰랐다는 남인순에 野 맹폭, 배달비 부담에 직접 나.."
 [6] "[어르신이 행복한 나라] 경제력 있고 건강한데 여가는 아직도 경로당?"                      
 [7] "두산 오너家, 퓨얼셀 지분 3천억 규모 블록딜로 처분"                                      
 [8] "고객 대접할 쿠키를 발 위에…백화점 직원들의 일탈"                                       
 [9] "코스피 3000선 육박…배경엔 68조 고객예탁금"                                             
[10] "코스피 1000 돌파후 31년만에 `삼천스피`시대 연다"                                        
[11] "[마켓인사이트]두산 오너家의 '새옹지마'...석달 전보다 50% 높은값에 퓨얼셀 블록딜"        
[12] "[표]아시아 주요 증시 동향(1월 5일)"                                                     
[13] "국민연금, 대한항공의 아시아나 인수 '반대'...\"주주가치 훼손 우려\""                     
[14] "5일 장 마감 후 주요 종목 뉴스"                                                          
[15] "“세스코, 믿고 먹는 깨끗한 음식점 되는데 도움”"                                        
[16] "장 마감 후 기업공시[1월 5일]"                                                           
[17] "[마켓인사이트]AJ셀카, 중고차 '오토허브' 운영사 신동해홀딩스에 매각"                     
[18] "'8만전자' 된 삼성전자, 시총도 500조원 돌파"                                             
[19] "엔드림, 조이시티 지분 23만주 추가 취득"                                                 
[20] "오르비텍, 100억원 규모 CB 발행 결정"

So Happy Baby

크롤링하는 법은 해도 해도 잘 안쓰니 까먹는 것 같다.

R을 산소처럼 사용해야 이 툴이 손에 익을텐데 아직은 멀었나보다.

Qlik 사용하듯 R을 편하게 다루는 날도 얼른 왔으면 좋겠다.

끝

퀀트를 향한 걸음마

제씨_ — Sun, 3 Jan 2021 16:23:07 +0900

섣부르게 퀀트를 시작해야겠다는 마음은 잠깐 접어두기로 한다.

스스로 백테스팅을 진행할 수 있고 그 전략에 신뢰를 가질 수 있는 정도가 되어서야만이 그 전략을 흔들리지 않고 믿을 수 있는 실력에 이를 수 있다고 생각한다.

하지만 책들을 살펴봐도, 그런 백테스팅을 수동으로 할 수 있는 방법을 알려주는 곳이 잘 없는 것 같다. (백테스팅을 하더라도 안의 로직들은 숨겨져 있는 경우를 포함)

그래서 스스로 공부하면서 백테스트를 수행해보고 다양한 전략을 검증해보는 경지에 이르러보고 싶다는 생각이 들었다.

하지만 그냥 되지는 않을 것 같아서 시간을 두고 해보기로 했다.

업무가 바쁘지만, 시간을 쪼개서 이 작업과 공부를 병행할 수 있는 능력과 끈기를 길러보고 싶다.

오랫동안 잊고 있던 작업이다. 끈기 있게 물고 늘어져서 완성하는 것 말이다.

2021년은 제씨 퀀트의 원년의 해로 정하고 마음을 다잡아보자.

그리고 이 과정에서 나는 컴퓨터공학적 지식과 투자지식을 모두 활용하여 하나의 방법론으로 엮어갈 수 있는 힘과 능력을 얻게 되리라 믿어본다.

천천히, 하지만 꾸준히.

2021.01.03 제씨

20년치 재무제표 데이터를 구할 방법은 없을까?

제씨_ — Fri, 1 Jan 2021 22:16:41 +0900

"내가 직접 백테스팅을 해서 퀀트투자의 포트폴리오를 평가할 수는 없을까?"

이 질문으로부터 시작했습니다.

그 다음 이 질문으로 넘어갔지요.

"그럼 20년치의 기업 재무제표 데이터를 모두 구할 수는 없을까?"

Price의 변화와 거래량은 20년이든 30년이든 네이버 데이터를 활용하면 어렵지 않게 크롤링할 수 있었습니다.

하지만 재무제표 데이터는 손질이 많이 필요한 데이터이니만큼, 3년치 이상의 데이터를 구하기가 쉽지 않았죠.

그래서 현재는 FnGuide의 데이터를 유료로 구매해서 사용해볼 생각입니다.

백테스트를 수행해보기 위해서는 불가피한 과정이기도 할 것 같네요.

앞으로 20년치 데이터를 확보한 후 Qlik으로 백테스팅하여 퀀트를 수행하려고 합니다.

그 중간 과정을 보여드리도록 하죠.

영화리뷰) 마션

제씨_ — Sun, 15 Nov 2020 22:01:20 +0900

먼저 하는 세줄 요약:

마션 너무 끝내줘. 엔지니어 멋있어. 나도 탐험이 하고 싶다.

주말마다 지방에서 업무를 하는 탓에 긴 시간을 버스에서 보내야 한다. 그런데 요즘 세상이 얼마나 좋아졌냐면, 스트리밍으로 영화를 봐버린다는 것이다. 갓플릭스의 은혜를 받고 본 마션의 후기, 지금 시작한다.

1. 엔지니어를 향한 미국의 시선

우리가 가장 가까이에서 사용하는 것들 중에서 엔지니어의 손으로부터 탄생하지 않은 것이 없다. 가전, 컴퓨터, 자동차, 핸드폰, 지금 타고 있는 이 버스까지. 엔지니어들은 늘 문제를 고민하며 그것을 해결할 수 있는 구체적 방법을 고안해 난제를 해결한 사람들이다. 그리고 그들에 대한 감독의 존경심이 이 영화 전체에 녹아져 있는 것 같다. 기술을 가진 사람이 결국 상상력을 가지면 그것을 진짜로 만들어낼 수 있는 거구나 하는 것을 영화로써 보여주는 것 뿐인데, 너무 벅차고 신났다.

만약 내가 어릴 때 이 영화를 봤고, 이 영화에서 의미하는 것들을 이해할 수 있었다면, 나는 지체없이 공학을 공부했을 것 같다. 그 때는 맞고 지금은 틀린 게 아니지만, 그래도 아쉽다. 상상력을 실천으로 만드는 힘에 나는 너무나도 큰 공경을 이제서야 가지는 것 같다.

2. 아직 탐험되지 않은 곳을 향한 인간의 호기심

현 지구의 구석구석은 탐험되었다. 물론 바다 아래 깊은 곳은 아직 인류의 영역 밖이나, 그래도 우리가 발을 딛고 걸을 수 있는 곳 중에서 인류의 호기심이 닿지 않은 곳이 없다. 새로운 곳에서 새로운 것을 만나는 것은 정말 신나는 일이다. 물론 그것이 겉잡을 수 없는 공포와 준비되지 않은 참혹함으로 이어져왔던 과거의 역사가 있지만, 그럼에도 불구하고 뻗어온 인류의 호기심 덕에 하나의 지구라는 공동체로서 세계인이 묶였다.

그런 의미에서 영화 내내 화성을 상상했다. 영화 속의 저 장면은 분명 똑같지 않더라도, 우주 저 편 어딘가에 실제로 존재하는 곳이겠지. 나도 저 곳에 닿아보고 싶다. 그 곳에서 붉은 흙을 비추는 태양빛을 바라보고 싶다는 생각을 했다.

3. 생존의 의지는 벅차오른다.

죽으려고 하는 의지는 무기력하다. 무엇도 할 수 없다고 느끼게 만들지만, 살아야겠다는 의지는 눈 앞에 있는 모든 문제를 해결할 수 있는 방법을 찾게 한다. 나는 문제해결의 순간이 생존, 또는 당면한 문제와 매우 가까이 있다는 것을 확인했다. 영어가 느는 순간은 내가 외국에서 유학을 해야 하는 때이며, 코딩이 느는 순간은 당장 내일 이 문제를 해결하지 않으면 처먹어야 하는 욕 때문이듯, 와트니를 움직인 것은 급박한 문제(물론 심각성에 있어서 비교가 안되는 수준이지만)를 해결해야 하겠다는 의지였던 것 같다.

4. 한 사람의 목숨을 두고 내리는 결정

예전에 피랍되었던 한국인을 두고 갑론을박했던 일이 있었다. 사람의 목숨과 그들을 구하는 데에 걸린 수많은 자원과 또다른 희생과 관련된 문제였기 때문이다. 그 때 피랍된 사람을 구해야겠다고 내린 결정에는 어떤 가치가 내포되어 있었을까? 만약 일이 잘못된다고 하더라도 그것을 이해할 수 있는 마음에는 무엇이 있을까?

한 사람의 목숨값은 얼마일까. 그것이 타인일 때는 그렇게 가벼워 보이지 않다가도, 나의 문제로 다가왔을 때는 그것은 온 세상의 문제다. 하지만 영화에서는 와트니의 생명만이 걸려있었다고 보이진 않는다. 인류가 걸어두고 온 희망, 꺼뜨리지 않고 그것을 찾으려는 의지, 앞서 말했던 벅차오르는 생에 대한 집착 같은 것이 눈물짓도록 힘쓰게 만드는 원동력 같다.

기대하지 않고 봤는데, 시간가는 줄 모르고 본 영화 마션. 2015년도 개봉한 영화이나 많은 사람에게 추천해주고 싶다. 아 이과갈걸.

Notepad++ 줄바꿈 찾기

제씨_ — Tue, 3 Nov 2020 18:20:31 +0900

노트패드에서 디버깅할 때 ; 단위로 끊어져있지 않은 경우 가독성이 매우 떨어진다..

이럴 때 사용할 수 있는 유용한 잡기!

1. 'Alt + F'

2. 찾을 내용 : ;

3. 검색 모드-확장(\n, \r, \t, \0, \x...) 체크

4. 바꿀내용 : ;\n

5. 모두 바꾸기(A) 클릭

QlikView - Performance 향상시키는 방법

제씨_ — Mon, 2 Nov 2020 23:58:18 +0900

안녕하세요 제씨입니다.

가을이 한층 더 깊어졌네요. 점점 추위가 익숙해지는 날씨가 되는 것 같습니다.

여러분도 고뿔 조심하셔요 :)

오늘은 고객사와 논의하면서 Performance에 대한 이슈가 제기되었습니다.

무슨 말이냐면, QlikView의 화면 로딩이 느리다는 것이지요 ㅠ_ㅠ

저도 어찌어찌하면서 찾아보니 다음과 같은 자료가 잘 정리되어 있더군요.

Performance and Optimization Best Practices in Qlik v2.pptx

3.45MB

Qlik community에서 배포되어있는 파일을 참고삼아 공유합니다.

영어로 되어있지만, 꼼꼼하게 퍼포먼스 향상을 어떻게 해야 하는지 적혀있으니 참고하세요 :)

퍼포먼스가 느려지는 이유는 다양하지만 대표적으로 꼽자면,

데이터가 너무 방대하거나, 화면에 표현식이 너무 많이 들어가 있거나

If나 반복문 로직을 사용해서 퍼포먼스가 안좋아지는 경우가 대표적이겠네요.

그럼 이런 퍼포먼스 이슈들을 어떻게 해결해야 할까요?

1. 복잡한 수식은 Script에서 해결하기

화면에서 If를 쓰거나 반복문을 사용할 때 먼저 생각해야 할 점은, 그 표현식의 로직을 Script에 태울 수 있냐는 점입니다.

그럼 Qvd파일로 마트화해서 데이터 값만 불러들이고, 표현식에서는 간단한 Sum정도로 표현할 수 있도록 하는 것이죠.

최대한 표현식을 가볍게 하는 게 좋습니다.

2. IF 연속문을 Pick-Match로 치환하기

If문 안에 If문이 들어있는 경우, 퍼포먼스에 큰 영향을 미친다고 합니다. If문이 기본적으로 연관된 테이블을 스캔하기 때문이라고 하네요. 그래서 시간이 지날수록 퍼포먼스가 좋아질 리가 없겠죠?

그럼 이런 경우 가급적이면 Pick-Match로 치환하여 표현할 수 있는 방법을 사용하는 게 좋습니다.

	If( Region=‘North America’,  100, 
		if( Region=‘Asia’,50, 
			if( Region=‘Europe’,75)
		)
	)

=pick( match( Region,'North America','Asia','Europe'),100,50,75)

3. Set으로 대체하여 사용하기

가급적 Set으로 사용할 수 있으면 Set으로 표현하고, If문을 최소화하는 게 좋습니다. 또한 If문을 불가피하게 사용해야 할 경우에는, 문자열 검색이 아닌 Integer 검색이 될 수 있도록 구축하는 게 좋습니다.

하지만 Set으로 표현할 수 있다면 최선이겠죠?

Worst: Sum( If( ClientGroup=‘North America Sales’, Sales) )

Better: Sum( If ( ClientGroupNum=1,Sales))

Best: Sum( {<ClientGroupNum={1}>} Sales)

4. AGGR(), 계산된 차원(Caculated Dimension)도 가급적 피하자

Aggr() 함수는 강력한 기능입니다. 표현식 내에서 Group By 값으로 집계된 값을 계산할 수 있도록 도와주죠. 하지만 퍼포먼스 측면에서는 도움이 되지는 않습니다. 그래서 가급적이면, Script 단에서 내려서 해결해주는 게 좋다고 하네요!

5. 3~4개 이상의 테이블을 참조하는 차트를 가급적 피하자

데이터 모델링에서 신경써야 하는 부분이겠죠. 그래서 Fact Table은 가급적 최소화 하는 게 좋습니다. 다양한 테이블을 참조해서 가져오게 되면 성능이 저하되니까요.

퍼포먼스를 고려한다면 가급적 모든 Table을 Concatenate해서 하나의 통테이블로 만들면 좋다고 합니다. 하지만 모델링 측면에서 반복되는 데이터를 줄이고, Schema를 담은 정리하기 위해서는 그 중간을 잘 찾아가는 게 개발자/컨설턴트의 역할일 것 같습니다.

가만 살펴보니 퍼포먼스 저하의 주범은 If문인 경우가 대부분이군요. 조건문을 최소화하는 방향으로 고객사의 화면을 가볍게 만들어봐야겠습니다. 숱을 치는 느낌으로 말이죠 :)

이상으로 오늘의 포스팅을 마치겠습니다.

그럼 다음 포스팅까지 안녕히!

어쩌다 HTML -(2) 버튼 만들기

제씨_ — Sun, 1 Nov 2020 16:42:35 +0900

안녕하세요 제씨입니다!

원래라면 HTML을 구성하는 순서가 있겠습니다만, 누가 이걸 정주행을 하겠습니까? ^_^;

요즘은 생활코딩도 있고, 좋은 강의도 넘쳐나는 시대이니까요.

정말 코딩하기 좋은 시대라고 한 이고잉님의 말씀이 맞는 것 같아요.

아무튼 본론으로 들어가볼까요?

HTML 버튼 만들기 - Input Type

1) 먼저 HTML 기본 포멧

<!doctype html>

<html>
    <head>
       <meta charset="utf-8">
    </head>

    <body>

    </body>
</html>

그래도 헤더랑 바디는 있어야 하니까요 :)

2) 버튼 명령어 집어넣기

아래 명령어를 바디와 바디 사이에 집어 넣습니다.

<button type="button">Click Me!</button>

www.w3schools.com/tags/tag_button.asp

HTML button tag

HTML Tag Example A clickable button is marked up as follows:

Try it Yourself » More "Try it Yourself" examples below. Definition and Usage The tag defines a clickable button. Inside a element you can put text (and

www.w3schools.com

3) 결과 확인하기

생겼다! 버튼!

버튼을 왜 만들고자 했나면,

버튼을 통해서 이벤트를 발생시키려고 했거든요.

이벤트를 발생시켜서 기능적인 면들을 조금씩 테스트 해보고 싶었습니다.

오늘은 여기까지,

다음 포스팅까지 안녕히!

어쩌다 C# - (2) MSDN으로 빠르게 C# 익히기

제씨_ — Thu, 8 Oct 2020 22:37:36 +0900

나는 시간이 없다.

C#이 주력 언어도 아니다. (언젠가 중요하게 쓰일 일이 있을지는 모르겠으나)

그래서 나는 속도전을 펼치기로 했다. 빠르고 실용적으로 바로 배울 수 있는 곳

바로 MSDN(docs.microsoft.com/ko-kr/dotnet)이다

이 웹사이트는 MS에서 공식적으로 지원하는 사이트이며 A-Z로 빠르게 C#코딩을 배울 수 있다.

시간을 절약해야 한다!

https://docs.microsoft.com/ko-kr/dotnet

왜 대한민국에서는 Qlik Sense 보다 Qlik View를 더 선호할까?

제씨_ — Mon, 7 Sep 2020 22:24:02 +0900

안녕하세요,

Qlik으로 밥먹고 사는 제씨입니다.

대세는 Self-BI로 돌아선지 오래이고,

이미 시장은 Tableau와 Power BI, Qlik Sense 와 같은 제품들의 군웅할거가 진행되어 있습니다.

하지만 몇 해를 Qlik으로 여러 고객사에서 프로젝트를 해오면서,

고객들이 두 제품을 비교하다가 결국엔 QlikView로 돌아서는 것을 많이 경험했습니다.

세계적으로 대세가 Qlik Sense인데, 왜 한국에서만 QlikView를 선호하는 걸까요?

제가 경험을 바탕으로 아래와 같이 이유를 정리해보았습니다.

1. 정형화된 보고 방식

솔루션을 구매하는 기업은 보통 규모가 큰 편입니다.

제가 구축했던 기업은 모두 중견 이상은 되었던 것 같네요.

그런 기업들은 이미 자신들의 시스템이 어느 정도 구축되어 있으며,

보고체계와 방법들이 규칙처럼 정해져 있습니다.

하지만 Qlik Sense는 사용자가 직접 만들어서 사용하는 시각화 툴이죠?

그래서 정형화된 보고에는 맞지 않는 것입니다.

결국 정해진 포멧으로 결정된 툴에서 약간의 수정을 가미하는 것을 더 선호하겠죠

2. IT와 현업 사이의 현격한 간격

큰 기업일수록 IT 또는 전산팀이 잘 꾸려져 있는 것 같습니다.

그래서 경영관리 또는 각 현업들은 IT적인 부분에 있어서 이들의 지원을 받는 것을 더 선호합니다.

바꿔말하자면, 현업이 직접 IT 툴을 다루는 것을 아직 불필요하다고 생각하는 것 같습니다.

어쩌면 문과, 이과로 나누어 기계나 메커니즘이라면 자신의 것이 아니라고 생각하게 만든 교육환경도

무관하지 않다고 생각이 드네요.

어찌 되었거나 큰 기업에서 현업들에게 Qlik Sense는 자유로운 데이터의 놀이터라는 개념보다,

오히려 한 가지 업무의 추가의 개념인 것 같습니다.

3. 결국은 EIS

결국에 큰 기업은 EIS(Executive Information System)를 원합니다.

즉 임원에게 보고할 수 있는 자료를 만들 수 있는 툴, 그리고 회의를 할 수 있도록 지원하는 큰 화면,

짧은 간격으로 모니터링할 수 있는 간편하고 화면을 원하는 것 같습니다.

게다가 Qlik Sense는 섬세하게 만들고 싶다면, 디자인의 한계도 명확하다보니,

QlikView의 PPT같은 디자인 자유도를 더 선호하기도 합니다.

(임원들께서는 아름다운 그래프를 원하시는데(자신들의 입맛에 맞는) Qlik Sense는 그걸 다 맞추긴 어렵겠죠ㅠㅠ)

물론 Qlik Sense도 여타 개발 기술이 있다면 더욱 화려하게 만들 수 있겠으나,

추가적인 기술지원이 붙어야하므로 오히려 QlikView보다 어려울 겁니다.

이상으로 대한민국에서 QlikView가 더 선호되는 이유를 살펴보았습니다.

결국 대세는 Data Literacy를 성장시키는 방향으로 흘러가게 될 것입니다.

아마 QlikView를 사용하고 유지보수 하다가 보면,

자신들이 보고자 하는 화면을 자유롭게 만들 수 있는 Qlik Sense의 필요성을 느끼기도 하겠지요

결국 문화의 차이인 것 같습니다.

이상 제씨였습니다:)

감사합니다.

R) lapply와 sapply의 차이

제씨_ — Thu, 23 Apr 2020 21:12:23 +0900

lapply()

입력값으로 vector 또는 list를 받아 list를 반환한다.

즉 vector를 넣든, list를 넣든 결과값으로 list 형식의 자료형으로 return 해준다.

그리고 이 list자료를 다시 vector로 바꾸기 위해서는 unlist를 사용해주면 된다.

a <- lapply(1:10, function(x) x*2)
unlist(a)


> typeof(a)
[1] "list"

> typeof(unlist(a))
[1] "double"

Sapply()

lapply는 list를 반환하지만 sapply는 matrix 또는 vector로 반환한다.

> zz <- sapply(iris[,1:4], function(x){ x*5 })
> typeof(zz)
[1] "double"
> class(zz)
[1] "matrix"


> head(zz)
     Sepal.Length Sepal.Width Petal.Length Petal.Width
[1,]         25.5        17.5          7.0           1
[2,]         24.5        15.0          7.0           1
[3,]         23.5        16.0          6.5           1
[4,]         23.0        15.5          7.5           1
[5,]         25.0        18.0          7.0           1
[6,]         27.0        19.5          8.5           2


> zzz <- sapply(iris[1,1:4], function(x){ x*5 })
> typeof(zzz)
[1] "double"
> class(zzz)
[1] "numeric"

기본적으로 iris 데이터는 data.frame이지만, matrix형태로 반환해주는 것을 알 수 있다.

결론은, 반환하려는 자료형의 형태에 따라 lapply와 sapply를 다르게 사용해주면 된다.

R) class(), typeof()의 차이

제씨_ — Thu, 23 Apr 2020 20:54:49 +0900

typeof() : 원시 자료형 (R 에서의)

먼저 원시 자료형이라는 건, R에서 취급하는 일반적인 자료형의 모든 형태를 지칭한다.

예를 들어,

NULL: 데이터가 없는 경우
Logical: 불리언, 참 또는 거짓
Int: 정수
Double: 부동소수점 실수
Complex: 복소수
Character: 문자열
List: 리스트
Closure: 함수

이런 것들을 자료형이라고 부른다.

그래서 가장 기본적인 데이터인 iris의 type을 물어보면 다음과 같은 값이 return된다.

typeof(iris)
"list"

그러면 이건 Class()와 뭐가 다른 걸까?

class() : R 객체지향 관점에서의 자료형

R 에서 클래스는 변수가 가지는 속성의 하나이다. 따라서 자료형과 클래스는 같은 값을 가지지 않을 수도 있다.

특히 다음과 같은 점에 주의한다.

부동소수점 실수의 자료형은 double 이지만 클래스는 numeric 이다.
함수의 자료형은 closure 이지만 클래스는 function 이다.
matrix, data.frame 등의 클래스 객체나 사용자 정의 클래스의 자료형은 list 이다.

출처: https://datascienceschool.net/view-notebook/0a66597ee82f464b9e2015e41cff8205/

Data Science School

Data Science School is an open space!

datascienceschool.net

즉 흔히 헷갈릴 수 있는 게 list()나 data.frame이 같은 선상에 있는 자료형이라고 생각하는 것이다.

하지만 data.frame이나 matrix는 엄연히 말하면 객체이며 다음의 iris 예시에서 이렇게 확인할 수 있다.

class(iris)
"data.frame"

정리하자면, Iris는 list의 자료형을 가진 data.frame 객체이다.

R) apply 정리

제씨_ — Wed, 22 Apr 2020 23:57:43 +0900

Apply 공부를 하다보니, 이게 다양한 종류가 있는 함수라는 걸 알게 되었다.

정적으로 설명을 적자면,

apply() 제품군은 R 기본 패키지와 관련이 있으며 행렬, 배열, 목록 및 데이터 프레임의 데이터 조각을 반복적 인 방식으로 조작하는 함수로 채워져 있다.
이러한 함수를 사용하면 여러 가지 방식으로 데이터를 교차시킬 수 있으며 루프 구문을 명시적으로 사용하지 않아도 된다.
입력 목록, 행렬 또는 배열에서 작동하며 하나 이상의 선택적 인수와 함께 명명된 함수를 적용합니다.
apply () 함수는보다 복잡한 조합의 기초를 형성하며 아주 적은 코드 행으로 작업을 수행하는 데 도움이 된다.
보다 구체적으로, 패밀리는 apply(), lapply(), sapply(), vapply(), mapply(), rapply() 및 tapply() 함수로 구성

그 중에서도 오늘은 Apply에 대해서만 집중해보자

Apply

Apply 함수는 특정 구조를 지니는 object 를 입력값으로 받아 인자별 및 그룹별로 함수를 적용하는 것이다.

https://www.datacamp.com/community/tutorials

x <- matrix(1:9, c(3,3))
x
# [,1] [,2] [,3]
# [1,]    1    4    7
# [2,]    2    5    8
# [3,]    3    6    9

# apply(array, 1 또는 2, 함수)
# 1:행, 2:열

y <- apply(x, 1, function(x) {5*x })
y
# [,1] [,2] [,3]
# [1,]    5   10   15
# [2,]   20   25   30
# [3,]

R에서 폴더 생성하고 csv 파일 저장하기

제씨_ — Thu, 16 Apr 2020 00:05:33 +0900

# R에서 폴더를 생성하고 저장하는 방법

- dir.exists 는 폴더명이 존재하는지 여부를 T,F 형태로 리턴하는 함수

- dir.create는 작은 따옴표 안의 폴더명으로 폴더명 생성하는 함수

- ifelse 구문으로 폴더명 확인 후 없으면 create하는 구문 실행

- write.csv로 해당 루트에 파일 저장

ifelse(dir.exists('폴더명'), F, dir.create('폴더명'))
write.csv('저장하고 싶은 파일,폴더명/저장할 파일명.csv')

ifelse 구문을 통해 전체 구ㅁ

DBeaver를 사용한 Postgre SQL

제씨_ — Sat, 11 Apr 2020 11:38:35 +0900

DB 사용하는 사람들 사이에서는 핫한 Client라고 해서 한 번 받아보기로 했다.

- 사용 후기 모음

https://okky.kr/article/631704

OKKY | DBeaver 무료 DB Client

요즘 Postgresql 작업을 하고 있는데, 적당한 클라이언트 찾다가 발견했습니다. eclipse plugin도 지원하고, 깔끔하고 좋습니다. https://dbeaver.io

okky.kr

<장점>

1. 무료에 오픈 소스라는점

2. 다양한 SQL과 연동하여 사용가능하다는 점(오라클, MS-SQL, MySQL, PostgreSQL, MariaDB 등)

- Windows, Mac, Linux 의 환경에서 사용 가능

3. 비버가 귀여움

요즘은 마스크도 씌웠다... 커엽

<설치>

1. 사이트 접속 https://dbeaver.io/

DBeaver Community | Free Universal Database Tool

DBeaver Universal Database Tool Free multi-platform database tool for developers, database administrators, analysts and all people who need to work with databases. Supports all popular databases: MySQL, PostgreSQL, SQLite, Oracle, DB2, SQL Server, Sybase,

dbeaver.io

2. OS에 맞춰서 다운로드

나는 Windows 64 bit 버전으로 다운로드했다.

3. 원하는 SQL 연결

- 나는 Postgre를 연결하기로 했으니 연결해본다.

DBeaver와 Postgre SQL 연결

4. DB를 깔 때 만들었던 비밀번호와 PortNumber를 쳐서 넣어준다.

- 보통 포트넘버는 알아서 잡는 것 같다.

- Postgre를 캡쳐하려고 했는데 이미 연결해서 ㅠㅠ 마리아DB 화면 캡쳐

5. 연결완료☆

확실히 UI도 깔끔하고 내 정서에 맞는다.

SQL Developer는 너무 딱딱한 느낌이 있어서 정감이 안가는데, 요녀석은 하얗고 아기자기한 게 개발할 맛이 나는 것 같다.

이상 DBeaver 포스팅 끝!

QlikView와 QlikSense의 차이

제씨_ — Sun, 22 Mar 2020 10:32:36 +0900

안녕하세요 제씨입니다.

저는 현장에서 Qlik툴을 이용해서 고객사에서 프로젝트를 하고 있습니다.

Qlik

그래서 현장에서 목소리를 들어보면

Qlik에서 제공하는 이 두 가지 툴에 대해 궁금증이 많이 있으세요

그래서 오늘은 이 두 가지 툴을 비교하는 블로깅을 해보고자 합니다 :-)

1. QlikSense와 QlikView의 공통점

이 두 제품은 한 회사에서 만든 제품이므로 엔진 측면에서 공통적인 분모를 가져갑니다.

BI에서 Qlik의 역할

먼저 위의 구조도를 보시면 이해에 도움이 될까하여 올립닏.

Qlik은 기존 BI가 담당하던 여러 부분을 저렇게 하나로 묶어서 제공합니다.

ETL(Extract, Transform, Load)에서부터 마트구성, 그리고 시각화까지 말이지요

위에 언급한 전반적인 기능은 두 제품이 모두 공유합니다.

그리고 Qlik 엔진이 가지고 있는 In-Memory 성능을 통한 속도의 장점,

QVD 마트를 통한 데이터 압축을 포함해서요.

그럼 이 두 제품이 각각 나뉜 이유가 무엇일까요?

저는 그 가장 큰 이유로 비즈니스가 전반적으로 Agile형태로 바뀌었기 때문이라고 생각합니다.

기존의 BI툴은 의사결정자를 위한 것이었습니다.

그들이 보고자 하는 지표들은 정해져 있었죠

그 회사의 KPI, 매출현황, 이익현황, 또는 각 제품별 분석 등으로 말이지요

다시 말하면, 한 번 만들어놓으면 그것을 다시 힘들여 제작할 필요가 적었습니다.

하지만 지금은 어떤가요?

소비자가 빠르게 변하고, 각 기업은 빠르게 변화하는 시장환경과 내부상황을 파악해야 합니다.

즉 기업은 빠르게 분석할 수 있는 환경을 원합니다.

하지만 QlikView라는 툴보다는 QlikSense 툴이 이런 빠른 방식의 분석에 조금 더 용이합니다.

왜냐하면 Qlik Sense는 보다 사용자 편의를 고려한 제품이거든요!

다시 말해 사용자, 즉 해당 분석을 담당하는 구성원(경영자, 의사결정자가 굳이 아니더라도)이 직접 시각화를 구성하고

데이터를 묶을 수 있는 전반적인 BI의 과정을 손쉽게 구현하도록 만든 제품이라는 말입니다.

2. QlikView vs QlikSense

QlikView

먼저 QlikView는 현재 12 Version까지 출시가 되었습니다.

QlikView2가 1996에 출시되었다고 하니, BI툴이 하나의 브랜드를 가지고 25년을 살아남고 있는거네요.(이번 조사에서 알게 되었습니다.) 그리고 QlikView12가 2015년에 출시되었고, 현재 버전업을 거쳐 2019년 SR2버전을 마지막으로 새로운 업데이트는 없습니다. 왜냐하면 지금은 Qlik Sense라는 제품에 회사가 주력하고 있기 때문이지요 :)

QlikView는 개발자 친화적입니다.

원하는대로 구현이 가능하고, Off-line에서도 분석을 수행할 수 있어서 매우 편합니다.

그리고 간단한 시각화정도는 desktop버전을 받아서 손쉽게 수행할 수도 있고요.

다만 디자인적 요소가 바뀌는 시대의 흐름과 맞지 않습니다.

QlikSense의 화면을 보실까요?

QlikSense 대시보드 예시

QlikSene 예시 (출처: Qlik 홈페이지)

어떤가요?

조금 더 단순하면서 깔끔한 느낌을 주지 않나요?

QlikSense는 2014년에 첫 출시를 하여 현재까지 Qlik이 주력해오고 있는 제품입니다.

장점은 명확합니다.

현대적인 디자인과 Grid를 통해 디자인과 그래프 배치 측면에서 사용자 편의성이 극대화 되었습니다.

QlikView보다 오히려 개발적인 측면에서는 선택지를 줄였는데요, 이게 바로 QlikSense의 핵심입니다.

사용자가 분석을 하기 위해 가장 필요한 분석요소만 남겨놓고, 나머지는 과감히 버린 것이지요.

물론 기존의 QlikView도 충분히 교육을 통해서 사용자가 분석하고 사용할 수 있도록 만들어 놓았습니다만,

QlikSense는 그 장점을 부각하여 제작한 툴인 것 같습니다.

따라서 QlikView가 구현하던 것들 중 일부가 QlikSense에서 구현되지 않는 경우가 있습니다.(반대상황도 종종 있습니다.)

그래프의 다양성과 확장성 측면에서 QlikSense가 조금 더 우세를 가져갑니다.

요즘들어 많이 쓰이는 fancy한 그래프들(Sankey Diagram, Waterfall barchart, Geoanaytics)을 적극적으로 지원하지요.

사실 이 외에도 다양한 차이점이 있습니다만,

툴을 선택하실 때에 필요한 정보는 여기까지만 해도 충분하고 생각이 됩니다 :)

요약하자면,

QlikView는 오래되었지만 오프라인에서 사용가능하고, 개발자 친화적이며, 심도 깊은 분석을 제공하는 제품이며

QlikSense는 현대적인 UI/UX, 온라인을 통해서만 가능하고, 사용자 친화적이며 확장성 높은 제품

이라고 정리해볼 수 있겠네요 :)

더 자세하게 궁금한 점은 댓글로 남겨주시면 추가 답변 달도록 하겠습니다.

그럼 오늘도 좋은 하루 보내세요

Decision Tree Regression

제씨_ — Fri, 27 Dec 2019 10:58:01 +0900

Decision Tree( 의사결정 나무 ) Model

모델

스무 고개처럼 일정한 기준을 질문으로 제시하였을 때, '예' 혹은 '아니오'로 갈라질 수 있는 결정 모델이다.

아래는 Decision Tree를 설명하는 가장 좋은 이미지

출처 : 위키백과

타이타닉 호의 생존율을 구할 때 사용하는 Decision Tree의 예이다.

Decision Tree Regression

출처 : https://gdcoder.com/decision-tree-regressor-explained-in-depth/

보통 Classification 모델을 쉽게 떠올리는데, 위 그림처럼 관측치에 대한 Regression도 가능하다.

다만 Continusous한 모델이 아니므로 회귀선을 그렸을 경우 아래처럼 직각형의 그래프가 나오게 된다

Random Forest Regression Model

위의 예제는 Random Forest의 그래프이다. 일반적인 Decision Tree보다 굴곡(꺾인 점)이 더 많다.

Random Forest는 Decision Tree를 모아서 그 결과치를 평균낸 모델이라고 해석하면 된다.

3. Git입문 - git init(문서 설정하기)

제씨_ — Mon, 16 Dec 2019 22:08:58 +0900

※ 본 글은 생활코딩의 '지옥에서 온 Git'을 바탕으로 작성되었습니다. 본 블로그는 쓴이의 복습을 위해 사용됩니다.

** 기본적으로 Git에서의 명령어를 파악하려면 Git Bash 안에서 'git'이라고 명령어를 쳐보면 된다.

1. 내 위치 파악하기

$ pwd

2. 시작하기

git init

3. 디렉토리 내 파일확인

ls -al

ls -al

마지막 세번 째 줄이 .git이라는 파일이 생성되는데, 이게 바로 '디렉토리'이다.

4. 파일을 만들고 싶을 때

vim f1.txt

vim f1.txt

이 화면에 들어가서 수정을 하고 싶다면 i를 누르고, 원하는 형식으로 수정을 한다.

만약 종료하고 싶다면 esc를 누른 후 INSERT 화면에서 빠져나온 후

:wq를 통해(w는 write를, q는 quit를 각각 상징하는듯?) 빠져나온다.

5. 만든 파일을 보고 싶을 때

ls - al

cat f1.txt

ls - al
cat f1.txt

6. 내가 만든 파일의 status를 확인하고 싶은 경우 및 status 추가

git status

git add f1.txt

git status

git status
git add f1.txt
git status

처음 status에서는 tracking이 되지 않는 상황을 확인 하고,

두 번째 add 코드를 실행한 후

git이 해당 파일을 정확히 추적하고 있음을 확인

2. Github 입문 - Git은 무엇인가?

제씨_ — Thu, 21 Nov 2019 22:11:47 +0900

https://youtu.be/YFNQwo7iTNc

'니콜라스' 라는 개발자가 이 개념을 너무나 잘 정리했다.

Git과 GitHub의 관계를 정리하자면, 커피와 커피숍의 관계이다.

즉 Git은 커피이고, GitHub는 이 커피를 가지고 서비스를 하는 커피숍이다.

Git은 버전관리시스템이며, 하나의 소스파일을 통해 여러 파일을 통제할 수 있다.

또한 GitHub를 통해 코드를 공유하여 협업할 수 있으며, 누가, 언제, 어디서 이 파일을 열고 어느 부분을 고쳤는지를 확인하고 수정할 수 있다.

또한 Google이나 페이스북, 다양한 거대기업에서 OpenSource로 제공한 코드들이 있는데 이 코드들이 어떻게 작동하고 활용될 수 있는지를 알 수 있는 코딩 생태계의 거대한 바다라고 볼 수 있다.

- 끝 -

1. GitHub 입문 - Git 설치하기

제씨_ — Thu, 21 Nov 2019 22:04:03 +0900

※ 본 글은 생활코딩의 '지옥에서 온 Git'을 바탕으로 작성되었습니다. 본 블로그는 쓴이의 복습을 위해 사용됩니다.

지옥에서 온 Git - 생활코딩

1. Git 설치 - Window 기준

https://git-scm.com/

Git

git-scm.com

해당 사이트 접속 후 컴퓨터 사양에 맞는 Git 프로그램 다운로드

해당 EXE 파일 실행 후 모든 설치를 Default를 기본으로 진행

2. 다운 후 Window 검색창에서 Git Bash 클릭

Git Bash는 윈도우에서 리눅스나 유닉스에서 사용하는 명령어 체제를 사용할 수 있도록 되어있다.

이어 해당 명령어 창에서 'git'이라고 쳤을 때 아래에 나오는 장황한 글자들이 나오면 설치가 완료된다.

- 끝 -

파이썬 사이킷런에서 model에서 fit and fit_transform의 차이

제씨_ — Sat, 28 Sep 2019 14:59:21 +0900

심플하게 얘기하자면

fit은 train_data에서 독립변수들을 통해서 y를 fitting할 때 그대로 사용하면 되는 함수다

그래서 regressor.fit()의 모양새가 된다.

하지만 이 훈련된 데이터 모델을 가지고 test_datat에 적용할 때는 fit_transform을 사용해야 한다.

μ와 σ를 train_data에서 가져다 써야하므로 transform 한다는 개념이다.

자세한 내용은 아래 내용 참조!

Difference between fit and fit_transform in scikit_learn models?

I am newbie to data science and I do not understand the difference between fit and fit_transform methods in scikit-learn. Can anybody simply explain why we might need to transform data? What doe...

datascience.stackexchange.com

6. Machine Learning - Polynomial Regression(다항식 회귀) 인트로

제씨_ — Sat, 28 Sep 2019 14:10:16 +0900

(Data preprocessing, Linear Regression, Multinomial Regression 등은 이미 공부를 마친 상태이다... 나중에 추가 보완하거나 Data preprocessing Templete을 공유하는 방향으로 보충할 예정 ㅠ_ㅠ)

1. Polynomial 회귀란 무엇인가?

Polynomial Regression(다항식 회귀)에 대해서 알아보자.

기본적으로 선형회귀에 대한 내용으로 n차 다항식의 형태를 띈다.

Machine Learning A-Z™: Hands-On Python & R In Data Science 중 Polynomial Regression Intuition

왜 P

olynomial 회귀를 사용하는가?

위키피디아 '선형회귀'

모든 데이터가 선형적인 모형을 띄면 쉽게 추정이 가능하겠지만

선형적이지 않은 모양(ex) 위 그림의 1사분면의 모양)으로 데이터가 분포되어 있다면 선형모형은 맞지 않을 것이다.

이럴 때 다항식 회귀가 필요하다.

다항형태이면 분포와 맞을 수 있다.

다항식 회귀(Polynomial) vs 다중 회귀(Multinomial)

처음엔 다중회귀와 다항식 회귀의 차이를 몰랐는데, 위 그림과 같이 간단히 설명할 수 있다.

다시 말하자면, n차형 다항식 형태이면 다항회귀, 1차형이고 변수가 많으면 다중회귀인 것이다.

왜 Linear라고 부르는가?

어쨌든 선형으로 표현이 가능하다.

y와 x간의 관계를 직선형이 아니더더라도, 곡선형으로라도 선형으로 표현 가능하기 때문이다.

만약에 분모의 영역에 x가 들어가게 된다면 더이상 선형이라고 부를 수 없을 것이다.

머신러닝입문) Machine Learning A-Z udemy 강의 요약

제씨_ — Sat, 28 Sep 2019 12:27:53 +0900

머신러닝은 통계학도로서 데이터 업계에 관심을 갖고 따라오다 보니 결국에는 마주하게 되는 관문 같은 것 같다.

일부 마케팅적인 용어와 섞이며 주가를 높이고는 있지만 실제로 이게 어떻게 구동하는지 잘 몰라 면접 때도 애를 먹었던 머신러닝. 다양한 루트로 지식을 접해오다가 문득 체계적으로 공부하고 배워보고 싶다는 열망이 생겼다.

다양한 공부 루트가 있을 수 있다.

Udacity, Datacamp, 앵드류 응 교수의 강의 등

하지만 개인적으로 하나하나 체계적으로 따라가고 짚어주면서 나름 실습도 겸할 수 있는 강의를 원했고

마지막으로 선택하게 된 게 udemy 강의였다.

(해당 페이지는 구글 서칭을 통해 발견할 수 있는 다양한 블로그 중에서 공부방법을 잘 정리해 놓은 페이지인 것 같아 링크를 공유한다.)

머신러닝 공부 순서, 방법 및 강의 정리

이번 포스팅에서는 작년부터 머신러닝 공부를 시작하면서 들었던 강의와 머신러닝 공부 방법에 대해서 정리해보려고 한다. 필자도 아직 머신러닝을 마스터하려면 갈 길이 멀었지만, 그간 공부했던 경험을 토대로..

gomcine.tistory.com

그 중에서도 아래 강의를 듣기 시작했는데, 생각보다 굉장히 상세하게 설명해주고 넘어가는 편이다.

이론적인 부분부터 실제적인 부분까지,

게다가 중간에 코드가 업데이트 되거나 바뀌면 수정해서 업데이트를 다시 해주는 강사의 친절함까지.

게다가 9만 명이 넘는 사람들의 평가가 4.5가 넘는다는 건 꽤나 높은 신뢰도를 준다.

게다가 대폭 할인행사를 자주하는 편이라 저렴한 가격으로 들을 수 있다.

이제 거의 다섯 번째 챕터를 넘어가는 과정이지만, 상당히 만족하는 편

다만 어느 정도의 영어가 뒷받침 되어야 편할 것이다. 자막이 있긴 한데 코드와 내용 그리고 영어까지 따라가는 것은 입력의 문제가 발생할 수도 있다.

아무튼 앞으로의 포스팅은 내 공부와 더불어 차분히 이런 내용들을 정리하여 올려볼 생각이다.

PostgreSQL pgAdmin 데이터베이스, 테이블 조회

제씨_ — Wed, 25 Sep 2019 11:18:19 +0900

Postgre SQL pgAdmin에서 /로 시작하는 명령어는 안먹힌다.

고로 아래와 같이 해야 한다.

select * from pg_database; -- 데이터베이스 목록 검색
select * from pg_tables; -- 테이블 목록 검색
select * from pg_catalog.pg_namespace; -- 현재 db의 전체 스키마 조회

Postgre SQL pgAdmin 사용법

제씨_ — Wed, 25 Sep 2019 11:04:13 +0900

postgre sql을 설치하면 자동으로 pgAdmin이 깔린다.

요즘은 버전 4로 깔리는 듯??

왼쪽 트리맵에 있는 구조 차례대로

Postgre SQL 서버 - 데이터베이스 - 스키마 - 테이블대로 가면 되는 것 같다. 그 외 여타 것들은 중요하지 않다.

다만 메뉴바 위에 번개모양을 누르면 SQL 명령어로 가게 되는데 저게 중요한 것이다.

SQL을 하려면 저게 필요한데 저거 찾는데 30분은 걸린 듯하다.

명령어는 천천히 다음시간에..

Qlik이란 무엇인가?

제씨_ — Sun, 28 Jul 2019 13:35:00 +0900

국내에서는 많이 알려지지 않았지만, 전 세계적으로 BI 및 Data Visualization 업계에서는 매우 높은 시장 점유율은 가진 솔루션이 있습니다. 그것은 바로

Qlik

클릭? 들어본 적도 없고 생소한 분들이 많으실 겁니다.

저조차 회사에 들어오기 전에는 이 솔루션의 존재 자체도 몰랐으니 말입니다.(클릭 마케팅부서 일 안하나!)

하지만 현재 1년 정도 클릭을 알고 사용하고 나서 드는 생각은, 정말 데이터 시각화나 요약화된 그래프 리포트를 만들어내는 데에는 최적의 툴이고, Excel로 일일이 데이터를 관리하면서 그것을 수동으로 최신화하거나, 수동으로 그래프를 만들어야하는 기업과 사람들에게는 정말 파워풀한 툴이 될 수 있다는 것입니다.

그럼 이게 도대체 무슨 툴인지, BI가 무엇인지, 왜 그럼 누가 이 툴을 쓰는게 좋은지 한번 얘기해봅시다.

1. 이건 또(?) 도대체 무슨 툴인가?

간단히 말하면 BI 툴입니다.

출처: https://www.qlik.com/us/products/qlik-sense

테이블 형태로 구성되어 있는 모든 데이터를 재구성하여 막대 그래프, 라인그래프, 피벗테이블, 지도 그래프 등으로 표현해줄 수 있는 툴입니다. 국내에서 잘 알려져 있는 경쟁툴은 'Tablaeu'가 있습니다.

Qlik은 총 2개의 제품을 런칭하고 있습니다. 하나는 Qlik View이고 하나는 Qlik Sense입니다. 이 둘의 차이는 나중에 자세히 다룰 기회를 가지겠습니다. 간단히 말씀드리면 Qlik Sense가 비교적 최근에 나온 툴이며, Self-BI(스스로 만들고 분석해보는 BI)라는 업계의 트렌드에 부합하는 솔루션이라고 할 수 있겠네요. 반대로 Qlik View는 정교하게 Customizing된 화면을 구성할 수 있고, 다양한 방향으로 개발이 가능해서 유연성이 높은 버전이라고 할 수 있겠습니다.

QLIK 공식 홈페이지 출처

전세계적으로는 이미 50,000개가 넘는 고객사를 지니고 있습니다. 국내에서는 하이닉스를 비롯한 다양한 기업이 이미 qlik을 도입해서 사용하고 있지요~

2. BI는 무엇인가요?

BI는 Business Intelligence의 줄임말입니다. 한국어로 풀어 의역하자면, '데이터를 시각화하여 이 안에서 인사이트를 창출해내는 행위의 일체'정도로 설명드릴 수 있습니다. 예를 들어 온라인 쇼핑몰의 경우 사이트에 들어오는 고객의 유입율을 유심히 관찰하고, 어떤 나이대의 고객인지, 성별은 무엇인지, 이 사람이 자주 검색하는 키워드는 무엇인지 궁금하겠지요? 그럼 수집된 데이터가 있다면 그것을 그래프로 시각화하여 표현한다면 아주 간결하게 눈에 들어온다는 겁니다.

상황을 생각해봅시다. 여러분은 회의를 하고 있고 의사결정을 해야 하는 여러 사람들이 한 자리에 모였습니다. 그들과 이야기할 때 쭉 펼쳐진 엑셀 테이블을 펼치며 이야기하는 것과, 그 데이터를 합쳐 평균과 분산, 각 관점별로 보고싶은 데이터를 요약한 그래프를 보여주는 것을 비교했을 때, 어느 쪽이 더 효율적인 결론을 도출해낼까요?

3. 이걸 누가 쓰면 좋을까요?

1) BI툴을 경험하고 싶은 개인

Qlik 제품의 장점은, Desktop 버전으로 혼자 사용한다면 Demo 버전을 무료로 지속적으로 사용할 수 있다는 점입니다. 그래서 데이터는 있는데, 간단히 분석해보고 싶다고 생각하시면 Qlik에 가입 후 Qlik Sense를 다운받아 사용하실 수 있습니다. 엑셀을 포함한 DB(SQL), Hadoop 등 다양한 데이터 소스를 지원하기 때문에 데이터가 있다면 꼭 한 번 해보시길

2) 다뤄야 하는 데이터의 양이 많은 기업

데이터가 무거워질수록 툴은 느려지는 법! 태블로를 포함한 다양한 제품들은 데이터의 단위가 커질수록 제 실력을 발휘하기가 어렵습니다. 하지만 Qlik의 장점 중 하나는 이 솔루션이 가진 데이터 처리 엔진입니다. 인메모리 기반의 엔진은 데이터를 압축하고 로드하는 시간을 줄여 개발자와 분석가들의 스트레스를 덜어낼 수 있습니다. ^_^

오늘은 간단히 Qlik이라는 솔루션에 대해 맛보기를 하고 넘어가도록 하겠습니다.

다음 포스팅은 Qlik의 기능과 장점 실제 활용 사례 등을 천천히 보도록 하지요

그럼 ADIOS

좋은 부채와 나쁜 자본

제씨_ — Tue, 16 Apr 2019 23:06:09 +0900

좋은 부채도 있다?

매입채무: 거래처에서 구매한 상품에 대한 대가

미지급금: 거래처에서 구매한 서비스에 대해 지불해야 하는 돈

선수금(일명 착한 부채): 용역이나 서비스로 지급하는 부채 -> 미리 돈을 다 받고 그에 대한 서비스를 제공하는 것

- 즉 확정 매출에 대한 부분이라고 볼 수 있음

예수금: 신원보증금처럼 임시로 보관하는 금액 -> 앞으로 내줄 돈이니 부채

미지급비용: 보험료 같은 것

충당부채: 앞으로 손실이 발생할 것을 대비하여 미리 장부에 기록하는 항목

- 제품 보증이나 환율의 경우 몇 퍼센트 발생할 지 예측할 수 있기 때문에 충당부채로 잡는다.

퇴직급여충당부채: 퇴직금에 해당하는 충당부채

* 충당부채는 매년 주기적으로 발생하는 부채이므로 투자자에게 좋은 정보를 제공함( 회사의 손실 예측가능)

단기차입금, 장기차입금, 유동성장기차입금 -> 그야말로 은행에서 빌려온 돈들이므로 주의해서 관리하는 항목

따라서 부채가 전체적으로 늘었다고 그 기업의 위험도가 증가했다고 볼 수만은 없다. 즉 좋은 부채도 있다는 뜻!

회계는 자산으로 시작해서 자산으로 끝난다

제씨_ — Mon, 15 Apr 2019 23:41:16 +0900

자산: 과거의 거래나 사건의 결과로 현재 기업 실체에 의해 지배되고 미래에 경제적 효익을 창출할 것으로 기대되는 자원!

하지만 기업에 속해 있다고 모두 자산이 되진 않는데, 이를 이해하기 위한 두 가지가 있다.

바로 '자산성'과 '자산화'이다.

자산성이란 팔아서 돈이 될 수 있으며, 기업이 소유권을 가지고 있다는 뜻이다.

-따라서 사람은 자산이 되지 못한다. 인재는 기업에 이익을 가져다 주긴 하지만, 사고 팔 수 없기 때문이다

1)현금및현금성자산:현금과 예금을 뜻함
2)매출채권: 서비스를 판매하고 아직 받지 못한 돈, 즉 어음

3)재고자산: 창고에 보관되어 있는 재고를 뜻한다.

4)유형자산: 토지 건물 기계장치, 공구와 기구 등

5)무형자산: 영업권 브랜드와 관련된 산업재산권, 개발비 로얄티 등

기업은 모든 자원의 자산성을 따져서 장부에 기록한다. 왜냐하면, 이 자산을 다시 팔 때, 얼마를 받을 수 있을지 측정해야 하기 때문이다. 즉 자산관리라는 것은 기업이 가진 자산의 자산성을 스스로 감시하는 활동이다.

자산을 평가할 떄는 일관된 기준으로 평가하지는 않는다. 예를 들어서 10억짜리 기계가 있다고 치자. 이 기계를 닳도록 써서 1억짜리가 되었다면 기업은 자산에서 9억만큼을 지워야 한다. 반대의 경우도 마찬가지이지만, 자산을 늘리는 과정은 꽤 보수적으로 진행되므로, 왠만하면 그대로 두는 편이다

자산화는 조달된 자금이 자산으로 변해가는 과정을 뜻한다.

* 사내 유보금 논쟁

재무제표에는 사내유보금이라는 것이 없다. 사내유보금은 경제 경영 용어이다.

사내유보금은 자본잉여금이나 이익잉여금이 아니다! 이익잉여금은 기업이 시작부터 지금까지 영업활동을 해오며 축적해온 이익의 총량을 가리킨다.

그렇다면 사내에 쌓아둔 현금은 무엇일까? 바로 '현금성 자산'이다.

재무제표의 개념잡기

제씨_ — Wed, 10 Apr 2019 01:04:21 +0900

단어정리부터 하고 가자는 말이다. 결국 재무제표를 채우는 가장 큰 대분류 다섯 가지,

자산, 부채, 자본, 수익, 비용이 무엇인지 정리하고 가자는 얘기다.

뻔한 정의 같은 것보다 늘 쉬운 개념으로 머리에 넣으면 좋으니, 책에 나온대로 쉽게 정의해보자.

자산: 앞으로팔아서 돈이 될 자원

부채: 남에게 빌려온 빚

자본: 기업이 스스로 출자한 '내 돈'

수익: 벌어들이는 모든 것

비용: 경영활동에 사용되는 모든 자원

ex) 부채비율이 200%라는 뜻은?

내 자본보다 부채, 즉 빌려온 돈이 2배 이상 많아 위험하다는 뜻

*현금 흐름이란?

실제로 회사에 들어오는 돈과 벌기 위해서 사용하는 돈의 흐름을 의미한다.

영업하는 친구의 말에 의하면 그 회사가 얼마나 현금을 들고 있는지를 의미한다고 했다.

재무제표의 4대천왕

재무상태, 손익계산,현금흐름, 그리고 주석

1. 재무상태

재무상태표는 재무제표 중에서 가장 중요하며 예전에는 대차대조표로도 불리었다. 자산 부채 자본의 합꼐와 구성요소, 세부적으로는 유동자산, 비유동 자산 등 기업의 재무 상태에 필요한 전반적인 정보를 볼 수 있다.

2.손익계산서

매출액, 당기순이익, 영업이익 등이 이 곳에 속하는 용어들이다. 손익계산서는 지난 1년 간 회사의 손해와 이익을 담은 재무제표이다. '수익 - 비용 = 이익'이라는 간단한 공식이 지배하는 세계

* 재무상태표가 기업이 가진 자산이 얼마나 되는지를 보여준다면, 손익계산서는 기업이 얼마나 이익을 내고 있는지를 보여준다.

3. 현금흐름표

현금흐름표는 기업 자신을 위해 만드는 재무제표이지만, 기업의 속사정을 그대로 보여주는 재무제표이다. 즉 현금은 기업의 피다. 라는 말이 여기서 나온 뜻일 것이다. 거래대금을 제 때 주고, 사용할 수 있는 현금의 양이 충분히 있는가가 이 현금흐름의 핵심이라는 말 같다.

* 재무제표중 현금흐름표는 현금주의에 가까운 표이다.

4. 주석

'주석이 없는 재무제표는 바퀴없는 자동차와 마찬가지이다!'

왜냐하면 첨부된 재무제표에 대한 주석은 본 재무제표의 일부이기 때문이다. 예를 들어서 1000억의 매출이나 그에 해당하는 이익 등은 숫자를 통해서 볼 수 있다. 그러나 1000억이라는 숫자가 어떻게 나왔고 내수와 수출은 얼마나 되며 구성이 어떻게 이루어지는지는 주석 없이 해석할 수 없다.

* 주석만 읽어도 정보량이 2배로 늘어난다.

오늘은 요기까지!

재무제표 이야기로 시작하기, 재무제표를 향한 오해

제씨_ — Wed, 3 Apr 2019 23:02:16 +0900

"학생들이여! 공부법을 공부할 필요가 없다."

이 말은 "직장인 들이여! 회계를 전부 이해하려고 하지마라."라는 말로 내게는 들린다. 다시 말하면, '쓰는 회계'와 '읽는 회계'가 따로 있다는 말이다.

내가 고등학교부터 공부할 때 가지고 있던 답답한 습관 중 하나는 필요한 부분만 빼내는 요령 없이 통째로 가져다 공부하려고 했다는 점이다. 물론 좋은 점수를 얻는 데엔 한 몫 했겠으나 사용한 시간 대비 효율을 냈다고 말하기는 어렵다. 하지만 효과는 입증되었다고 스스로 여겼는지, 나는 대학교 내내 그 공부법을 유지하며 한 켠으로 답답함을 가지고 있었다. 신문이나 책을 읽을 때도 요령껏 필요한 정보를 뽑아내는 것이 아니라, 꼭 앞장부터 읽어내야 속이 시원했다.

하지만 이 책에서는 그럴 필요가 없다고 말한다. 내게 필요한 회계공부만 하면 된다. 훨씬 가볍게 시작할 수 있는 마음가짐이다.

회계순환과정

이라는 게 있다지만 '읽는 회계'에서는 필요 없다고 소개한다. 그렇다면 나야 좋지. 우리는 재무제표만 읽으면 된다는 말씀.

* 재무비율: 재무상태표나 손익계산서의 숫자를 이용해 만든 지표로 기업의 수익성, 성장성, 안정성, 활동성을 나타낸다. 예를 들어, 매출액 대비 영업이익의 비율인 영업이익률은 대표적인 수익성 지표다.

회계에 대한 세 가지 오해

1.회계는 객관적인 정보다

2.회계는 가장 최신의 재무정보다.

3.회계는 숫자 그대로의 팩트를 담고 있다.( 1과 3은 같은 말이 아닌가?)

회계는 객관적이지 않다!

회계장부에는 기업의 의도가 담긴다. 즉 숨기고 싶은 것은 숨기고, 드러내고 싶은 것은 드러낼 수 있다는 말씀.

회계는 약간 철지난 정보다.

왜냐하면, 한 해의 사업보고서 다음 해 3월에 나오고, 1분기 보고서가 5월에 나오는 식이기 때문이다. 따라서 새롭게 바뀐 최신의 경향은 재무제표에 반영되지 않는다.

* 생각해보니 얼마 전에 분기보고서를 발표한 것 같은데 얼른 확인해봐야겠다.

기업의 재무정보는 기업의 그림자이다.

회계는 발생주의다.

이게 도대체 무슨 말인가 싶었다. 책에 의하면, 우리가 쉽게 생활에서 돈을 꺼내어 주는 순간 손실이 발생한 것으로 치는 방법을 '현금주의'라고 한다. 즉 내가 지갑에서 돈을 꺼내어 건내어주었을 때 손실이 발생한다는 것. 하지만 기업 회계에서는 현금을 주지 않았더라도 거래가 시작되는 시점에, 현금의 이동 없이, 장부에 기재하는 방식이다.

재무제표의 시작

제씨_ — Wed, 3 Apr 2019 21:39:35 +0900

어느 날 면담을 하자던 나의 상사는 재무제표의 중요성을 역설하며 결국 본인의 이야기를 하셨다. 과정이야 어쨌건 그 시간을 통해 남은 것은 재무제표가 얼마나 중요한 것인지, 그리고 내가 그에 대하여 얼마나 무지한지였다.

자산, 자본, 부채와 손익 그리고 순이익 영업이익율 정도는 파악할 줄 알았지만, 그것이 어떻게 유기적으로 연결되고 무엇을 통해 무엇이 나오는지 알지 못하니 매우 표면적인 지식에 그쳤다고 할 수 있겠다. 또 나처럼 BI를 진행하고 개발하고 차후 컨설팅까지 진행하기 위해서는, 재무제표나 ERP 시스템 등을 빠삭하게 알아야 했다. 그래야 회사의 생리를 빠르게 이해하고, 이 사람들이 DASHBOARD를 통해 보고 싶어하는 것이 무엇인지를 파악할 수 있기 때문이다.( 겪어보지는 않았지만 그럴 것이라 예상한다.)

내가 고른 책은 '숫자 울렁증 32세 이승환 씨는 어떻게 재무제표 읽어주는 남자가 됐을까'라는 다소 길고 장황하지만 필요한 상황과 내가 달성하고자 하는 목적을 정확히 짚어낸 제목의 책이다. 이제 겨우 몇 장 안넘긴 수준이지만, 공부 겸 기록을 남겨 나의 것으로 만드려는 시도를 계속해야지.

한국복지패널 데이터 분석(분석 목적 설정과 데이터 준비)

제씨_ — Sun, 3 Jun 2018 20:15:07 +0900

한국복지패널 데이터는 한국인의 다양한 삶의 양상을 볼 수 있는 데이터이다.

분석에 앞서 데이터 '무엇을 보고 싶어하는지'를 정의하는 것은 무척 중요한 일이라고 한다.

목표가 없이 분석을 하는 것은 목표에 도달하지 못하는 분석과 동일하기 때문이다.

반대로 목표가 있으면, 설령 그 목표에 맞는 분석이 실패하더라도 무엇이 잘못되었는지 알 수 있다고 했다.

그래서 이 1000개가 넘는 Column을 가진 데이터의 바다 속에서, 나는 가장 기본적인 결정변수를 잡아보았다.

"소득과 다양한 변수들(성별, 지역, 건강, 직업, 나이 등)은 어떤 관계가 있을까?"

왜 이 질문이 중요한가?

1. 만약 지역별로 소득이 편중되어 있다면, 우리나라의 지역불균형에 대한 이야기를 이어가볼 수 있다. 소득은 분명한 지표가 될 수 있으니까.

2. 성별로 차이가 있다면, 우리는 '유리천장'문제에 대하여 이야기해볼 수 있다. 하지만 이를 위해서는 세부적인 조사가 더 필요하겠다. 예를 들어

1) 진짜로 성별 차이로 인해서 발생한 임금의 차이인가 - 여자라서 임금을 덜 주는 경우가 있는가?

2) 그 외에 여성의 반강제적인 사회적 책임(육아나 출산)에 의해, 공백기간을 포함했는가, 또 그로 인한 불이익을 감안했는가?

작은 부분부터 시작해보자

먼저 Rstudio를 켜고 라이브러리를 불러온다.

# 분석패키지 라이브러리

library(dplyr)

library(foreign)

library(ggplot2)

library(readxl)

# 파일 불러오기

raw_welfare <- read.spss(file = "Koweps_hpda12_2017_beta1.sav",

to.data.frame = T)

# 원시 데이터 넣기

welfare <- raw_welfare

* 이작업은 반드시 필요하다. 원시데이터와 분석하는 테이블을 분리하지 않는다면, 나중에 잘못된 변수를 집어넣거나 파일을 날렸을 때 어마어마하게 곤란한 상황이 벌어질 수 도 있다. 또한 매우 귀찮은 상황에 처하기도 한다.(다시 파일을 불러와야 한다던가)

# 변수 이름 조정

welfare <- rename(welfare,

sex = h12_g3, #성별

birth = h12_g4, #태어난 해

education = h12_g6, # 교육수준

region = h12_reg7, # 지역코드

marriage = h12_g10, # 혼인여부

medcal_ins = h12_med10, # 의료보험가입개수

income = h12_din, # 가처분 소득

code_job = h12_eco9, #직종

health = h12_med2) # 건강상태

welfare <- rename(welfare,

income2 = h12_pers_income1, #상용근로자 소득

income3 = h12_cin) # 경상소득

* 변수의 이름들을 알아보기 힘들기 때문에 보기 편한 수준으로 조정했다.

* 추가로 붙인 변수는 가처분소득 이외에 다른 결과를 나타낼 수도 있는 경상소득과 상용근로자 소득을 통해 다양한 분석을 하기 위함이다.

이제 분석을 위한 데이터 준비는 끝났다. 앞으로 하게 될 분석은 전체적으로

1) 데이터 전처리

2) 데이터 분석 / 시각화

두 단계를 반복하며 진행해볼 예정이다.