데굴데굴 데이터분석

모바일은 화면을 돌려 가로화면으로 보시는 게 읽으시기 편할 수 있습니다. 돌려서 보시는 걸 추천드릴게요!! 🧩 Distance Measure 마지막 포스팅입니다🙄. Document Frequency를 위한 Cosine Similarity 에 대해 알아봅시다. 🚩 1. Cosine Similarity of two vectors Document Frequency가 정확히 무엇인지 궁금하실 수 있을 텐데, 신문기사나 인터넷 기사를 가장 대표적인 예시로 생각하시면 될 것 같습니다. 예를 들어 연예기사에는 연예기사만의 자주 나오는 용어들이 있을 것이고, 스포츠 기사에는 그만의 자주 등장하는 용어들이 있을 것입니다. 서로 다른 두 기사들 간의 similarity를 계산해 유사성을 알아보는 것이 Cosine Simi..

모바일은 화면을 돌려 가로화면으로 보시는 게 읽으시기 편할 수 있습니다. 돌려서 보시는 걸 추천드릴게요!! 저번 포스팅에서는 categorical data에 대한 distance measure를 알아보았습니다. 이번에는 Numerical Data를 위한 measure인 Minkowski Distance 를 배워보도록 하겠습니다. 🚩 1. Basic Minkowski Distance 🧩 Minkowski Distance 역시 두 object들 사이의 distance를 계산할 때 사용합니다. 예를 들면, 이와 같이 데이터의 $l$ 개의 모든 feature에 대해서 Basic Minkowski Distance는 아래와 같이 정의됩니다. $$d(i,j)\;=^p\sqrt{|x_{i1}-x_{j1}|^p+|x_{..

모바일은 화면을 돌려 가로화면으로 보시는 게 읽으시기 편할 수 있습니다. 돌려서 보시는 걸 추천드릴게요!! 🧩 저번 포스팅을 통해 object 간의 Distance Matrix를 만드는 법에 대해 알아보았습니다. 이제는 본격적으로 Distance measure에 대해 알아볼텐데, 이 measure들은 feature의 자료형에 따라 다르게 적용됩니다. 이번 포스팅에서는 categorical feature와 binary feature에 대한 measure에 대해 알아보도록 하겠습니다. 🚩 1. Nominal Categorical Attributes - 순서가 없는 범주형 데이터 🧩 Simple Matching 먼저 알아볼 방법은 simple matching 입니다. 이 방법을 통한 object 사이의 dis..

모바일은 화면을 돌려 가로화면으로 보시는 게 읽으시기 편할 수 있습니다. 돌려서 보시는 걸 추천드릴게요!! 🧩 이번 포스팅부터는 Distance measure에 대해 알아보겠습니다. 🚩 1. Similarity / Dissimilarity ▪ Similarity - 데이터들의 유사한 정도를 의미합니다. - 범위 : [0,1] - 0 : No Similarity - 1 : Completely Similar ▪ Dissimilarity - 데이터들의 다른 정도를 의미합니다 (= distance) - 범위 : [0,1] - 0 : No Distance - 1 : Completely Dissimilar 위의 두 개념은 서로 정반대의 의미를 가집니다. 가질 수 있는 범위는 같지만, 그 값이 의미하는 바는 정반대라..

모바일은 화면을 돌려 가로화면으로 보시는 게 읽으시기 편할 수 있습니다. 돌려서 보시는 걸 추천드릴게요!! 🧩 이번 포스팅에서는 각 데이터의 상대적인 위치를 알 수 있는 몇가지 plot 방법에 대해 알아봅시다. 🚩 1. Quantile plot ▪ 각 object에 %를 부여함으로써 어느 위치에 존재하는지 알아내는 방법입니다. ▪ Q1 : 25%에 해당하는 object ▪ Q2 : 50%에 해당하는 object ▪ Q3 : 75%에 해당하는 object ▪ IQR : Q3 - Q1 ▪ 중간 50%의 데이터가 존재하는 범위입니다. ▪ IQR이 크면 중앙을 기준으로 데이터가 퍼져있음을 의미합니다. ▪ IQR이 작으면 중앙을 기준으로 데이터가 모여있음을 의미합니다. 🧩 수식 $$f_{i}=(i - 0.5)/N..

모바일은 화면을 돌려 가로화면으로 보시는 게 읽으시기 편할 수 있습니다. 돌려서 보시는 걸 추천드릴게요!! 🧩 데이터마이닝의 첫번째 포스팅입니다. 이번 포스팅에서는 데이터마이닝을 개념 위주로 살펴보고자 합니다. 🚩 1. 데이터마이닝이란?? ▪ 기존의 데이터에서 의미있는 패턴이나 지식을 얻는 것입니다. ▪ 다만 간단한 검색이나 정형화된 규칙을 기반으로 작업하는 것은 데이터마이닝이라고 보기 어렵습니다. 🚩 2. 데이터마이닝 순서 ▪ 데이터 결정 : time-series / sequence / text / graphs / social... ▪ 도출할 insight 결정 : classification / clustering / trend / deviation... ▪ 적용 기술 결정 : machinelearni..