• 👩🏻‍💻

<aside> <img src="/icons/tag_gray.svg" alt="/icons/tag_gray.svg" width="40px" /> 정리본 작성자: 나나 (네이버블로그 노을 진 골목에서) https://blog.naver.com/dlnagus

내용 및 사진 출처: <2024 데이터분석 준전문가>, 위키북스

오타가 있을 수 있습니다. ⭐ 표시가 많을수록 출제 빈도가 높고 중요한 개념입니다.

</aside>

1과목: 데이터 이해

1장: 데이터 이해

1. 데이터와 정보

   ⭐ 데이터의 특성

   데이터	가공되지 않은 객관적 사실
   정보	가공된 자료 → 의미와 가치가 있음

   데이터의 존재적 특성: ‘있는 그대로의 사실(가공되지 않은 객관적 사실)’을 나타내는 것

   데이터의 당위적 특성: ‘추론, 예측, 전망, 추정을 위한 정보의 근거’가 될 수 있는 것 → 의미를 가짐

   ⭐ 정성적 데이터와 정량적 데이터

   • 정성적 데이터: 언어, 문자 → 집합으로 표현 불가한, 기준 모호한 데이터
   • 정량적 데이터 수치, 도형, 기호 → 집합으로 표현할 수 있는 기준이 명확한 데이터

   ⭐ 정형 데이터, 비정형 데이터, 반정형 데이터

   구분	특징	예시
   정형 데이터	틀 있고 연산 가능	csv(관계형 데이터베이스 틀 유지한 데이터 형식)
   비정형 데이터	틀 없고 연산 불가	댓글
   반정형 데이터	형태는 있지만 연산 불가	센서 데이터

   ⭐⭐ 암묵지와 형식지

   

   • 암묵지: 학습과 체험을 통해 개인에게 습득되어 있지만 겉으로 드러나지 않는 상태의 지식
   • 형식지: 암묵지가 외부로 표출돼 여러 사람이 공유할 수 있는 지식 ex. 교과서, 데이터베이스

   ⭐⭐⭐ DIKW 피라미드

   데이터에서 지혜를 얻는 과정 = DIKW 피라미드 → data-information-knowledge-wisdom

   

2. 데이터베이스

   ⭐⭐⭐ 데이터베이스의 일반적인 특징

   • 통합된 데이터: 데이터 중복 X
   • 저장된 데이터: 컴퓨터 매체가 접근할 수 있는 저장매체에 저장되어 있음
   • 공용 데이터: 여러 사용자가 공유
   • 변화하는 데이터: 삽입/수정/삭제 통해 항상 최신의 데이터 유지

   ⭐⭐⭐ 데이터베이스의 다양한 측면에서의 특성

   • 정보의 축적 및 전달 측면: 기계 가독성, 검색 가능성, 원격 조작성 (tech 관점)
   • 정보이용 측면: 이용자의 정보요구 따라 정보의 신속한 획득과 경제적 탐색 가능 (user 관점)
   • 정보관리 측면: 일정한 질서나 구조 따라 정리/저장/검색/관리 가능 → 방대한 양의 정보를 체계적으로 축적하고, 새로운 내용 추가와 갱신 용이 (DB, Program 관점)
   • 정보기술발전 측면: 정보처리, 검색/관리 SW, 관련 HW, 정보전달 네트워크 기술 발전 견인
   • 경제/산업적 측면: 데이터베이스의 ‘정보 인프라’ 특성 → 경제/산업/사회활동 효율성 제고하고 국민 편의 증진

   ⭐⭐ 기업 내부의 데이터베이스

   • 인하우스DB: 기업 경영 전반 자료 일관 체제 → 전사자원관리시스템(ERP)으로 확대
   • OLTP: 거래 단위에 초점 맞춤 (영역 별 단순 자동화 중심 시스템)
   • OLAP: 분석 중심 → 단순 수집과 공유에서 탈피
   • CRM: 고객관계관리
   • SCM: 공급망관리
   • KMS: 지식경영시스템 (기업이 보유한 모든 지식을 통합해 문제해결 능력 향상)

   ⭐ 산업 부문별 데이터베이스 발전 과정

   | 제조부문 | - 데이터베이스 기술의 가장 중요한 적용 분야

   • 전 공정 포함하는 범위, 솔루션 유형으로 발전
   • 인하우스 DB 구측 증가
   • 실시간 기업이 대표적 화두 | | --- | --- | | 금융부문 | - IMF 이후 업무 프로세스 효율화와 통합 시스템 구축 확산
   • 고객정보 전략적 활용, DB 마케팅 증대 노력 가시화
   • EDW 확장이 데이터베이스 시장 확대에 기여 예상 | | 유통부문 | - IT변화 환경에 맞물려 CRM과 SCM 구축 이루어짐
   • 체계적 고객정보 수집, 상권분석 등으로 심화
   • 다양한 고객 분석 툴
   • 전자태그(RFID) 등장으로 대용량 데이터베이스 지원하는 플랫폼 요구되는 중 |

   ⭐⭐ 부문별 사회 기반 구조 데이터베이스

   물류 부문	종합물류정보망, CALS(경영통합정보시스템), PORT-MIS(항만운영정보시스템), KROIS(철도운영정보시스템) 등
   지리 부문	GIS(지리정보시스템), LBS(위치정보서비스), SIM(공간정보관리시스템) 등
   교통부문	지능형교통정보시스템(ITS), 등
   의료부문	의료정보시스템, PACS, U-Health 등
   교육부문	교육행정정보시스템(NEIS) 등

   ⭐ 데이터베이스 종류

   계층형, 관계형, 네트워크형, NoSQL

   • 관계형 데이터베이스(RDB): 데이터를 행과 열로 이뤄진 테이블에 저장 (하나의 열은 하나의 속성만 나타내고 같은 속성 값만 가질 수 있음) → 엑셀파일과 유사하며 정형 데이터에 특화
   • NoSQL: 기존 RDB의 SQL을 보완/개선한 비관계형 DB → 비정형/대용량 데이터 분석과 처리에 용이

2장: 데이터의 가치와 미래

1. 빅데이터의 이해

   ⭐⭐⭐ 더그 래니의 3V

   데이터 → 데이터 양 증가(Volume) + 데이터 유형 증가(Variety) + 데이터 생성/처리 속도 증가(Velocity) → 빅데이터

   ⭐⭐⭐ 빅데이터의 새로운 특징 4V

   더그 래니의 3V + 가치(Value) or 정확성(Veracity) or 시각화(Visualization) or 가변성(Variability)

   ⭐ 빅데이터의 출현 배경

   데이터의 양적 증가, 산업계의 변화, 학계의 변화, 관련 기술의 발전

   ㄴ> 특히 클라우드 컴퓨팅은 빅데이터처리비용을 낮춰 경제성 높였음

   ⭐⭐⭐ 빅데이터의 기능

   빅데이터는..

   • 산업혁명의 석탄/철: 생산성 높여 혁명적 변화 가져올 것
   • 21세기 원유: 정보 제공해 산업 전반 생산성 높이고 새로운 범주의 산업 만들 것임
   • 렌즈: 렌즈처럼 산업 발전에 큰 영향
   • 플랫폼: 플랫폼(공동 활용의 목적으로 구축된 구조물)으로서 다양한 서드파티 비즈니스에 활용될 것임

   ⭐⭐⭐ 빅데이터가 만들어내는 변화

   (후전양상)

   • 사전처리 → 사후처리: 데이터 모아 조합해 인사이트 발굴
   • 표본조사 → 전수조사: 클라우드 기술 발전으로 데이터 처리 비용 낮아짐
   • 질 → 양: 수집 데이터 양 증가해 분석 결과 질 높아짐
   • 인과관계 → 상관관계: 데이터 양 늘어나며 상관관계 인사이트 도출 확산

2. 데이터의 가치와 미래

   ⭐ 빅데이터 가치 산정 어려운 이유

   • 데이터 활용 방식: 누가, 언제, 어떻게 활용하는지 알 수 없음
   • 가치창출방식: 빅데이터는 새로운 가치 창출함
   • 분석기술 발전: 가치로운지 판단 어려움

   ⭐ 미래의 빅데이터 활용에 필요한 3요소

   데이터, 기술, 인력

   ⭐⭐⭐ 7가지 빅데이터 활용 기본 테크닉

   1. 연관규칙 학습: 변인 간 상관관계 찾기 (장바구니 분석)
   2. 유형분석: 새로운 사건이 속할 범주 찾기
   3. 유전 알고리즘: 최적화가 필요한 문제에 자연선택과 돌연변이 메커니즘 활용해 점진적 진화 시키기 ex. 최적화된 택배 차량 배치
   4. 기계학습(머신러닝): 컴퓨터가 데이터로부터 규칙 찾고 규칙 활용하는 데 초점 ex. 유튜브의 미디어 추천
   5. 회귀분석: 수치형 두 변인(독립변수와 종속변수)의 관계 파악
   6. 감정분석: 텍스트에서 단어 추출해 긍정/부정 선별하고 감정 분석 (비정형 데이터마이닝)
   7. 소셜네트워크 분석: 팔로잉-팔로워 관계 통해 영향력 있는 사람 찾기 ex. 마케팅, 공범 수사

   ⭐⭐⭐ 빅데이터의 위기요인과 통제방안

   위기요인	통제방안
   사생활 침해	동의에서 책임으로: 개인정보 제공자의 동의보다 개인정보 사용자의 책임으로 문제 해결
   책임원칙 훼손: 분석대상이 되는 사람이 예측 알고리즘의 희생양 될수도	결과기반 책임원칙 고수: 행동 결과 보고 처벌
   데이터 오용: 잘못된 인사이트	알고리즘 접근 허용: 데이터 활용 조직인 알고리즘 살펴서 피해자 구제

   ⭐ 개인정보 비식별 기술

   • 데이터마스킹: 형식 유지한채 임의값(기호)로 대체
   • 가명 처리: 데이터 값 다른 값으로 변경
   • 총계처리: 각 데이터가 아닌 데이터 총합/평균으로 보여줌
   • 데이터 값 삭제: 데이터 값 일부 삭제
   • 데이터 범주화: 데이터 값을 범위로 제공

3. 가치창조를 위한 데이터 사이언스와 전략 인사이트

   ⭐ 크기가 아닌 인사이트

   빅데이터 분석의 핵심은 크기가 아닌 인사이트 (빅데이터 관련 걸림돌은 비용이 아니라 분석적 방법과 성과에 대한 이해부족)