2025 내일배움캠프 QAQC_2기 본캠프 13일차

안녕하세요! 오늘은 본캠프 13일차 입니다!!

오늘부터 '데이터 분석 입문' 주차가 시작되었습니다!

또 새로운 강의가 열렸는데요! '데이터 전처리 & 시각화' 강의 입니다!

 

<데이터 전처리 & 시각화 강의 1주차>

 

데이터 분석가란?

• 비즈니스 분석가
  • 주로 비즈니스 문제를 이해하고 해결하기 위해 데이터를 분석합니다.
  • 비즈니스 프로세스 및 요구 사항을 파악하고, 데이터 기반으로 의사 결정을 지원합니다.
  • 주로 업무 프로세스 개선, 비즈니스 모델 분석, 요구 사항 관리 등을 수행합니다.
• 프로덕트 분석가
  • 제품이나 서비스의 성과를 평가하고 개선하기 위해 데이터를 분석합니다.
  • 사용자 행동 및 제품 성능과 관련된 데이터를 분석하여 제품 개선에 기여합니다.
  • 주로 제품 경험과 사용자 행동에 대한 분석을 수행하며, A/B 테스트, 사용자 경로 분석 등을 담당합니다. 
• 데이터 분석가
  • 주로 정형 데이터를 분석하여 기업의 의사 결정을 지원합니다.
  • 데이터베이스, 스프레드시트 등에서 데이터를 추출하고, 데이터를 정제하여 보고서 및 시각화를 생성합니다.
  • 주로 기술적인 기술이 필요하며, SQL, Excel, 데이터 시각화 등을 활용하여 업무를 수행합니다.
• BI 분석가
  • 기업의 비즈니스 인텔리전스 플랫폼과 도구를 사용하여 데이터를 시각화하고 보고서를 작성합니다.
  • 주로 기업 내부 데이터를 시각화하고, 이를 통해 의사 결정에 필요한 정보를 제공합니다.
  • BI 도구 (Tableau, Power BI 등)를 사용하여 대시보드를 구축하고, 데이터 시각화 및 보고서 작성을 담당합니다.
• 데이터 사이언티스트
  • 주로 데이터를 활용하여 예측, 패턴 발견, 복잡한 분석을 수행하여 비즈니스 문제를 해결합니다.
  • 통계, 머신러닝, 딥러닝 등의 기술과 알고리즘을 사용하여 데이터를 분석하고 모델을 구축합니다.
  • 데이터 수집, 전처리, 모델링, 평가 및 해석을 포함한 end-to-end 데이터 분석 작업을 수행합니다.

데이터의 목적은 무엇일까요?

• 데이터의 목적은 결국 설득이다.
• 설득하기 위해서 여러분은 데이터를 잘 전달해야하고
• 잘 전달하기 위한 방법 중 하나가 ‘시각화’ 입니다.
• 즉, 데이터를 통해 무엇을 해야할지를 고민해야합니다.

예시)

이미지 자료 ( 출처 : 2022 국민생활체육조사 )

• 걷기, 등산,체조, 볼링 등 체육활동에 대해서 전체 응답한 사람들이 가장 많은 체육활동과 3번째로 많은 활동이 무엇인지 판단하고자 할때, 여러분은 어떤 분석 보고서가 정보전달이 잘될 것 같나요?
• 표의 경우 줄글 형태의 나열식 전달보단 정리되어있지만, 여러분이 확인하고자하는 데이터의 목적에 따라서 보기 어려운 경우도 존재합니다.
• 하지만 전달하고자하는 목적에 부합하는 데이터를 시각화해서 보여준다면 한 눈에 알아보기 쉽고 빠르게 전달이 가능합니다.
• 적절한 시각화 자료는 여러분의 분석 결과를 더욱 돋보이게 할 수 있습니다.

 

<데이터 전처리 & 시각화 2주차>

01. 데이터 전처리

 

• 1) 데이터 전처리

내가 원하는 데이터를 보기 위해 하는 모든 활동 = 데이터 전처리

 

• 데이터 전처리는 어떻게 해야할까요?

• 데이터 전처리를 할때, 꼭 방향성을 가지고 하셔야합니다.
• 데이터를 통해 무엇을 확인할 것인지?
• 어떤 의사결정을 위해 필요한지?
• 데이터를 통해 무엇을 얻고자 하는지, 그 목적을 달성하기 위해 데이터 전처리가 필요합니다.

• 데이터셋 불러오기

1. iris 데이터셋: 붓꽃의 꽃잎과 꽃받침의 길이와 너비를 포함한 데이터셋입니다.
2. tips 데이터셋: 음식점에서의 팁과 관련된 정보를 담고 있는 데이터셋입니다.
3. titanic 데이터셋: 타이타닉 호 승객들의 정보를 포함한 데이터셋입니다.
4. flights 데이터셋: 연도별 항공편 정보를 담고 있는 데이터셋입니다.
5. planets 데이터셋: 외계 행성 발견에 대한 정보를 담고 있는 데이터셋입니다.

02. Excel vs Pandas

 

• Pandas 불러오기

1. 자동화와 프로그래밍 기능:
   • Pandas는 다양한 라이브러리를 사용하여 데이터를 불러오고, 변환하며, 분석할 수 있습니다. 이를 통해 반복적이고 복잡한 작업을 자동화할 수 있습니다.
   • 엑셀은 시각적 사용자 인터페이스를 통해 데이터를 다루는 스프레드시트 프로그램입니다. 작업은 주로 수동으로 수행되며, 고급 기능을 프로그래밍적으로 확장하기가 어렵습니다.
2. 대용량 데이터 처리:
   • Pandas는 대용량 데이터를 처리하는 데 유용합니다. 메모리 내에서 데이터를 처리하거나, 큰 데이터 세트를 조각으로 나누어 처리할 수 있는 기능을 제공합니다.
   • 엑셀은 상대적으로 작은 크기의 데이터셋을 다루는 데 적합합니다. 매우 큰 데이터를 처리할 경우에는 처리 속도가 느려질 수 있고, 파일 크기 제한 등의 제약이 있을 수 있습니다.
3. 복잡한 데이터 처리 및 분석:
   • Pandas는 데이터 분석 및 처리를 위한 다양한 도구와 라이브러리를 활용가능하며, 데이터를 다양한 방식으로 조작하고 분석할 수 있습니다. 이를 통해 복잡한 데이터 작업, 통계 분석, 머신러닝 모델 구축 등이 가능합니다.
   • 엑셀은 기본적인 수식과 함수를 통해 데이터를 처리하고 시각화할 수 있지만, 복잡한 데이터 조작이나 분석에는 제약이 있을 수 있습니다.
4. 확장성과 유연성:
   • Python은 다양한 데이터 포맷을 처리할 수 있는 라이브러리를 지원하며, 데이터베이스와 연동하여 작업할 수 있는 등 매우 유연합니다.
   • 엑셀은 주로 특정 데이터 형식의 파일 (.xlsx, .csv 등)을 다루는 데에 제한되어 있습니다.
5. 버전 관리 및 자동화:
   • Python 코드는 버전 관리 시스템(Git 등)을 사용하여 변경 내역을 관리하고, 코드 자체에 주석을 추가하거나 문서화할 수 있어 작업 히스토리를 추적하기 용이합니다.
   • 엑셀은 사용자가 직접 수정하기 때문에 변경 사항을 추적하거나 문서화하기 어려울 수 있습니다.

• Pandas 란?

• Python에서 데이터를 조작하고 쉽게 분석할 수 있게 도와주는 라이브러리
• Pandas를 활용하면
  • 대용량 데이터 처리가 가능 : Pandas는 데이터를 메모리에 로드하고, 다양한 연산을 빠른 처리가 가능하며 대용량 데이터를 처리하는데 최적화되어 있습니다.
  • 데이터 조작 기능 : 데이터 정렬, 필터링, 집계, 결측값 처리 등 데이터를 쉽게 가공할 수 있음
  • 데이터 시각화 기능 제공 : Matplotlib, Seaborn , … , etc
  • 데이터를 구조화하여 분석할 수 있음 : DataFrame이라는 자료형을 제공하여 데이터를 표 형태로 나타내어 분석이 가능함

• Pandas 구조

• DataFrame = 표 형태
  • index : 각 아이템을 특정할 수 있는 고유의 값 (엑셀에서는 좌측 열순서로 생각하면됨)
  • columns : 하나의 속성을 가진 데이터 집합
• Series = 하나의 속성을 가진 데이터 집합 (= DataFrame 표에서 열 1줄이라고 생각하면 쉬움)
  • value + index

 

오늘은 거의 이론을 배웠는데 다음 강의부터는 바로 pandas 실습이더라구요!

기대가 됩니다!!!!

 

그리고 준성 튜터님의 '데이터 전처리 & 시각화' 세션을 들었는데, 알기 쉽게 차근차근 설명해주셔서 이해가 쏙쏙 되더라구요!!

뭔가 자신감을 얻은 느낌입니다!!! 이 자신감을 가지고 내일도 파이팅~!~!

오늘도 수고하셨습니다~!~! 👏👏👏