just-data

just Data Lab
  • 홈
  • 태그
  • 방명록

dataframe 1

Pandas DataFrame vs Spark DataFrame

데이터 분석이나 전처리를 하다 보면 가장 많이 접하게 되는 객체 중 하나가 바로 DataFrame입니다.하지만 사용하는 환경에 따라 Pandas의 DataFrame과 Spark의 DataFrame은 구조도, 처리 방식도, 확장성도 전혀 다릅니다. 이 글에서는 두 프레임워크의 DataFrame이 어떻게 다르고, 어떤 상황에서 각각을 써야 하는지 비교해보겠습니다. Pandas DataFrame특징 CSV, Excel, SQL 등 다양한 파일을 쉽게 불러오기.groupby(), .pivot(), .merge() 등 강력한 분석 API 제공Python 코드와 완벽한 통합 (NumPy, Matplotlib 등과 잘 맞음)장점 NumPy 기반으로 구현되어 매우 빠름→ Pandas의 대부분 연산은 NumPy의 배..

Spark 2025.04.18
이전
1
다음
더보기
프로필사진

Deep Learning, Machine Learning, Recommender System, master in bigdata, Kyunghee Univ. 2023 ~ 2025

  • 분류 전체보기 (103)
    • paper review (4)
    • reommender system (3)
    • Deep Learning (1)
    • NLP (7)
    • Machine Learning (6)
    • Data preprocessing (6)
    • Git (4)
    • Statistics (2)
    • Mathematics (12)
    • GNN (0)
    • MLOps (20)
      • Docker (17)
      • CI CD (2)
    • SQL (31)
    • Spark (2)
    • Time-Series (5)

Tag

빅데이터, mysql, Docker, Dockerfile, 도커, index, 선형대수학, Database, mathematics, 딥러닝, db optimization, container, Recsys, 머신러닝, time series, Linear Algebra, 전처리, 추천시스템, 컨테이너, sql,

최근글과 인기글

  • 최근글
  • 인기글

Copyright © Kakao Corp. All rights reserved.

티스토리툴바