• Spend 10x as much time exploring the data
• data is the best way to improve performance
• Keep It Simple Stupid

1. Data Sources

많은 라벨이 지정된 데이터를 필요로 함

1.1 Data flywheel

• 사용자가 좋은 데이터를 다시 제공하고 모델 예측을 개선하는 메커니즘으로 제품을 구축

1.2 Semi-supervised learning

• 훈련 데이터가 자동으로 레이블 지정
• 서로 다른 입력 신호 간의 관계를 찾음 → 이를 활용하여 레이블을 지정

1.3 Data augmentation

• Must do for training vision models
• 이미지 뿐만 아니라 표, 텍스트, 음성 및 비디오에도 적용 가능

1.4 Synthetic data

• Underrated idea that is often worth starting with

• 데이터 증강과 다르지 않음

  → 종합적으로 생성된 데이터는 동일한 개념을 더욱 발전

2. Data Storage

2.1 Filesystem

• 스토리지의 기본 계층
• 네트워크 파일 시스템 / 분산 파일 시스템

하드 드라이브 속도 표시

• 데이터 저장 형식

  • 바이너리) 파일만 있으면 됨

  • 테이블 및 텍스트 형식)

    HDF5: powerful, but bloated and declining

    Parquet: 많이 사용되고 추천하는 것

    Feather: Apache Arrow에서 제공하는 떠오르는 오픈 소스 옵션