클라우드에서의 데이터 분석은 편리함과 확장성 등에서 장점이 있지만, 예상보다 많은 도전 과제가 도사리고 있는데요, 그 중 하나가 바로 데이터 로딩입니다.
지난 현대자동차 남양연구소 사례분석에서 300GB의 데이터 로딩에만 1시간이 소요되는 상황에 대해 다룬 적이 있었는데요, 매일 20테라바이트의 데이터가 유입되고, 매년 150~200페타바이트의 데이터를 처리해야하는 기관의 사례는 누구나 흥미로워할만한 주제가 아닐까요?
사례분석 | 현대자동차의 자율주행 모델 머신러닝 시간 단축 (AWS)
https://aws.amazon.com/blogs/machine-learning/hyundai-reduces-training-time-for-autonomous-driving-models-using-amazon-sagemaker/
매일 수십억 건의 미국 유가증권 거래 기록이 유입되고 이를 검증하는 기관이 바로 미국금융규제위원회(FINRA)이고요, 클라우드 측면에서나 프라이빗 데이터센터 측면에서도 놀라운 수준의 데이터를 처리하는 곳으로 유명합니다.
사례분석 | FINRA가 매일 5천억회의 거래 데이터를 검증하는 비법 (AWS)
https://aws.amazon.com/solutions/case-studies/finra-data-validation/
제가 몇 년간 정리한 클라우드 자료 중 제가 제일 흥미로워하는 자료인 ‘FINRA 페타바이트 금융 데이터 분석‘ 자료 공유합니다.
PDF 다운로드 | FINRA 페타바이트 금융 데이터 분석 (32p)
https://drive.google.com/file/d/1MahrOsBg0E3sU701C2GTmmrtrtdfWh-T/view?usp=sharing
끝 / 감사합니다. / 동준상.넥스트플랫폼 (naebon@naver.com)
