클라이언트는 POS 및 ATM 서비스의 선도 제공업체로서, Rikkeisoft의 미국 자회사인 RKTech에 자사 빅데이터 운영의 효율성과 효과를 측정하는 데 도움이 될 수 있는 솔루션을 제공해줄 것을 요청했습니다.
클라이언트 개요
Azure Synapse AnalyticsPower BIAzure Data LakeAzure Data Factory
본 글은 실제 프로젝트 사례를 바탕으로 작성되었습니다. 다만 개인정보 보호를 위해 클라이언트의 이름은 공개하지 않습니다.
클라이언트는 POS, ATM 및 ITM 솔루션을 제공하는 오랜 역사를 가진 미국의 저명한 기업입니다. 2022년 연 매출이 70억 달러를 넘는 이 기업은 셀프서비스 키오스크, POS 터미널, ATM, 수표 처리 시스템 및 바코드 스캐너를 포함한 광범위한 제품 및 서비스를 제공합니다. 비즈니스가 디지털 영역으로 확장함에 따라 데이터 저장 및 처리 요구 사항의 양과 복잡성이 기하급수적으로 증가했습니다. 본 프로젝트는 급속도로 증가하는 데이터 세트에서 실행 가능한 인사이트를 추출하는 데 있어 클라이언트의 과제를 해결했습니다.
프로젝트 개요
산업
정보 기술
기술
Azure Data Lake, Azure Synapse Analytics, Azure Data Factory, Power BI
국가
미국
기간
진행 중
과제
방대한 양의 데이터를 수집하고 있음에도 불구하고, 클라이언트는 성능 최적화를 위한 의미 있는 인사이트를 추출하는 데 있어 세 가지 주요 장애물에 직면했습니다:
- 제한된 데이터 투명성: 클라이언트는 중앙화된, 잘 정리된 데이터 관리 시스템이 없었습니다. 데이터의 출처, 의미, 구조가 불명확한 경우가 많아 KPI 추출에 필요한 관련 데이터 포인트의 식별 및 활용이 어려웠습니다.
- 데이터 품질 문제: 데이터 세트 내의 불일치, 부정확성, 누락 값이 만연하여 추출된 KPI의 신뢰성을 손상시켰습니다. 수동 데이터 정제 및 검증은 시간이 많이 소요될 뿐만 아니라 인적 오류에 취약했습니다.
- 비효율적인 데이터 분석: 빅데이터의 방대한 양과 비정형적 성질은 기존의 데이터 분석 방법론을 압도했습니다. 이로 인해 수집된 데이터와 운영 최적화에 필요한 실행 가능한 인사이트 간의 큰 격차가 발생했습니다.
솔루션
RKTech는 이러한 과제들을 해결하기 위해 “Big Data Ops Performance KPIs Extractor”를 설계 및 개발했습니다. 본 솔루션은 Microsoft Azure 클라우드 서비스를 활용하여 포괄적인 데이터 관리 및 분석 프레임워크를 제공합니다. 주요 기능은 다음과 같습니다:
- 수집 & 변환: 다양한 소스의 데이터를 중앙 Azure Data Lake로 통합하는 ETL을 개발하여 효율적인 저장 및 관리를 구현했습니다.
- 인사이트 추출: Azure Synapse Analytics를 활용한 고급 분석을 통해 주요 운영 영역 전반의 KPI를 추출합니다.
- 파이프라인 성능 측정: 특정 데이터 파이프라인의 모니터링:
- 최신성: 데이터가 최신 정보를 반영하도록 보장합니다.
- 완전성: 정확한 분석에 필요한 모든 데이터 포인트의 존재를 검증합니다.
- 성능: 파이프라인 내의 병목 현상을 식별하고 데이터 처리 속도를 최적화합니다.
성과
클라이언트는 본 솔루션에 높은 만족도를 표현했으며, 이 솔루션이 수집된 방대한 데이터에서 실행 가능한 인사이트를 추출하는 능력을 크게 향상시켜 최적화된 운영과 더 나은 데이터 기반 의사결정을 가능하게 했다고 평가했습니다. 또한 클라이언트는 빅데이터를 활용하여 지속적인 성장과 성공을 도모할 수 있는 추가 솔루션 탐색을 위한 추가 협력에 강한 관심을 나타내고 있습니다.
