1. 개요
데이터-소스는 데이터 분석을 수행하기 위해 활용되는 정보의 근원을 의미한다. 이는 특정 연구나 목적을 달성하기 위해 필요한 정보를 어디에서 가져오느냐에 따라 구분되며, 데이터 수집 과정의 가장 기초적인 단계에 해당한다.[1] 수집된 정보는 수치 기록과 같은 정형 데이터뿐만 아니라 텍스트, 오디오, 비디오와 같은 비정형 데이터를 모두 포함할 수 있다.[4]
데이터를 확보하는 방식은 크게 직접적인 방식과 간접적인 방식으로 분류된다. 연구자가 특정 연구를 수행하기 위해 새로운 정보를 직접 수집하는 경우를 1차 데이터라고 정의한다.[1] 이는 이전에 수집된 적이 없는 정보를 연구자가 직접 설계한 방식이나 특정 시점에 맞춰 새롭게 확보하는 과정을 포함한다.[2] 반면, 원래의 수집 목적과 다른 연구를 위해 이미 존재하는 데이터를 찾아 활용하는 방식은 2차 데이터로 분류된다.[1]
데이터 분석 전략의 성공 여부는 적절한 데이터 소스를 식별하고 이를 체계적으로 활용하는 능력에 달려 있다.[3] 방대한 양의 정보를 다루는 빅데이터 시대에 이르러, 다양한 출처로부터 정보를 체계적으로 모으는 능력은 산업 전반의 혁신을 뒷받침하는 핵심 요소가 되었다.[4] 원시 정보로부터 의미 있는 통찰을 추출하기 위해서는 데이터 소스의 성격과 구조를 정확히 파악하는 것이 필수적이다.
데이터 수집은 단순한 정보의 나열을 넘어, 원시 데이터를 가치 있는 정보로 변환하기 위한 토대를 마련하는 역할을 한다.[4] 예를 들어, 모집단 내의 모든 단위로부터 정보를 수집하는 전수 조사와 같은 방식은 데이터의 완전성을 높이는 중요한 수단이 된다.[1] 데이터 소스의 선택은 분석의 정확도와 직결되므로, 연구자는 분석 목적에 부합하는 최적의 출처를 결정해야 한다.
2. 데이터 수집 방식에 따른 분류
데이터를 확보하는 경로는 크게 직접적인 방식과 간접적인 방식으로 구분된다. 직접 수집 방식은 특정 연구를 수행하기 위해 연구자가 새로운 데이터를 직접 생성하거나 수집하는 과정을 의미한다.[1] 이러한 방식으로 얻은 결과물은 1차 데이터(Primary data)로 정의된다.[2] 연구자는 기존에 존재하지 않는 특정 시점의 정보나 특정한 방법론을 통해 도출된 자료가 필요할때이 방식을 선택한다.
직접 수집 방식의 대표적인 사례로는 설문조사가 있다. 설문조사는 모집단 내의 모든 단위로부터 정보를 수집하는 인구조사 형태를 포함할 수 있다. 연구자가 스스로 데이터를 수집하므로 연구 목적에 부합하는 정밀한 통제가 가능하다는 특징이 있다. 이는 데이터 분석을 위한 기초 단계로서, 빅데이터 시대의 혁신을 이끄는 핵심적인 과정 중 하나로 간주된다.
반면 간접 수집 방식은 연구의 본래 목적을 위해 생성되지 않았던 기존의 데이터를 찾아내어 활용하는 것을 의미한다. 이 과정을 통해 확보된 자료는 2차 데이터(Secondary data)라고 불린다.[1] 연구자는 이미 구축된 데이터베이스나 기존의 기록물에 접근하여 정보를 추출한다. 이는 새로운 데이터를 처음부터 수집해야 하는 비용과 시간을 절약할 수 있는 방법이다.
데이터의 형태는 수집 방식에 따라 정형 데이터와 같은 수치 기록부터 비정형 데이터인 텍스트, 오디오, 비디오까지 다양하게 나타난다.[4] 연구자는 분석하고자 하는 대상의 성격에 맞춰 적절한 수집 전략을 수립해야 한다. 체계적인 데이터 수집은 원시 정보로부터 유의미한 통찰을 추출하기 위한 필수적인 토대가 된다.
3. 1차 및 2차 데이터의 차이
1차 데이터는 연구자나 분석가가 특정 연구 목적을 달달성하기 위해 직접 수집한 새로운 정보를 의미한다.[1] 이는 과거에 한 번도 수집된 적이 없는 데이터를 특정 방식이나 특정 시점에 맞춰 새롭게 생성하는 과정을 포함한다. 연구자는 기존에 존재하는 자료만으로는 해결할 수 없는 구체적인 질문에 답하기 위해 이러한 직접적인 방식을 선택한다. 대표적인 방법으로는 설문 조사를 통해 모집단의 각 단위로부터 정보를 얻거나 인구 조사를 실시하는 방식이 있다.
2차 데이터는 현재 수행 중인 연구를 위해 원래의 목적으로 수집되지 않았던 기존의 자료를 찾아내어 활용하는 것을 뜻한다.[2] 이는 간접적인 방식을 통해 이루어지며, 이미 다른 용도로 생성되어 존재하는 데이터를 재사용하는 형태를 띤다. 연구자는 이미 구축된 데이터베이스나 기존의 통계 자료를 활용함으로써 새로운 정보를 직접 생성하는 데 드는 시간과 비용을 절감할 수 있다. 따라서 2차 데이터는 기존에 축적된 정보를 바탕으로 분석을 시작할 때 중요한 기초 자료가 된다.
비즈니스 보고서를 작성하거나 산업 전반에서 빅데이터를 활용할 때는 이러한 데이터 유형의 구분이 필수적이다. 조직은 정형 데이터와 같은 수치 기록부터 비정형 데이터인 텍스트, 오디오, 비디오에 이르기까지 다양한 형태의 정보를 체계적으로 수집하여 분석한다.[3] 이러한 수집 과정은 원시 정보로부터 의미 있는 통찰을 추출하기 위한 핵심적인 첫 단계로 작용한다. 연구자는 분석의 목적과 가용 자원에 따라 1차 데이터와 2차 데이터를 적절히 조합하여 최적의 의사결정을 지원하는 결과물을 도출한다.
4. 조직 내 데이터의 출처
조직은 혁신을 달성하기 위해 다양한 경로를 통해 정보를 확보하며, 이를 통해 원시 데이터를 유의미한 통찰로 변환한다.[4] 내부적으로 발생하는 데이터는 수치 기록과 같은 정형 데이터뿐만 아니라 텍스트, 오디오, 비디오 형태의 비정형 데이터를 모두 포함할 수 있다.[4] 이러한 데이터 소스를 체계적으로 수집하는 과정은 데이터 분석의 기초가 된다.
내부 데이터는 조직의 운영 과정에서 직접 생성되는 정보를 의미한다. 연구자나 분석가가 특정 목적을 달성하기 위해 새로운 정보를 직접 생성하거나 수집하는 경우를 1차 데이터라고 정의한다.[1][2] 이는 기존에 존재하지 않았던 특정 시점의 정보나 특정한 방법론을 통해 도출된 자료를 포함한다.[2] 예를 들어, 인구 조사와 같이 모집단의 모든 단위로부터 정보를 수집하는 설문 조사 방식이 이에 해당한다.[1]
외부 데이터는 원래 해당 연구나 분석을 목적으로 수집되지 않았으나, 기존에 존재하던 자료를 찾아내어 활용하는 2차 데이터의 성격을 띤다.[1] 조직은 빅데이터 시대의 흐름에 맞춰 내부 자원뿐만 아니라 외부의 다양한 소스를 결합하여 비즈니스 의사결정의 근거로 삼는다.[4] 효율적인 데이터 소스 관리를 통해 조직은 방대한 양의 정보를 체계적으로 운용하고 분석할 수 있는 기반을 마련한다.
5. 데이터의 유형과 형태
데이터는 그 성격과 구조에 따라 다양한 유형으로 분류된다. 통계적 분석을 위해 가장 기본적으로 구분되는 방식은 척도에 따른 분류이다. 범주형 데이터 중에는 단순히 대상의 특성을 구분하기 위한 명목형 데이터와 항목 간의 순서나 서열이 존재하는 순서형 데이터가 있다. 반면, 수치로 표현되며 산술 연산이 가능한 데이터는 수치형 데이터로 정의된다.[1] 이러한 분류는 연구자가 수행할 통계 분석의 방법론을 결정하는 중요한 기준이 된다.
현대의 빅데이터 시대에는 정보의 형태가 더욱 복잡하고 다양해졌다. 과거에는 정형 데이터와 같이 일정한 형식에 맞춰 저장된 수치 기록이 주를 이루었으나, 현재는 비정형 데이터의 비중이 급격히 증가하였다. 비정형 데이터에는 텍스트, 오디오, 비디오와 같은 형태가 포함되며, 이는 정해진 구조 없이 생성되는 방대한 양의 정보를 의미한다.[2] 특히 멀티모달 기술의 발전으로 인해 영상과 이미지를 포함한 다양한 형태의 정보가 결합되어 분석의 대상이 되고 있다.
데이터의 형태는 조직이 혁신을 달성하기 위해 정보를 처리하는 방식에도 영향을 미친다. 조직은 원시 데이터를 체계적으로 수집함으로써 이를 유의미한 인사이트로 변환하는 과정을 거친다. 수집된 정보가 구조화된 기록인지 혹은 비구조화된 미디어 형태인지에 따라 데이터 분석의 기술적 접근 방식이 달라진다. 결과적으로 다양한 소스에서 확보한 방대한 양의 정보를 효과적으로 활용하는 능력은 현대 산업 전반에서 혁신을 이끄는 핵심적인 요소로 작용한다.
6. 데이터 소스 활용 및 구현 사례
현대 산업계에서 방대한 양의 정보를 활용하고 분석하는 능력은 혁신을 달성하기 위한 핵심적인 토대가 된다.[4] 조직은 데이터 수집 과정을 통해 수치 기록과 같은 구조화된 데이터뿐만 아니라 텍스트, 오디오, 비디오 등 비구조화된 데이터를 체계적으로 확보한다. 이렇게 수집된 원시 데이터는 분석 과정을 거쳐 유의미한 통찰력으로 변환되며, 이는 기업이 데이터 기반 의사결정을 내리는 데 결정적인 역할을 수행한다.
웨어러블 기기와 같은 하드웨어 분야에서는 실시간으로 발생하는 정보를 처리하기 위해 특화된 데이터-소스를 구축한다. 예를 들어 Wear OS와 같은 운영체제 환경에서는 기기에서 생성되는 다양한 센서 데이터를 정보 표시를 위한 소스로 활용한다. 이러한 구현 사례에서는 데이터가 생성되는 시점과 릴리스 날짜 및 시간을 정확히 관리하는 것이 중요하다.[1] 이를 통해 사용자는 자신의 신체 활동이나 상태를 실시간으로 모니터링할 수 있는 환경을 제공받는다.
클라우드 서비스 기반의 인프라는 다양한 데이터 도구와 관계형 데이터베이스를 연결하여 데이터 활용도를 극대화한다. 클라우드 환경에서는 분산된 데이터-소스를 통합하여 관리할 수 있으며, 이를 통해 복잡한 데이터 분석 모델을 효율적으로 구동한다. 연구자나 분석가는 이러한 기술적 환경을 활용하여 1차 데이터와 2차 데이터를 결합하거나, 인구 조사와 같은 전수 조사 방식을 통해 얻은 방대한 통계 자료를 클라우드 컴퓨팅 자원을 사용하여 처리할 수 있다.[1]