인덱싱은 데이터를 구조화해 원하는 정보를 더 빠르게 찾게 하는 전처리 과정이다.[1] 정보검색에서는 문서를 미리 정리해 질의와 비교할 수 있게 만들고, 검색 엔진에서는 수집된 웹 문서를 검색 가능한 형태로 바꾼다.[1][3]
이 용어는 색인처럼 단순한 목록 구조를 뜻하기도 하고, 데이터베이스와 검색 시스템에서 쓰이는 기술적 절차를 가리키기도 한다. 또 언론이 권력의 논점에 반응하는 경향을 설명하는 사회과학적 개념으로도 쓰인다.[2] 그래서 인덱싱은 저장, 검색, 해석의 세 층위에서 함께 이해할 필요가 있다.
1. 데이터베이스에서의 인덱싱
데이터베이스에서 인덱싱은 테이블의 행을 더 빨리 찾기 위해 보조 구조를 두는 작업이다. 데이터베이스 관리 시스템은 인덱스를 따라 필요한 행의 위치를 좁혀 가며, 전체 테이블을 훑는 풀 스캔보다 적은 비용으로 조건을 평가할 수 있다.[1]
SQL의 WHERE 절처럼 선택도가 높은 조건에서는 인덱스 효과가 특히 크다. 반대로 삽입, 갱신, 삭제가 잦은 테이블에서는 인덱스 구조도 함께 유지해야 하므로 쓰기 비용이 늘어난다. 실제 운영에서는 조회 패턴과 갱신 빈도를 함께 고려해 인덱스를 설계해야 한다.[1]
인덱스는 단순한 보조 자료가 아니라, 데이터가 저장된 방식과 검색되는 방식을 연결하는 다리 역할을 한다. 적절히 설계된 인덱스는 쿼리 계획을 단순화하고 응답 시간을 안정적으로 유지하게 해 주며, 잘못 설계된 인덱스는 오히려 저장 비용과 관리 부담을 키울 수 있다.[1]
2. 정보 검색(IR) 시스템의 인덱싱
정보 검색(IR) 체계에서 텍스트 인덱싱은 텍스트 검색을 위한 핵심 전처리 단계다.[1] 수집된 문서는 토큰화, 정규화, 저장 단계를 거치며, 이후 사용자의 질의와 빠르게 대조할 수 있는 형태로 바뀐다.
검색의 품질은 단순히 자료를 저장했는지보다 어떤 단위로 분해해 어떤 구조에 넣었는지에 따라 달라진다. 같은 문서라도 인덱싱 방식에 따라 일치 검색, 부분 검색, 랭킹 계산의 결과가 달라질 수 있으며, 검색 엔진의 품질 차이도 여기서 크게 갈린다.[1][3]
IR 시스템은 검색 대상이 되는 텍스트를 미리 정리해 두는 전처리 작업에 의존한다. 이 때문에 인덱싱은 검색 단계 자체보다 앞서 수행되지만, 실제로는 검색 품질 전체를 좌우하는 기반 작업으로 이해하는 편이 더 정확하다.[1] 한편 인덱싱 이론은 정보 검색이 아니라 언론 연구의 개념으로, 보도 의제가 권력 구조와 어떻게 연결되는지를 설명한다.[2]
3. 인덱싱의 주요 자료구조
인덱싱 구현에는 다양한 자료구조가 쓰이지만, 관계형 데이터베이스와 검색 시스템에서 자주 언급되는 것은 B-Tree 계열이다.[1] B-Tree는 노드 하나에 여러 키를 담아 트리 높이를 낮추고, 탐색, 삽입, 삭제의 성능을 안정적으로 유지하도록 설계되었다.
균형을 유지하는 특성 덕분에 데이터 양이 늘어도 응답 시간이 급격히 흔들리지 않는다. 인덱스가 대용량 데이터에 대해 비교적 일정한 조회 성능을 제공하는 이유도 이런 구조적 안정성에 있다.[1] 따라서 인덱싱은 단일한 기술 이름이 아니라, 저장과 검색 목적에 맞는 구조를 선택하고 유지하는 설계 전략에 가깝다.
검색 중심 시스템에서는 역색인 같은 구조도 널리 쓰인다. 역색인은 문서를 단어 단위로 다시 매핑해 질의 응답을 빠르게 만드는 방식이며, 대규모 텍스트 검색에서 특히 중요하다.[1] 결국 어떤 자료구조를 쓰느냐에 따라 인덱싱이 강조하는 성능 지표도 달라진다.
4. 검색 엔진의 인덱서 역할
검색 엔진의 핵심 구성 요소인 인덱서는 웹 페이지를 수집하고 파싱해 검색 가능한 구조로 바꾼다.[3] 이 과정에서 문서의 텍스트, 링크 관계, 메타데이터가 함께 정리되며, 검색 결과 페이지가 구성될 수 있는 기초가 마련된다.
인덱서는 저장된 문서를 단순 보관하지 않고, 질의와의 관련성을 빠르게 계산할 수 있는 형태로 가공한다. 그래서 인덱싱 품질이 낮으면 검색 정확도와 응답 속도가 함께 떨어질 수 있다.[3] 문서 구조가 정규화되지 않으면 같은 정보라도 검색 결과에 제대로 반영되기 어렵다.
결국 인덱서는 방대한 웹 데이터 가운데 사용자의 의도에 맞는 문서를 골라내는 검색 엔진의 전처리 관문이다.[1][3] 검색 엔진이 빠르게 반응하는 것처럼 보이더라도, 그 뒤에는 인덱싱과 정리 작업이 먼저 끝나 있어야 한다.
5. 사회과학적 관점의 인덱싱 이론
랜스 베넷이 정립한 인덱싱 이론은 언론 보도가 권력 집단의 논점과 범위를 따라가는 경향을 설명한다.[2] 이 이론은 언론이 어떤 쟁점을 독립적으로 확대하기보다, 이미 권력 내부에서 논의되는 사안에 반응하는 방식으로 움직인다고 본다.
이 관점에서 언론은 단순 전달자가 아니라 권력 관계를 반영하는 매개체로 이해된다.[2] 그래서 어떤 사안이 뉴스가 되고 어떤 시각이 우세해지는지는, 권력층 내부의 합의와 갈등이 어디까지 드러나는지에 따라 달라질 수 있다.
한국 언론의 사례에서도 이런 패턴이 자주 언급되며, 프레임과 논점의 경계가 권력 구조에 의해 정해지는 모습을 설명하는 데 활용된다.[2] 인덱싱 이론은 기술 분야의 인덱싱과는 다르지만, 정보가 어떤 구조를 따라 정리되고 선택되는지를 설명한다는 점에서는 같은 문제의식을 공유한다.
7. 인용 및 각주
[1] Text Indexing and Retrieval, Springer, link.springer.com(새 탭에서 열림)
[2] [난중칼럼] '인덱싱 이론'과 검-정-언 복합체, 뉴스타파, newstapa.org(새 탭에서 열림)
[3] Role of Search Indexer in Information Retrieval of Search Engine, GeeksforGeeks, www.geeksforgeeks.org(새 탭에서 열림)