B²LAB

데이터 기반이 먼저인 이유

AI 모델을 만들기 전에 먼저 필요한 것은 믿을 수 있는 데이터입니다. 설비마다 형식이 다르고, 수집이 중간에 끊기고, 같은 항목을 다른 이름으로 부르는 상태에서는 어떤 모델을 올려도 결과를 신뢰하기 어렵습니다.

B²LAB은 사용자가 보유한 데이터에 대해 수집, 저장·처리, 모니터링을 지원하는 빅데이터 최적화 플랫폼입니다. 전사적으로 발생하는 정형·비정형·반정형 형태의 다양한 데이터를 통합 연계해 안정적인 Raw Data를 확보합니다.

모듈 구조

B²LAB은 데이터 수집, 저장·처리, 모니터링을 지원하며 각 시스템은 모듈 형태로 제공됩니다. 전사에서 발생하는 다양한 데이터의 활용 가능성을 높이는 것이 목적입니다.

필요한 모듈만 먼저 도입하고 이후 확장하는 방식이 가능하므로, 한 번에 전체를 바꾸기 어려운 중소·중견 제조기업에서도 단계적으로 접근할 수 있습니다.

처리 단계

네 단계로 구성됩니다.

1. 수집과 통합 — 데이터 담당자가 엔티티·관계 스키마를 YAML 온톨로지로 선언하는 것에서 시작합니다. QMS·EDMS·ERP의 DB 테이블은 변경분 캡처(CDC)와 주기 복제로, 파일서버의 CSV·JSON·PDF·오피스 문서는 경로를 읽어서 가져옵니다. 설비 쪽은 PLC·Modbus·RS-232/485 같은 이기종 프로토콜을 OPC-UA로 표준화해 Kafka로 흘려보냅니다. 배치와 실시간 양쪽을 레이크하우스에 함께 적재합니다.

2. 품질 검증 — 전체·유일 건수, 최소·최대값, Null 수, 포맷과 타입 분포를 자동으로 뽑습니다. 그 위에서 누락·중복·유효범위·이상값·정합성을 판정해 카탈로그에 기록하고, 데이터 큐레이터가 결과를 확인해 조치합니다. 이 단계를 건너뛰면 뒤에서 만드는 그래프를 믿을 수 없게 됩니다.

3. 매핑과 연결 — 시스템마다 같은 제품을 다른 코드로 부르는 문제를 여기서 풉니다. 임베딩으로 동일 대상일 가능성이 높은 후보를 찾고, LLM이 판정해 신뢰도 95% 이상인 것만 동일개체로 승격합니다. 규칙을 하드코딩하지 않고도 시스템 간 코드가 이어지며, 승격된 관계로 기록·제품·원료·업체 그래프와 문서 버전 이력 인덱스를 만듭니다. 마지막으로 온톨로지 스키마와 그래프가 어긋나지 않는지 자동 테스트합니다.

4. 동기화와 제공 — 변경분을 반영하고 전체 정합성을 다시 대조합니다. 완성된 통합 데이터와 지식 그래프는 REST API로 AI 에이전트에 제공하고, 업무 시스템에는 메시지 구독으로 실시간 데이터를 보냅니다. 분석용으로는 가공 데이터를 서비스 DB로, 원본은 Ad-hoc 쿼리로 엽니다.

도입 요건

배포와 망 — 고객 전용 클라우드(VPC·Dedicated) 또는 온프레미스 중에서 고르고, 폐쇄망은 온프레미스로 대응합니다. 전 구성요소가 고객사 서버에 Docker 컨테이너로 개별 배포되며, 배치 수집 경로와 실시간 수집 경로(Kafka)는 서버·컨테이너를 나눠 구성할 수 있습니다. 데이터레이크 서버에서 소스 DB·파일서버 방향으로 IP·포트 방화벽을 열어야 하고, 외부망 파일 연결은 SFTP를 권합니다.

연결 가능한 원천 — DB는 MSSQL·Oracle·PostgreSQL·MariaDB·IBM DB2·Machbase를 지원하고, 파일서버는 FTP·SFTP·SMB로 붙습니다. DB는 테이블 주기 복제, 뷰·SQL 조회, 이기종 DB 즉석 조인을 지원합니다. 설비 데이터는 API 기반 실시간 수집(Kafka) 경로로 적재하며, 외부 시스템이 직접 적재하는 방식도 됩니다.

연동 권한 — QMS·EDMS 등 원천 시스템의 DB 접근 권한이 필요합니다. 수집한 데이터는 레이크하우스에 적재한 뒤 야간 배치로 델타 동기화하고, 주간 단위로 전체 정합성을 다시 검증합니다. 구축된 지식 그래프는 REST API와 웹 대시보드·콘솔로 제공하며, 그래프 DB(Neo4j)는 선택 연동입니다.

권한과 운영 — 관리 화면에서 사용자·메뉴별 권한과 API 키를 관리하고, 원천 연동 계정은 조회 권한으로만 운영합니다. 데이터 담당자가 YAML 온톨로지를 선언·검토합니다. 수집 파이프라인 로그와 서비스 API 호출 로그를 남기며, 실시간 적재가 실패하면 자동 재시도와 유입 속도 조절로 유실을 줄입니다.

적용 사례

제약·바이오 제조업 현장의 QMS·EDMS 데이터를 야간 배치로 수집·동기화하고, 온톨로지 기반 엔티티 매핑으로 제품·원료·수탁업체를 동일 개체로 연결해 운영 중입니다.

품질기록 146,919건을 엔티티·관계 그래프로 매핑했고, 전자문서 63,000여 건의 버전 이력 인덱스를 구축했습니다. LLM이 판정한 동일개체 매핑 3,000여 건으로 시스템 간 제품·원료 교차 조회가 가능해졌습니다. 같은 고객사에서 컨센스봇이 이 기반 위에 올라가 있습니다.