통합전투 시스템 — ICS Briefing

ICS LIVE — SENSOR TO ACTION PIPELINE

ICS LIVE

Sensor → Event → Ontology → Action — 실시간 자율 대응 파이프라인

OFFLINE 0.0 fps

🎮 SCENARIO INJECT

테스트할 위협 시나리오를 하나 선택하세요. 선택 즉시 해당 객체가 센서 입력으로 주입되어 파이프라인 전체(Event → Ontology → Action)가 실시간으로 반응합니다.

THREAT LEVEL NONE 상황: Clear 의도: Unknown

▶ 5-STEP PIPELINE

센서 입력이 5단계를 거쳐 로봇 행동까지 자동으로 연결됩니다. 각 단계는 이전 단계의 출력을 입력으로 받아 처리하며, 위협 수준에 따라 카드 색상이 변합니다. cyan = 정상 작동 · orange = 주의 · red = 위협

📡 STEP 1

INPUT — Sensor / Simulation

실제 환경: 웹캠·RTSP 카메라·YOLO 실시간 감지 | 현재: 시나리오 시뮬레이션

시뮬레이션 대기 중…

IDLE

⚡ STEP 2

EVENT ENGINE

감지된 객체를 구조화된 이벤트로 변환. 이동 방향(기지 기준)·고도 레벨·속도를 분류.

대기 중…

IDLE

🧠 STEP 3

ONTOLOGY ENGINE — Situation & Intent

단순 if/else가 아닌 규칙 기반 추론(R1~R7). 상황(Situation)·의도(Intent)·위협 등급을 판정. 예) 저고도 + 기지방향 드론 → SuicideDrone / CRITICAL

대기 중…

IDLE

🤖 STEP 4

ROBOT ACTION — Simulation

위협 등급에 따라 자동 결정: CRITICAL→INTERCEPT(차단이동) · HIGH→MOVE_TO · MEDIUM→TRACK · LOW→ALERT 아래 지도에서 로봇(삼각형)이 실제로 이동합니다.

STANDBY

IDLE

⚫ STEP 5

MCP — Execute & Log

실제 환경: MCP 프로토콜로 로봇 Serial 명령·경보음·AR 전송. 현재: 오른쪽 로그 패널에 기록.

대기 중…

IDLE

🤖 ROBOT MAP — Simulation

▲ 삼각형 = 로봇 (방향: 이동 방향) | ⬤ 원 = 감지 객체 | ⭐ 노란 원 = BASE (기지)

STANDBY

⚙ MCP LOG

HIGH 이상 위협 발생 시 자동 기록됩니다.
ALERT(빨강) = CRITICAL 위협 | WARN(주황) = HIGH 위협

ICS LIVE — PIPELINE 2

Robot-Centric Pipeline

로봇이 드론 없이 독립적으로 지상 순찰·감지·판단·대응하는 자율 시스템

CONCEPT

          드론의 도움 없이 로봇 탑재 센서(EO/IR·LiDAR·Audio·RF)만으로

          자율 순찰 경로를 돌며 위협을 탐지하고, Ontology 기반 판단으로 즉각 대응합니다.

          드론 대비: 공중 정찰 부재 → 지상 센서 다중화로 보완. 운용 범위는 좁지만 지상 정확도 높음.

OFFLINE 0.0 fps

🎮 GROUND SCENARIO

로봇 센서가 감지할 지상 위협 시나리오를 선택하세요.

THREAT LEVEL NONE 모드: Patrol WP: 00

▶ 5-STEP ROBOT PIPELINE

로봇 단독 운용: 다중 센서 융합으로 단일 센서 한계 극복. 신뢰도 부스트(+융합 가중치)로 오탐지 최소화. 위협 확인 시 자율 판단 → 필요 시에만 병사 요청.

📡STEP 1

ROBOT SENSOR — EO/IR · LiDAR · Audio · RF

4종 센서 병렬 감시. 각 센서의 원시 데이터를 STEP 2에서 융합.

대기 중…

IDLE

⚡STEP 2

SENSOR FUSION — 다중 센서 융합

EO/IR 35% + LiDAR 30% + Audio 20% + RF 15% 가중 융합. 복수 센서 동시 감지 시 신뢰도 자동 상승.

대기 중…

IDLE

📍STEP 3

SITUATION MAP — 360° 상황도

로봇 주변 8방위(N/NE/E…) 섹터별 위협 분류. 순찰 경로 진행률 및 다음 웨이포인트 안내.

대기 중…

IDLE

🤖STEP 4

AUTONOMOUS DECISION — 자율 행동 결심

IED→즉시후퇴 | 무장인원 근접→조준준비+병사승인 | 차량/원거리→차단이동 | 저위협→순찰

PATROL

IDLE

🤵STEP 5

SOLDIER LOOP — AR 알림 + 승인

고위협 시에만 병사 AR HMD에 상황 전송. 병사는 승인/거부만 결정. 시뮬: 4~8초 후 자동 승인.

대기 중…

IDLE

🤖 ROBOT MAP — 순찰 경로 + 감지 현황

▲ 삼각형 = 로봇 | 점선 원 = 순찰 웨이포인트 | ● 원 = 감지 접촉

PATROL

⚙ MCP LOG

ALERT = 즉각 대응 필요 | WARN = 주의 감시

ICS LIVE — PIPELINE 3

Drone + Robot Collaboration

드론(공중 탐지)과 로봇(지상 차단)이 실시간으로 정보를 공유하며 함께 대응

CONCEPT

          드론은 공중에서 광역 감시·추적하고,
          로봇은 지상에서 차단·대응합니다.

          두 에이전트가 Mesh 통신으로 실시간 표적 좌표를 공유,
          단독 운용 대비 신뢰도를 베이지안 융합으로 크게 향상시킵니다.

            드론 단독 한계(지상 세부정보 부족) + 로봇 단독 한계(광역 감시 불가)를 서로 보완.

📸 DRONE-01

SCANNING

고도: 80m | 배터리: 85% | 방위: 0°

🤖 ROBOT-01

STANDBY

센서: EO/IR, LiDAR | 방위: 0°

OFFLINE 0.0 fps IDLE

🎮 COLLAB SCENARIO

드론+로봇이 함께 대응할 위협 시나리오를 선택하세요.

JOINT THREAT NONE

드론: — 로봇: — 융합: —

▶ 5-STEP COLLAB PIPELINE

두 에이전트가 각자 독립적으로 감지하고, 정보를 공유하여 공동 위협 평가로 단독 운용보다 높은 신뢰도를 달성합니다.

📸STEP 1

DRONE DETECT — 공중 광역 탐지

드론 EO/IR + 열화상으로 넓은 구역 스캔. 단, 지상 세부정보 부족 → 로봇에게 핸드오프 필요.

대기 중…

IDLE

📡STEP 2

TARGET HANDOFF — 드론 → 로봇 좌표 전달

ICS-Mesh 통신으로 표적 좌표·위협 등급을 로봇에게 실시간 전달. 레이턴시 8~25ms.

대기 중…

IDLE

🤖STEP 3

ROBOT INTERCEPT — 지상 차단 이동 + 센서 확인

로봇이 핸드오프 좌표로 이동하며 EO/IR·LiDAR로 지상 세부정보 보완. 드론의 낮은 지상 신뢰도를 높임.

대기 중…

IDLE

🧠STEP 4

JOINT ASSESS — 드론+로봇 공동 위협 평가

베이지안 융합: P(joint) = 1 - (1-P_drone)×(1-P_robot). 두 에이전트가 서로 다른 각도에서 확인 → 신뢰도 대폭 향상.

대기 중…

IDLE

🤵STEP 5

COMMAND LOOP — 병사 결심 + 드론/로봇 동시 실행

병사가 승인하면 드론과 로봇이 동시에 각자의 임무 실행. 드론: 추적·차단 | 로봇: 지상 대응. 시뮬: 3~7초 후 자동 승인.

대기 중…

IDLE

📹 COLLAB MAP

📸 파란 원 = 드론 | ▲ 초록 = 로봇 | ● 빨강/주황 = 표적

IDLE

⚙ MCP LOG

두 에이전트의 통신 및 명령 실행 로그

ICS LIVE — PIPELINE 4

Camera-to-Goggle (C2G)

드론·로봇 카메라 영상 → AI 오버레이 → 병사 AR 고글 → 교전 결심

STEP 1

CAMERA SOURCE

드론EO·IR / 로봇EO·IR / 다중뷰

→

STEP 2

AI OVERLAY

YOLO 탐지 + 거리·위협 AR 오버레이

→

STEP 3

STREAM ENCODE

H.265 + 암호화 + 지연시간 측정

→

STEP 4

GOGGLE DISPLAY

병사 AR HMD 화면 (미니맵+타게팅)

→

STEP 5

SOLDIER DECISION

교전 결심 → 로봇·드론 명령 하달

IDLE

THREAT

NONE

SCENARIO INJECT

📷 CAMERA FEED

STEP 1 — 카메라 소스

소스— 해상도— FPS— 줌— 야간모드— 짐벌— 배터리—

STEP 2 — AI 탐지 오버레이

—

🥽 AR GOGGLE VIEW

STEP 4 — 병사 HMD 화면 시뮬레이션

VIEW: — HDG: —°

📡 STREAM STATUS

STEP 3 — 인코딩/전송

코덱— 비트레이트— 지연시간— 패킷손실— 링크강도— 암호화—

STEP 5 — 병사 결심

—

표적: — 응답: —s

🤖 로봇 🚁 드론

📋 AR MARKER LOG

병사 고글에 표시되는 AR 태그 실시간 피드

PHASE 1 POC — 5-LAYER AUTONOMY LOOP

실증 대시보드

로봇(RGB+열화상+LiDAR+mmWave+마이크) · 드론(RGB+열화상) → Sensor→Event→Situation→Intent→Action

🤖 로봇 RGB 🌡 열화상(FLIR Lepton) 📡 LiDAR(RPLiDAR A2) 〰 mmWave(TI AWR1843) 🎙 마이크 | 🚁 드론 RGB 🌡 드론 열화상

STEP 1

SENSOR RAW

7개 센서 원시 스트림

▶

STEP 2

EVENT DETECT

센서 융합 · 이벤트 감지

▶

STEP 3

SITUATION

상황 판단 · 위협 점수

▶

STEP 4

INTENT INFER

Bayesian 의도 추론

▶

STEP 5

ACTION

로봇·드론 명령 하달

TICK #0 IDLE

THREAT

SCENARIO INJECT

📡 SENSOR RAW

7 sensors · 10Hz

RGB-Robot—

Thermal-R—

LiDAR—

mmWave—

Mic—

RGB-Drone—

Thermal-D—

🔍 EVENT DETECT

Sensor Fusion

—

🗺 SITUATION

—

THREAT SCORE

0

위치: —

— | —

—

🧠 INTENT INFER

—

P(prior)—

P(event|intent)—

P(intent|event)—

—

⚡ ACTION

—

ROBOT

—

DRONE

—

응답시간 — | —

—

⚙ MCP COMMAND LOG

POC 2단계 / C-UAS

실증 대시보드 II — Radar 탐지 → 식별 → 행동

광역 레이더(Wide-Area) 최초 탐지 → Cueing으로 EO/IR 지향 → 광학 확인 → 다중 센서 융합 → 온톨로지 분류 → 의도 추론 → 교전 결정

STEP 1

RADAR

Wide-Area 탐지

▶

STEP 2

CUEING

EO/IR 지향 명령

▶

STEP 3

EO/IR

PTZ 확인·식별

▶

STEP 4

FUSION

다중 센서 융합

▶

STEP 5

ONTOLOGY

위협 분류

▶

STEP 6

INTENT

의도 추론(Bayes)

▶

STEP 7

ACTION

교전 결정

TICK #0 IDLE

SCENARIO INJECT

📡 RADAR SCOPE

Target ID — Range — Bearing — Speed — Altitude — RCS — SNR — Doppler — Mode SEARCH IFF NO RESPONSE

📻 RF DETECTION

Active — Freq — Protocol — Hop —

🎯 CUEING — Radar → EO/IR 지향 명령

대기 중…

SENT: — ACK: —

📷 EO/IR — PTZ 확인 · 식별

Status IDLE Pan — Zoom — Visual ID — Thermal — Approach —

Conf

0%

🔗 FUSION — 다중 센서 통합

RADAR

0%

RF

0%

EO/IR

0%

FUSION SCORE

0.00

🧠 ONTOLOGY — 위협 분류

—

NONE

—

🎲 INTENT — Bayesian 추론

—

P(prior) — P(evt|intent) — P(intent|evt) —

충돌까지 —

LOW

⚡ ACTION — 교전 결정

—

Robot CMD — Drone CMD — 응답 —

—

Auto: — ⏳ 대기

⚙ RADAR CHAIN LOG

SECTION 01 / 05

통합 전투 개념

드론, 로봇, 병사, AI가 연결된 하나의 전투 시스템

CORE MESSAGE
각 장비가 아니라 하나의 전투 시스템

🚁

DRONE

공중 정찰 및 광역 감시
실시간 영상·위치 데이터를
전체 시스템에 공유

AIR SURVEILLANCE

🤖

ROBOT

지상 자율 대응 유닛
드론 데이터를 받아 먼저
현장에 출동·선제 대응

GROUND RESPONSE

🪖

SOLDIER

최종 교전 결정권자
AR 정보 수신, 로봇의
대응 결과를 승인

FINAL APPROVAL

🧠

AI (ONTOLOGY)

전체 시스템 통합 두뇌
상황 분석, 의도 추론,
행동 우선순위 결정

INTEGRATION BRAIN

🚁 Drone → 공중 센서 광역 감시, 이동 경로 추적, 위협 조기 탐지 SENSOR LAYER

🤖 Robot → 자율 행동 현장 출동, 자동 조준, 드론 호출, 선제 대응 ACTION LAYER

🪖 Soldier → 최종 지휘 AR 상황도 수신, 교전 승인, 임무 명령 COMMAND LAYER

🧠 AI Ontology → 두뇌 상황 이해, 의도 분류, 전체 시스템 통합 BRAIN

SECTION 02 / 05

기존 로봇 한계

현재 상용 로봇의 실상

TAGLINE
움직이는 CCTV 수준

📡

단순 순찰만 가능

사전 설정된 경로를 반복 순찰. 상황 판단 없이 정해진 동선만 이동.
🚨

이벤트 감지 → 알림 전송

이상 징후를 발견해도 경보만 울림. 스스로 아무 조치도 취하지 않음.
🧑‍💻

인간 개입 필수

모든 판단과 행동에 원격 조종사 또는 현장 병사의 직접 개입이 필요.
🤷

상황 이해 불가

무엇이 위협인지, 얼마나 긴급한지 전혀 판단하지 못함. 모든 이벤트를 동등하게 처리.

현재 대응 속도

3~8분

알림 → 사람 확인 → 파견 결정 → 이동
위협이 이미 사라진 후 도착

목표 대응 속도

< 30초

드론 탐지 → AI 판단 → 로봇 자율 이동
위협 도달 전 선제 차단 완료

SECTION 03 / 05

로봇 기능 확장

인지(Perception) → 이해(Understanding) → 행동(Action) → 협업(Collaboration)

🔍 PERCEPTION — 인지

EO / IR 카메라

주간 광학 및 야간 열화상. 원거리 표적 식별.

LiDAR 센서

3D 환경 매핑. 장애물 탐지 및 거리 측정.

오디오 분석

총성, 엔진음, 비명 등 음향 이벤트 탐지.

RF 스캐닝

드론·통신기기 신호 감지 및 위치 추적.

🧠 UNDERSTANDING — 상황 이해

이벤트 생성

센서 데이터를 의미 있는 이벤트로 구조화.

상황 합성

개별 이벤트를 종합해 전체 상황 구성.

의도 추론

적의 이동 패턴·행동 의도 분류 및 위협 등급 판정.

⚡ ACTION — 자율 행동

자율 이동

목표 위치로 자동 이동, 최적 경로 탐색.

자동 조준

표적 잠금 및 억제 사격 준비 (승인 대기).

드론 호출

추가 정찰 필요 시 드론에 지원 요청.

🤝 COLLABORATION — 협업

드론과 표적 공유

탐지 표적 좌표를 드론에 실시간 공유.

병사 AR 제공

병사 HMD에 위협 위치·분석 정보 오버레이.

분산 다중 로봇

여러 로봇이 역할 분담하여 포위·차단 수행.

SECTION 04 / 05

통합 작전 흐름

센서에서 행동까지 — 자율 대응 파이프라인

CORE NOTE
로봇이 먼저 움직인다

📡

Sensor

드론·로봇
센서 수집

⚡

Event

이상 패턴
이벤트 생성

🗺️

Situation

상황 합성
컨텍스트 구성

🎯

Intent

의도 추론
위협 등급 판정

🤖

Action

로봇 자율
대응 실행

STEP 1 드론이 광역 공중 감시 중 이상 열원·이동 물체 탐지
STEP 2 AI가 이미지 분석 → 적 인원/차량 분류, 이벤트 생성
STEP 3 Ontology가 상황 합성 → 침투 의도 HIGH 판정
STEP 4 로봇이 최적 경로로 자율 이동, 표적 추적 시작
STEP 5 위협 평가 완료 → 자동 조준 준비 + 병사에게 승인 요청
STEP 6 병사 승인 시 차단 사격 / 미승인 시 드론 추적 계속

SECTION 05 / 05

결정적 차별성

기존 모델 vs Dr. Cho 모델

구분	기존 모델	Dr. Cho 모델
드론 역할	영상 촬영 후 보고	실시간 센서 레이어
로봇 역할	원격 조종 이동	자율 판단 + 선제 대응
병사 역할	모든 상황 직접 처리	최종 승인만 담당
AI 역할	없음 / 단순 감지	Ontology 기반 상황 이해
대응 속도	3~8분	< 30초

🚁 Drone = Sensor Layer — 광역 감시, 실시간 데이터 공급

🤖 Robot = Action Layer — 상황 이해 기반 자율 대응

🪖 Soldier = Command Layer — 최종 교전 결정

🧠 Ontology = Brain — 전체 시스템 통합 지능

"로봇이 단순히 움직이는 것이 아니라,
상황을 이해하고 먼저 행동하는 전투 단위가 됩니다."

— Dr. Cho ICS Briefing