You cannot see this page without javascript.

1. PSN 구축

- Service 시나리오 기반HRI Comp. 고려 Sensors 선정

Ø 이동형 PSN framework 구성

Ÿ 키넥트 2, PTZ 카메라 2(마이크장착), wide angle CCTV 카메라 1

- Environment: Space 선정

Ø KIST 국제협력관 제2회의실로 실험장소 선정

Ÿ 교실 표준 규격과 유사(8m x 8m, 8.4m x 8.4m, or 9m x 9m)

- System: Protocol항목 정의

Ø HRI component화 및 프로토콜을 위한 pkg, node, topic name 항목 정의

- Software: Cloud computing에 근거한 로컬시스템 구축(ROS, OPRoS), Monitoring

Ø 이동형 PSN을 통한 시나리오에 따른 1DB 구축

Ÿ 2회의실, 9, 입실/수업/휴식시간/비상상황/수업재개

Ÿ Multi-Sensor rosbag 레코딩 (170)

 PSN 1차 결과.png

 

PSN 1차 결과_2.jpg

 

2. Sound 센서 네트워크 기반 로봇 서비스 제어

- 멀티 채널 선형 마이크 배열 Sound 센서 설계

Ø 멀티 채널 오디오 보드 회로 설계

Ÿ 음원 위치/ 반향음 환경 특성/ 지연시간을 고려한 음원 환경 시뮬레이터 개발

Ÿ Synchronous Multichannel Audio Acquisition System Design 설계 및 제작

- Sound 센서 노드 간의 시간 동기화 기술

Ø 시간 동기화 기술 구현 중

Ÿ 멀티채널 사운드 센서 보드에서 Codec을 추가하여 입력 포트를 확장하는 방법

Ÿ AVB (Audio Video Bridging)

Ÿ 이더넷 인프라를 이용한 시간 동기화

Ÿ PTP에 의한 시간 동기화 (IEEE 802.1AS)

SOUND 1차 결과.jpg

 

 

3. 고정된 환경에서의 신원인식 기술 개발

- LBP AdaBoost 학습을 이용한 얼굴검출 기술 개발 (93%, 2m)

Ø 얼굴 검출 학습 및 테스트용 얼굴 영상 데이터베이스 구축

Ø MCT/LBP AdaBoost를 이용한 얼굴 검출기/학습기 알고리즘 SW 개발, 성공률 95%, 검출거리 4.5m

- CSML AP 모델을 이용한 2D 기반 얼굴인식 기술 개발 (86%)

Ø 두 눈의 좌표 및 입의 중앙 좌표를 이용한 얼굴 정규화 알고리즘 개발

Ø CSML 학습 알고리즘 SW 개발 및 이를 적용한 얼굴 검증 및 얼굴 인식 알고리즘 SW 개발, 성공률89%

- 2D 기반 나이/성별/시선방향 인식 기술 개발

WHO 1차 결과.jpg

 

 

4. PSN 기반 위치인식 기술 개발

- Multi-sensor based Multiple sound tracking (MST)

Ø PDOA Multi-Sensor 기반 SL 기술개발 진행

Ÿ Kinect/PTZ 카메라/Tiny Array (3 mics) Sensor 사용

Ÿ SL 각오차율 10도 미만, short-term(20ms 단위) PDOA 기술

Ÿ Multi-Sensor 컴포넌트화를 위한 C++/ROS 패키지 준비

Ÿ Multi-sensor 대응: Time-Freq. points -> LSE -> GMM clustering

- Vision based human tracking 개발(비전)(80%): 위치 및 크기 기반

Ø 3D 카메라 기반 사람 검지

Ÿ 3D 깊이 정보를 이용한 Foreground Segmentation

Ÿ Human Identification or Classification: Combo-HOD FeatureSVM을 이용한 사람 분류기

Ø Particle Filter를 이용한 추적 알고리즘

Ÿ 깊이 정보 기반의 Background Subtraction 기법을 이용한 오류 최소화

Ÿ 두 단계로 구성하여 겹침 현상 및 이동 여부를 판단하여 정확도 향상

- MST/얼굴인식(FD/FL))/human tracking(HT) 결합을 통한 위치추적 기술 개발

Ø Audiovisual localization 기술 개발 진행

Ÿ Sound localizationvisual localization 결과를 확률적 방법으로 통합

Ÿ Particle filter를 이용한sensor fusion: Rao-Blackwellized particle filter구현 중

 Where 1차 결과.jpg

 

 

5. PSN환경에서의 행위인식 기술 개발

- 다수의 RGB Depth 카메라 환경에서 4개 개인 행동에 대해 인식률 80%

Ø 4개 중 3개 개인 행동(자리에 앉기, 자리에서 잠자기, 손 인사 하기)에 대해 88.7%의 인식률 달성

Ÿ 3개 개인 행동/1개 단체 행동 à 4개 개인 행동으로 변경

Ÿ 1개 개인 행동 (걷기) 진행중

- 기술 개발을 위한 시나리오 수립 및 데이터 수집

Ø 과제 환경에서의 최적 비전 센서 구성 테스트 수행

Ÿ 1차년도 시나리오 상황에서 발생 하는 4개 개인 행동 정의 및 알고리즘 개발 및 평가를 위한 데이터베이스 구축

- 인식 센서 네트워크에서 추적된 휴먼 객체의 그룹 형성 및 분리 인식 기술 개발

- 인식 센서 네트워크에서 3차원 인체 볼륨 정보 추출 기술 개발

WHAT 1차 결과.jpg

 

 

6. 3W 기술 융합

- Multi-sensor calibration 기술 개발

Ø SN 센서 구성 및 구조에 따른 LevelCalibration 기법

Ÿ Camera Intrinsic Calibration

Ÿ Sensor Pose Calibration

Ÿ PSN description을 통한 센서별 transform 구성

- Symbol Data Structure 정의 및 Anchoring

Ø 동일 인물에 대한 3W Percepts, Symbols, Students Information을 그룹화

Ÿ 학생# = [이름(Who), 성별(Who), 행동(What),위치(Where, Who, What)]

- Task Interface 소프트웨어 구조 설계

Ø 서비스 어플리케이션과 HRI Engine을 상호작용 원하는 정보를 얻기 위한 3W-Task Control

Ÿ Event interface: 이벤트 등록 및 취소를 통해 확인이 필요한 이벤트를 정의하고, 정의된 이벤트가 발생시 사용자에게 알림

Ÿ Query interface:사용자가 시스템에 정보를 요청할 시 시스템에서 그 요구된 정보를 찾아서 알림

3W 1차 결과.jpg

 

 

7. HRI 평가용 DB 구축/처리 기술 개발

- HRI 평가용 DB 구축/처리 기술 개발

Ø 얼굴, 행동인식 DB 구축

Ÿ 얼굴:

ž [정면검출] 얼굴 DB(15,762), 배경 (15,133)

ž [측면검출] 얼굴 DB(60,615), 배경 (15,133)

ž [얼굴인식 성능평가]: Labeled Faces in the Wild 1,680(13,233)

ž [연령대] : 동양인(4,043), 10세단위로 6단계

ž [시선]: 분류된 각도 별로 200(직접 촬영)

Ÿ 행동인식:

ž 1차년도 시나리오 상황에서 발생하는 4개 행동 정의 및 알고리즘 개발 및 평가를 위한 데이터베이스 구축

 

 

8. Cloud 시스템 기반 구축

- Cloud 시스템 장비 구축

Ø PSN Cloud 시스템구성: 서버 및 mini PC 2

- Open-source cloud 시스템 구축

Ø Ubuntu OS 및 미들웨어 ros를 통한 시스템구축

Ÿ Open-source 기반으로 cloud computing이 가능하도록 구성

- Cloud 시스템 구축 작동 확인

Ø rosbag을 이용한 DB자원 원격 데이터처리 테스트

Ÿ 네트워크 내 컴퓨터들이 DB자원 동시이용 처리가능

cloud1차 결과.jpg

 

 

9. HRI 기술 국내의 표준화 연계

- HRI 관련 용어, 환경 요소 및 기본 정의 표준화

Ø 기본 용어 표준화 제안

Ø 기존 KOROS 표준개정 및 구체화

- HRI Distance 정의 및 성능평가 표준 초안

Ø HRI 거리 관련 표준화 제안

Ø Perception 표준 추진

- HRI 기본 기능 및 시험 평가 방법 정의 및 체계화

Ø HRI 컴포넌트 인터페이스 규격화

Ø HRI서비스 접속 컴포넌트 규격화

  

10.서비스 모델 구축

- 제한된 환경에서의 bottom-up 기반 교사보조로봇 서비스 모델 개발

Ø 서비스 모델 개발에 필요한 Component 정의

Ÿ <출석 체크[1차년도]> 불특정 다수 출석 체크: ‘몇 명 출석했나?’

1. Human detection [Where]

2. People count

3. Return number of people

Ÿ 특정 인물 출석 체크: ‘특정인물(:철수)이 출석했나?’

1. Dynamic Object DB Check [Task Interface]

2. Human localization [Where]

3. Human identification [Who]

 

 

 특정인물 출석체크 흐름도.jpg

특정인물 출석체크 흐름도

 

  

11. 1차년도 결과물 평가

- 출석체크자리안내 시스템 개발

Ø  3W컴포넌트/퓨전모듈/서비스모듈을 이용한 시스템구성

Ø  자리안내 로봇을 이용한 자리안내

Ÿ   Static 로봇 및 PSN을 이용한 자리안내 및 출석체크

Ÿ   학생이 입실하면, 휴먼인식이 시작, 로봇을 통해 자리안내 서비스

Ÿ   자리안내를 받은 휴먼은 자기 자리로 이동하며, 좌석내 위치시 출석체크가 됨. 인식 결과는 지속적으로 유지

출석체크 및 자리안내.jpg

자리안내 및 출석체크 시스템

 

- 1차년도 ChallengeTrouble Shootings

Ø  Multi-Sensor Junction

Ÿ   Multi-Sensor Pose calibration

Ÿ   Registration sensors to a base Link

Ø  WHERE Fusion

Ÿ   휴먼의 3차원 공간 유사도를 이용한 WHERE fusion

Ÿ   Handover based on the recognized human size

Ø  WHERE/WHO Fusion

Ÿ   Location based WHO/WHERE fusion

Ø  Cluttering multi-WHERE and short-term lost human

Ÿ   A Smart Buffer control & Lifetime in WHERE FUSION

Ø  Robust in Occlusion, long-term lost human

Ÿ   Lifetime Enhancement about WHO&WHERE

occlusion challenging.jpg

 

 

- 다중카메라기반 휴먼인식 3D 시뮬레이션

Ø  교실 환경 3D 모델링, PSN 모델링, 휴먼 모델링

Ø  HRI 컴포넌트 알고리즘 적용 

3D 시뮬레이션.jpg

 

Top