AI
[AI] Real-Time Interactive Generation ep.1
Stream Diffusion과 Touch Designer를 사용하여 실시간으로 이미지를 생성하는 테스트 모델을 제작했다.
What is STREAM DIFFUSION?
Stream Diffusion은 실시간 스트리밍 데이터를 활용하여 이미지 및 비디오를 생성하는 AI 모델이다. 기존의 AI 모델들이 주로 오프라인 데이터 처리 방식에 의존하는 반면, Stream Diffusion은 지속적으로 유입되는 데이터를 기반으로 생성 과정을 최적화하여 더욱 효율적인 실시간 생성이 가능하다.기존의 생성형 AI 모델과 동일하게 프롬프트를 통하여 원하는 결과값을 명령할 수 있다. 이번 테스트에서는 다음과 같은 프롬프트를 입력했다.
” A woman in front of a buiding, oil painting, Edward Hopper style. “
Stream Diffusion + Touch Designer + ControlNet을 활용한 테스트 화면
하지만 Stream Diffusion이 실시간으로 유입되는 데이터를 기반으로 이미지를 생성하기 때문에, 입력 데이터의 품질이 낮거나 환경이 불완전하면 이미지 생성 과정에서 오류가 발생할 수 있다. 이러한 문제를 해결하기 위해 ControlNet과 같은 추가적인 툴을 활용하면 이미지 생성 과정에서 조건 제어를 강화하여 원하는 결과물을 보다 정확하게 얻을 수 있다.
(좌) ControlNet 없이 Stream Diffusion을 사용했을 때 손가락이나 어깨를 정확하게 인식하지 못함
(우) ControlNet을 사용해서 인물의 형태와 자세를 더욱 정확하게 반영. Pose, Hand Tracking 등 활용
Stream Diffusion은 웹캠 뿐만 아니라 센서 및 모션 캡처 장치, 3D 애니메이션, 텍스트, 오디오 등 다양한 방식으로 데이터를 입력할 수 있다.
다음은 터치 스크린의 데이터를 활용한 테스트 모델이다. 체험자가 터치 스크린을 통해 그림을 그리면 궤적에 따라 이미지가 생성되는 방식이다. 마찬가지로 어떠한 프롬프트를 입력하느냐에 따라 생성되는 이미지의 무드를 자유롭게 바꿀 수 있다. 다음은 아래 테스트에서 입력한 프롬프트이다.
다음은 터치 스크린의 데이터를 활용한 테스트 모델이다. 체험자가 터치 스크린을 통해 그림을 그리면 궤적에 따라 이미지가 생성되는 방식이다. 마찬가지로 어떠한 프롬프트를 입력하느냐에 따라 생성되는 이미지의 무드를 자유롭게 바꿀 수 있다. 다음은 아래 테스트에서 입력한 프롬프트이다.
” flowers, 3d, hyper realistic, fluid “
How to use?
Stream Diffusion은 실시간 데이터 기반의 생성 기술이기 때문에 방문객과 즉각적인 상호작용이 가능하다는 점에서 강점이 있다.
실시간 이미지 생성 기술을 활용한 프로젝트
위와 같이 체험자의 모습을 감지해, 화풍을 반영하여 직접 미술 작품 속 인물이 되어보는 체험, 혹은 움직임을 실시간으로 분석하여 AI가 생성하는 나만의 그림을 감상하는 등 기존 미디어 콘텐츠와 차별화된 경험을 제공할 수 있다.