AI
[AI] Real-Time Interactive Generation ep.2
Stream Diffusion과 Touch Designer를 사용하여 실시간으로 이미지를 생성하는 테스트 모델을 제작했다.
🔗지난 포스트에 이어 Stream Diffusion을 활용한 실시간 이미지 생성 모델의 테스트를 진행했다.
지난 테스트에서는 대중적으로 사용되는 유화 스타일을 기반으로 테스트를 진행했다면, 이번에는 더 다양한 스타일의 모델을 실시간 생성에 사용할 수 있는지 테스트해 보았다. 이미지 추출 과정은 다음과 같다.
3D 스타일의 결과물을 얻기 위해 3D 형태를 학습한 모델을 선택하고, 그중 Stream Diffusion에 적용할 수 있는 모델들을 선별하였다. 먼저 공통적인 프롬프트를 입력하여 각 AI 모델의 이미지 생성 수준을 파악하고, 원하는 이미지를 구현할 수 있는 추가 프롬프트를 입력하여 생성하고자 하는 이미지에 더 가까워질 수 있도록 세부 요소를 조정하였다.
아래는 두 개의 AI 모델을 활용한 테스트 결과이다. 위쪽은 ‘발렌타인 데이’ 프롬프트를 적용한 결과이며, 아래쪽은 ‘크리스마스’ 프롬프트를 입력한 결과물이다.
AI 모델에 따라 서로 다른 스타일의 결과물이 생성되며, 동일한 모델을 사용하더라도 프롬프트의 주제에 따라 같은 스타일 속에서 다양한 이미지가 만들어지는 것을 확인할 수 있다.
AI 모델 ver1 – (상)발렌타인데이 (하)크리스마스
AI 모델 ver2 – (상)발렌타인데이 (하)크리스마스
2D 모델을 적용한 테스트
1️⃣ 모션 캡쳐 정교도: 손가락 등 세밀한 신체 구조의 싱크를 맞추는 과정 필요
2️⃣ 출력 해상도: 현재 Stream Diffusion 지원하는 디폴트 해상도가 최대 512 x 512px로 낮은 편, 업스케일링 방안 테스트 필요
3️⃣ 제한된 모델 선택지: 현재 Stream Diffusion에서 사용할 수 있는 모델 카테고리가 SD 한 종류로 선택지가 제한적인 편
4️⃣ 실시간 이미지 생성 완성도: 고정된 이미지를 변형하는 Stable Diffusion에 비해 다소 디테일이 떨어짐
Stream Diffusion이 출시된 지 2년이 채 되지 않아 여전히 일부 한계점이 존재하지만, 기술이 발전함에 따라 점차 개선될 것으로 기대된다.
이러한 한계점들이 개선되면 더 안정적으로 흥미로운 콘텐츠를 제작할 수 있는 도구가 되지 않을까?
하이로우 또한 이러한 변화에 맞춰 지속적으로 테스트를 진행하며 최적의 활용 방안을 모색하고자 한다 💪