DTS 클리어 다이얼로그란?

 

 

안녕하세요. XPERI 블로그 가족 여러분!

 

오늘은 DTS에서 올해 9월 초 발표한 DTS 클리어 다이얼로그 기술에 대해 알아보려 합니다.

 

DTS 클리어 다이얼로그는 TV를 볼 때 대화소리가 잘 안 들려 볼륨을 계속 조절해야 하는 문제를 해결하기 위한 솔루션인데요. 이런 기술이 왜 필요하고 어떻게 사용될 수 있을까요?

 

TV에서 영화를 보거나 드라마를 볼 때 종종 배경음악이 너무 크게 나와 볼륨을 줄여야 할 때가 많습니다. 또는 배경음악에 비해 대화소리는 너무 작아서 볼륨을 다시 높여야 하기도 하죠. 특히 아이들이 잠든 밤에는 훨씬 자주 볼륨을 만져야 하는 경우가 생기기도 합니다.

 

많은 재생 기기에서 다이나믹 레인지 압축 알고리즘을 사용해 음량을 관리합니다. 이러한 알고리즘은 오디오 믹스를 분석하고 볼륨이 너무 커지면 자동으로 볼륨을 낮춥니다. 대부분의 경우 효과적이지만 콘텐츠의 다이나믹에 맞게 잘 조정되지 않은 경우 청각적인 '펌핑' 효과를 유발할 수 있습니다.

 

일부 TV에는 아래 "음성 바나나" 그림에 표시된 것처럼 일반적으로 음성이 발생하는 주파수(보통 125Hz~5000Hz)를 높이는 "대화 향상" 모드도 있습니다.

 

 

출처 : Wikipedia

 

 

음성 이퀄라이제이션 필터는 이러한 주요 주파수를 강화하고 연령에 따른 청력 손실을 보상하여 음성 선명도를 향상시킬 수 있습니다. 그러나 이 방법은 음성 이외의 요소에도 영향을 주어, 특히 음악과 효과가 들어간 사운드 트랙에 불균형을 초래할 수 있습니다. 대화와 배경 요소 모두에 사용되는 주파수를 높이면 대화소리가 배경 음악으로 가려지는 문제가 악화될 수 있습니다.

 

또 다른 솔루션은 아마존의 Dialogue Boost와 같이 가정환경에서 시청할 수 있도록 특수한 믹스를 만드는 것입니다. 이 기능은 현재는 한정된 프로그램에만 영어로 제공됩니다. 다른 방송사와 스트리밍 서비스도 유사한 솔루션을 고려하고 있습니다.

 

그러나 이러한 믹스의 한 가지 한계는 콘텐츠 제공자가 개별 시청자의 청취 환경, 선호도 또는 청각 능력에 대한 정보가 부족하다는 것입니다. 따라서 일반적인 대중을 위해 대화를 향상시키는 대략적인 조정만 가능한 것이죠. 콘텐츠 제공업체가 별도의 대화, 음악 및 사운드 효과 트랙을 저장해 배포한다면 개인 청취환경에 맞는, 이상적인 사운드트랙을 제공할 수 있을 텐데요. 이는 저장공간이나 저작권의 복잡성을 고려할 때 어려운 작업입니다.

 

머신러닝 기술의 발전에서 잠재적인 솔루션을 찾아볼 수 있습니다. 기존 디지털 신호 처리(DSP) 알고리즘과 달리 머신러닝 모델은 음향 특징 패턴을 식별해 오디오를 "언믹스"하는 방법을 학습할 수 있습니다. 명확한 예시들을 모델로 제시해 훈련하면 오디오 트랙을 대화, 음악 및 효과(DME)로 분리할 수 있습니다. 그러나 수많은 사운드트랙과 그에 해당하는 DME을 교육하는 것은 저작권 문제와 가용성의 제약 등으로 비현실적입니다.

 

Xperi와 DTS는 이러한 한계를 극복하기 위해 다양한 데이터 세트로 훈련된 최적화된 머신러닝 네트워크를 사용해 다양한 시나리오를 일반화시킵니다. 또한 일반적인 사운드트랙 요소 샘플을 사용한 오디오 라이브러리를 사용해 트레이닝 데이터를 만듭니다. 이를 통해 저작권 문제를 최소화하면서 광범위한 오디오 예제들을 학습할 수 있습니다. 이렇게 학습된 모델은 실제 콘텐츠를 사용한 테스트를 거쳐 문제를 해결하고, 추가 데이터 및 시나리오를 통해 지속적으로 개선 과정을 거칩니다.

 

DTS 클리어 다이얼로그는 TV 나 영화, IPTV 및 사용자 생성 콘텐츠 등 모든 콘텐츠의 대화 명료도를 향상시킬 수 있습니다.

 

전통적인 DSP 기술을 적용하여 다이내믹 레인지를 줄여 시끄러운 효과음을 조용하게 만들고 작은 대화소리를 선명하게 합니다. 또한 머신러닝 기술을 사용해 대화소리를 사운드트랙에서 분리하고 개별 처리하여 컨텐츠 제작자의 원래 의도를 보존하는 동시에 사용자의 취향에 맞춰 선명도를 높일 수 있습니다.

 

 

 

 

DTS 클리어 다이얼로그에 대한 자세한 사항은

아래 링크에서 확인해주세요!