필름과 디지털에서 오디오비주얼 퍼포먼스에 관한 짧은 정리 / by EXiS

오준호

EXiS2012에서는 입 육유 Ip Yuk-yiu의 다이어리 필름 작품들을 포함해서 퍼포먼스 작품 <론데일 히스테리아The Lonedale Hysteria (2004-6)>, <싸이코(들): 라이브 리믹스Psycho(s): A Live Remix (2006)>, <우리는 천사를 원해 We Want Angel (2007)>등이 소개되었다. 뉴 미디어 아트와 실험영화가 제도적으로 분리된 국내 환경에서 브이제잉V-Jing이란 장르로 분류될 수 있는 유입육의 퍼포먼스 작품들이 실험영화제에 소개되었다는 것에 대해 다소 의외로 받아들이는 관객이 있을지도 모르겠다. 뉴 미디어 아트와 실험영화, 그리고 이에 대응하는 미술관과 영화관의 제도적 분리가 유입육의 퍼포먼스 작품과 같은 유형의확장영화, 라이브 시네마 등으로 불리는 오디오비주얼 퍼포먼스Audiovisual Performance 의 맥락을 이해하는데 장애가 되어왔기 때문이다. 따라서 이 글을 통해 입 육유의 퍼포먼스 작품에서 드러나는 파운드 푸티지와 즉흥의 결합이라는 특징을 필름과 디지털이라는 매체적인 관점에서 간단하게 설명하고자 한다.

오디오비주얼 퍼포먼스는 시각적 형식의 음악화musicalization와 관련 되어 있다. 여기서 음악화는 이미지를 소리로 변환하는 작업들에 국한된 용어가 아니라, 보다 근본적으로 영화의 시간성과 관련되어 있다. 영화 등장 이전의 시각예술은 공간예술로서 시간을 공간화하는 문제가 중요했다면, 영화는 시각예술이면서 연극, 무용, 음악과 같은 시간예술의 특징을 동시에 갖는 독특한 매체이기 때문에 시각적 형식을 시간속에 구조화하는 문제가 중요해졌다. 따라서 시간속에 음을 구조화하는 음악의 작곡 원리를 영화에 적용해보려는 시도가 영화사 초기 부터 자연스럽게 형성되었다.

이러한 유형의 작업을 음악과 시각 예술의 구조적 유비Structural Analogies between Music and Visual Arts에 기반한 작업이라고 할 수 있는데, 대표적으로 독일의 발터 루트만 Walter Ruttmann, 한스 리히터 Hans Richter, 바이킹 에겔링 Viking Eggeling 등이 이에 해당하는 작품들을 만들었다. 이들의 작업은 무성 영화 시기에 색, 형태, 움직임 등의 시각적 요소를 음색, 볼륨, 리듬 등의 청각적 요소와 비교해 시각적 형식의 음악성을 탐구한 것이라고 할 수 있다. 이와 같은 추상적인 요소들은 그 요소들을 다루는 매체가 필름이든, 비디오든, 디지털이든 간에 크게 영향을 받지 않는 개념적인 차원에 속한다. 이 구조적 유사성에 대한 개념적 탐구가 매체의 차이에도 불구하고 오디오 비주얼 퍼포먼스가 지속적으로 실험될 수 있는 기반이 된다.

오디오비주얼 퍼포먼스에는 개념적인 차원 이외에 이 개념을 적용할 물질적 토대로서 매체가 중요하다. 매체에 따라서 개념을 실천하는 방법뿐만 아니라 작업의 발상 자체에 변화가 오기 때문이다. 필름에서 옵티컬 사운드 트랙Optical soundtrack의 발명은 음악과 시각 형식의 구조적 유사성을 물질적으로 실증할 수 있는 계기를 만들어준다. 옵티컬 사운드 트랙의 발명은 빛과 소리의 전기적 등가성에 기반해 있는데, 그 기술적 원리는 다음과 같다. 마이크를 통해 소리가 전류로 변환되고, 전류가 방전등으로 보내져서 소리의 진동에 따른 빛의 깜빡거림으로 전환되면 이를 필름으로 촬영한다. 그리고 필름에 기록된 소리의 파형이 영사기의 광전지를 통해서 전류로 변환되어 스피커로 전달되고 소리가 재생된다. 이미지와 소리의 동기화가 가능해진 것이다. 빛과 소리의 전기적 등가성으로 인해 이미지와 소리가 필름 프레임의 동일면 위에 광학적으로 새겨진다는 물질적 조건이 가능해지며 이 조건이 필름에 새겨진 소리의 그래픽적 패턴을 인위적으로 생성할 수 있다는 발상을 자연스럽게 낳는다. 소리의 파형을 손으로 직접 그릴 수 있게 된 것이다.

Optical Soundtrack Recording & Reproduction

종이 위에 그래픽적 패턴을 손으로 직접 그리고 이를 필름으로 촬영해서 영사기로 재생하면 시각적 패턴과 소리의 매핑이 가능해진다. 즉 시각적 패턴을 봄과 동시에 그 패턴이 생성하는 소리를 들을 수 있게 된다. 영사기가 기록된 이미지를 단순히 재현하는 도구가 아니라, 작곡가가 그린 시각적 음표를 연주자의 행위을 통해 매개하지 않고 바로 재생하는 악기가 된 것이다. 이러한 작업을 대표하는 작가가 독일의 오스카 피싱거Oskar Fishinger와 루돌프 페닝거Rudolf Pfenninger 이다. 토마스 레빈Thomas Levin은 이들의 작업을 광학적-음향 표기법Opto-Acoustic Notation이라고 적절하게 명명하였다.

영사기가 단순히 재생 기구가 아닌 악기가 되었다면 영사하는 사람도 영사기를 기술적으로만 다루는 영사기사가 아닌 영사 예술가일 수 있다는 생각도 자연스럽게 생성된다. 이 생각에는 '즉흥'이라는 또 다른 중요한 요소가 추가되는데 즉흥이 추가되는 배경은 너무 다양해서 (존 케이지, 비디오 매체의 등장 등) 그 배경보다 필름에 적용되는 실제 작업 방식을 간단히 언급하면 다음과 같다. 필름의 선형성을 루핑Looping을 통한 순환성으로 대체해서 다양한 물리적 입력 (예를 들어 필름 퍼포레이션의 훼손, 필름 표면을 갈기, 필름에 화학 물질을 바르기 등)을 가하거나, 영사기 모터의 회전 속도를 변경하거나, 영사기의 등간격적인 반복 운동을 왜곡하는 등의 방법을 사용한다. 이를 통해서 필름은 이미지가 기록된 재현물이 아니라 시지각적 패턴을 실시간적으로 변형할 수 있는 원재료가 된다. 이것이 유입육의 세 개의 퍼포먼스 작업이 기존의 영화를 원재료로 사용하는 매체적 근거와 배경이다.

ALCHEMIE (Jürgen Reble & Thomas Köner)_Live Chemical Performance 1994

유입육의 작품에서처럼 기존의 영화를 원재료로 하는 경우, 작가에 따라서 필름의 물질성 이외에 원본 작품의 해석과 그 해석을 바탕으로 원본을 변형 및 재구성하는 전략을 중요하게 여길 수도 있다. 유입육의 작가노트를 보면, 세 작품의 전략은 다음과 같다.  <싸이코(들)>의 경우 히치콕과 구스 반 산트의 작품을 평행 편집함으로써 영화적 데자뷰를 구성하는 것, <론데일 히스테리아>의 경우 기술로 인해 야기되는 불안의 현대적 메타포를 구성하는 것,  <우리는 천사를 원해>의 경우 총격전에서 남성의 파괴적 영웅주의와 에로티시즘에 담긴 어두운 강박증을 그려내는 것이다. 이러한 전략이 퍼포먼스에서 성공적으로 구현되든 아니던 간에 작가가 이미지를 실시간으로 재조합하고 변형하는 전략이 존재하며, 이 전략을 읽어보는 것이 관객 입장에서 중요할 수도 있다 (개인적으로는 그 전략을 못 읽더라도 시지각적 현상을 즐기는 것만으로 충분하다고 본다). 작가 노트에 기대어 보면 유입육의 경우 재구성의 전략을 중시하는 것처럼 보이는데 그 전략을 디지털 매체를 통해서 실현하고자 한다.

디지털은 필름에서 루핑으로 작업하는 경우와 그 구조상 다르지 않다고 말할 수 있다. 영사기에 필름 루프를 구성하고 이 루프가 일정 시간 반복되면서 작가가 가하는 일련의 입력이 필름을 통해 스크린에 반영되는 것은 디지털에서 While 구문으로 구성된 무한 루프가 입력되는 데이터를 알고리즘을 통해 처리하는 것과 구조적으로 다르지 않기 때문이다. 그러나 입력될 수 있는 데이터의 종류가 다르고, 데이터를 처리하는 과정이 다르며 이에 따라 작가가 개입할 수 있는 여지와 방식이 달라지고 이러한 차이가 개별 작품에 질적으로 다른 차이들을 만들어낸다.

필름에서는 입력 될 수 있는 데이터가 필름의 물리적, 화학적 특성과 영사기의 기계적 특성에 의해 제한된다면, 디지털에서는 아날로그 디지털 변환기를 통해서 수용될 수 있는 모든 신호가 입력될 수 있고, 수치화된다는 측면에서 등가성을 갖는다. 빛과 소리의 경우, 필름에서는 그 전기적 등가성이 필름이라는 물질면 위에 새겨짐으로써 가능했지만 디지털의 경우에는 빛과 소리 이외에도 온도, 압력, 교통량 등의 모든 정보가 수치로서 등가성을 갖는다. 따라서 소리와 빛에 매핑할 수 있는 조합의 경우가 필름에 비교할 수 없이 증가하며, 그 처리와 반응 속도 또한 현저하게 빠르다. 그렇기 때문에 다양한 미디어 요소들을 한 화면에 띄워서 오브제로 삼을 수 있으며, 그 오브제들을 실시간으로 다양하게 매핑하고 변형하는 것이 가능해진다. 디지털에서는 필름이라는 원재료를 직접 물질적으로 다룰 수 있는 가능성은 사라지지만필름을 고집하는 작가들에게 이는 디지털로 대체할 수 없는 아주 중요한 가능성이다필름에 기록된 이미지와 소리는 수치화되어 데이터로 치환되며, 작가가 코드로 작성한 알고리즘을 통해 다양한 미디어 오브제와 매핑되고 정밀하게 제어할 수 있게 된다. 유입육의 퍼포먼스 작업에서 실시간으로 컷을 짧은 단위로 분절해서 교차 편집하거나 다수의 이미지 레이어를 쌓아올리는 것은 디지털이라는 매체의 특성이 반영된 결과이다.

따라서 필름과 디지털에서 오디오비주얼 퍼포먼스는 연속성과 비연속성을 동시에 갖고 있다. 음악과 시각 형식의 구조적 유사성이라는 개념적인 측면에서 시각 형식의 음악성을 탐구하는 기본 태도는 매체를 넘어서 유지되지만, 각 매체의 기술적 특성에 따라 그 개념을 실천하는 방법과 태도가 달라진다. 여기에서는 영화의 필름을 원재료로 삼는 경우에 국한해서 간단하게 정리해보았다.

*이 글은 2012년 EXiS의 집행위원이자 서강대 영상대학원 교수인 오준호가 당시 인디비주얼 프로그램에 소개되었던 작가에 대한 개괄적 소개를 위해 작성한 것을 부분적으로 재편집한 것이다.