[해외 DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (1)

랜드마크를 캔버스 삼는 레픽 아나돌과 그의 스튜디오
인공지능과 함께 보고 듣고 상상해
'아카이브 드리밍' 통해 기억과 기억을 잇다

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

물감 대신 데이터, 붓 대신 알고리즘을 사용한 몽환적인 작품 세계

로스앤젤레스의 레픽 아나돌 스튜디오(RAS)는 번화한 도심을 촬영한 수백만 장의 사진부터 전 세계 빙하를 촬영한 종합적인 이미지와 비디오 데이터에 이르기까지 인간의 경험을 다양한 방식으로 표현하는 데이터를 활용하여 AI 기반 예술 제작을 실험해 왔다. 우리를 둘러싼 데이터를 주요 재료로 삼고 컴퓨터의 신경망을 협력자로 삼아 각 전시 현장의 고유한 생기를 표현하는 몰입형 환경을 조성하는 것이 RAS만의 특징이다.

기계가 개인과 집단의 기억을 학습하거나 처리할 수 있다면, 꿈을 꾸거나 상상할 수 있을까? 디지털 페인팅과 조각 기법을 실험하고 공공장소에서 데이터 기반 몰입형 프로젝션을 전시하면서 RAS는 시각, 청각, 지리, 문화, 제도 등 다양한 데이터를 사용하여 AI 프로그램과 머신러닝 알고리즘을 개발하기 시작했다.

야심 찬 시작을 알렸던 ‘아카이브 드리밍’

예술 창작에 대한 이 독특한 머신 인텔리전스 접근 방식을 향한 RAS 스튜디오의 여정은 2016년 프로젝트 ‘아카이브 드리밍’에서 시작되었다. 아나돌은 아티스트와 머신 인텔리전스(AMI)를 위한 Google의 아티스트 인 레지던스 프로그램에 초대받았다. 바로 이 프로그램을 통해 RAS 팀은 AI를 이해하고 활용 아이디어를 공유하며 아카이브 드리밍 제작에 많은 도움을 받았다.

대규모 작업을 완료하기 위해 RAS는 오스만 제국의 지배적인 금융 기관이었던 오스만 은행의 17~20세기 문서 170만 건에 대한 액세스를 제공한 이스탄불의 SALT 리서치 컬렉션과 협력했다. 머신러닝 알고리즘을 사용하여 데이터 간의 관계를 검색하고 분류하는 동시에 기록 보관소에 있는 다차원 데이터의 상호 작용을 몰입형 및 인터랙티브 미디어 설치 미술로 변환하는 작업을 진행했다. 그리고 2017년 이스탄불에서 선보인 아카이브 드리밍은 고차원 데이터의 상호 작용을 원형 공간에 투사하여 문서 간의 예기치 않은 상관관계를 통해 ‘꿈꾸고’, 우연한 연결과 중첩을 미적이고 신선한 시각적 효과로 가감 없이 표현하였다.

회전하는 터널에서 소용돌이치는 빛의 점, 밝게 번쩍이는 섬광, 빛의 소나기를 보여주는 영상을 통해 관객들은 오스만 은행의 흥망성쇠를 체험하며 수백만 개의 문서와 이미지를 탐색할 수 있었다. RAS는 머신 러닝 알고리즘이 발견한 문서 간의 유사성으로 결정된 이미지를 3차원 형태로 렌더링했다. 수천 명의 이스탄불 시민과 연구자들이 번화한 이스탄불 중심부에 설치된 이 설치물을 방문했고, Google의 AMI 프로그램을 이끄는 켄릭 맥도웰은 이 획기적인 프로젝트가 문화와 기술의 교차점에서 보여준 잠재력에 대해 찬사를 보냈다.

지난 6일 서울 여의도 63빌딩 동편 로비에 아나돌의 새 작품 ‘머신 시뮬레이션: 라이프 앤 드림스 – 희로애락’이 걸렸다. 라이프플러스가 국내에 아직 알려지지 않은 해외 아티스트나 유망한 신인 아티스트를 발굴해 조명하는 ‘아트(ART) 프로젝트’의 첫번째 작가로 레픽 아나돌을 선정했다. 거대한 스크린 속에서 몽환적인 이미지는 음악과 함께 한국의 복잡 미묘한 정서를 표현하고 있다. 한국의 감성을 담기 위해 행복을 느낄 때 나타나는 뇌파, 불꽃놀이, 한국 전통 음악, K팝 뮤직비디오 등 각종 오픈소스 데이터를 모아 영상을 제작했다. 아나돌과 그의 팀은 이 작품을 위해 총 6개월 동안 정성을 쏟았다. 그의 팀이 AI와 어떤 대화를 나눴는지 궁금증을 자극하는 전시다. DDP 라이트 ‘서울 해몽’으로 이미 한 차례 합을 맞춰본 그들이기에 한국에 대해 한 층 더 깊어졌을 이해가 어떻게 표현됐을지 기대된다.

[해외 DS] AI와 인간의 예술 콜라보, 관객 참여᛫몰입 강화한다 (2)로 이어집니다.

---

How AI-Human Collaborations in Art Deepen Audience Engagement

An essay by renowned artist Refik Anadol and Pelin Kivrak, a scholar at his studio, on AI and machine hallucinations. The Museum of Modern Art in N.Y. just acquired his installation.

The metaverse, with its immersive virtual reality environment, promises a dynamic canvas for the bold and imaginative. It is a new territory in which to explore our desire for collaborations between machine and human, whether by building a new virtual universe with its own intrinsic values or a parallel world where presence and perception have deeper meanings.

Using data as pigment
Refik Anadol Studio (RAS) in Los Angeles has been experimenting with hybrid forms of AI-based art-making, combining the creative possibilities of the metaverse with the studio’s decade-long vision of embedding new media arts in architecture. Anadol’s renowned body of works takes publicly available datasets which represent the human experience in various ways, ranging from millions of photographs of bustling urban centers to a comprehensive image and video dataset capturing the glaciers of the world.

The primary thread that runs throughout the studio’s visualizations of the unseen world is the use of data as pigment to create enriched immersive environments. Taking the data that surrounds us as the primary material and the neural network of a computer as a collaborator, the studio’s site-specific artificial intelligence (AI) data paintings and sculptures, live audiovisual performances, and environmental installations encourage us to rethink our engagement with the physical world, decentralized networks, collective synesthesia, and the quantifiable healing power of art.

Since 2012, RAS has been conducting interdisciplinary research on the interconnection of the human mind, architecture, and aesthetics in an effort to answer this question: If machines can learn or process individual and collective memories, can they also dream or hallucinate about them? After experimenting with digital paintings and sculptures of architectural data and exhibiting data-based immersive projections in public spaces, RAS started working with AI programs and machine learning algorithms using a diversity of data, be it visual, auditory, seismic, geographic, cultural, or institutional.

An ambitious beginning
The studio’s journey toward this unique machine intelligence approach to creating art began with the 2016 project titled Archive Dreaming. Refik Anadol was invited to join the Google Artist-in-Residence program for Artists and Machine Intelligence (AMI). There, engineers and thinkers in the field, including Google’s own Blaise Aguera y Arcas, Kenric McDowell and Mike Tyka, helped the entire RAS team to learn and use AI to create Archive Dreaming.

To complete the large-scale work, RAS collaborated with SALT Research collections in Istanbul, which provided access to 1.7 million documents from the 17th to 20th century archives of the Ottoman Bank, a dominant financial institution during the Ottoman Empire. We employed machine learning algorithms to search and sort relationships among these data points while translating interactions of the multidimensional data in the archives into an immersive and interactive media installation.

Archive Dreaming, presented in Istanbul in 2017 as part of The Uses of Art: Final Exhibition, supported by the Culture Programme of the European Union, was user-driven. Yet when idle, the installation ‘dreamt’ of unexpected correlations between documents, yielding generative, aesthetic, and fresh visuals representing those serendipitous links and overlaps.

Refik Anadol Studios translated the resulting high-dimensional data and interactions into an architectural immersive space, projected onto a circular area in 7680 × 1200 resolution. The installation – at times displaying swirling points of light in a rotating tunnel, or flashes of brightness with shapes that shimmer and disappear, or cloud clusters and showers of illumination − allowed the audience to browse the millions of documents and images within the archive. Curious art lovers could peak inside this universe of data and zoom in on any file at their pleasure. After its debut at SALT Galata, an extension of the project was exhibited at the Ars Electronica Festival 2017 in the section titled Artificial Intelligence.

RAS rendered these images as three-dimensional forms determined by the similarities between documents found by machine learning algorithms. Thousands of Istanbulites and researchers from around the world visited the installation in the heart of bustling Istanbul. Kenric McDowell, who leads Google’s AMI program, described the generative potential that this groundbreaking project offered at the intersection of culture and technology: “The experience is visually and architecturally impressive, but what’s most exciting about it is the way it reframes the archive as a multidimensional space of images connected by features, that is to say, visual relatedness. The piece also uses the machine learning model to hallucinate new images that could exist in the archive but don’t. To my knowledge this is the first time a museum archive has become generative in this way.”