[동아시아포럼]은 EAST ASIA FORUM에서 전하는 동아시아 정책 동향을 담았습니다. EAST ASIA FORUM은 오스트레일리아 국립대학교(Australia National University) 크로퍼드 공공정책대학(Crawford School of Public Policy) 산하의 공공정책과 관련된 정치, 경제, 비즈니스, 법률, 안보, 국제관계에 대한 연구·분석 플랫폼입니다.

저희 폴리시코리아(The Policy Korea)와 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

문자, 이미지, 음성 등의 주요 콘텐츠를 스스로 생산해 내는 생성형 AI 기술이 발전하면서 규제 관계자들의 근심이 깊어지고 있다. 특히 생성형 AI 기술이 개인 정보를 활용하거나 지적재산권을 침해하거나, 잘못된 정보를 제공하고 있는 점이 문제로 지적된다.

지난 8월 15일 중국 정부는 생성형 AI와 관련해 신규 법안을 마련했다. 법안은 생성형 AI의 다양한 적용 분야에 대응하는 것을 목표로 하고 있는 데다 국제적으로 합의가 없는 상태에서 국가 단위 최초로 나온 법안인 탓에 큰 주목을 받고 있다. 중국의 AI법안은 서비스를 제공하는 기업들이 모델 제작에 쓰는 데이터 및 모델의 결과물 양쪽에 대한 규제를 담고 있다.

중국, 세계 최초로 생성형 AI 규제 법안 마련

엄격한 규제를 골자로 한 법안임에도 불구하고 일각에서는 중국이 AI 규제를 완화하고 기업 친화적인 데이터 활용 제한을 담았다는 오해가 퍼진 상태다. 처음 공개됐던 내용에 비해 많은 부분이 삭제되거나 기술 친화적으로 바뀌었기 때문이다. 일례로 3개월 안에 불법적인 콘텐츠를 활용한 부분을 수정해야 한다는 강제 사항이나, 모델 훈련에 사용된 데이터와 결과물은 반드시 ‘진실되고 정확해야 한다’는 규정은 삭제됐다. 또한 이런 규정들이 공공을 위한 서비스에 적용되는 생성형 AI에만 적용된다고 명시하고 있어 기술 개발에 나서는 기업들이 강제 규정을 피할 수 있도록 해줬다.

지난 2020년부터 중국 정부는 기술 정책 관점에서 반독점 및 데이터 보안 강화를 위해 각종 정책 도구들을 활용해 왔다. 알리바바의 공동 설립자 중 한 사람인 마윈(Jack Ma) 회장이 기술 정책에 대한 불만을 표출하자 공적인 자리에서 자취를 감추도록 만든 것이 대표적이다. 그러나 중국 경제 사정이 악화되면서 기술 제한 규정들은 대부분 철폐되거나 기술 발전을 위해 양보하는 모습이다.

최근 중국 정부가 빠르게 규제 완화에 나서면서 향후 중국의 AI 규제도 직접 규제보다는 기술 발전을 돕는 차원에서 시장과 타협에 나설 것이라는 분석이 나온다. 특히 주요 의사 결정을 번복하지 않는 중국의 과거 정책 결정 특성상 시진핑 정권 내내 큰 AI 규제 변화는 없을 것이라는 전망에도 힘이 실리고 있다.

경기 악화, 기술 발전 저해 목소리에 AI 규정 완화 추세

이렇듯 중국 정부가 강력한 규제에서 한발 물러서는 행보를 보이자, 일각에서는 정부의 태도에 대한 비판의 목소리도 나온다. 실제로 2021년 예비 법안에 포함됐던 추천 알고리즘에 대한 엄격한 차별 보호 조항이 최종안에서 삭제됐는데, 관계자들은 중국 정부가 사실상 AI 기업들에게 개인 정보 활용의 길을 열어줬다고 평한다.

또 다른 일각에서는 생성형 AI에 대한 규제가 약화된 것은 사실이나, 예비 법안 중 민간의 반발을 사는 경우에 법안이 조정되는 일이 충분히 있을 수 있다는 점과 종합적인 규제 법안으로 영역이 확장된 점을 들어 중국 정부가 규정을 완화했다기보다 기술 발전에 적합한 법안을 도입했다고 봐야 한다는 주장도 나온다.

같은 맥락에서 ‘기술 붕괴’라는 딱지가 붙은 과거 중국 정부 기관들의 정책에 대한 논란도 재점검 대상이라는 의견도 있다. 기술 기업들에 대한 엄격한 심사 같은 조항들은 여전히 기술 발전의 장애물이라는 지적에 시장이 동의하지만 사건이 있을 때만 대응한다거나 실질적으로 집행되는 사례가 크게 줄었다는 점도 지적된다. 장기적으로 안정적인 AI규제 시스템을 확보하기 위해 당분간 조정 및 재조정이 있을 가능성은 있으나 기술 발전에 적절한 규정을 만들겠다는 당초의 방침은 바뀌지 않았다는 것이다.

규제 도입에 기술 기업들 고민도 깊어져

중국이 전 세계 최초로 AI 규제를 도입하면서 기술 기업들의 고민이 깊어진 점도 주목할 대상이다. 단기적으로는 기술 발전에 악영향을 끼칠 것이라는 전문가들의 분석과 더불어, 미국 반도체 수출 제한이 더해져 중국 AI 시장이 상당 기간 위축될 것이라는 전망이다. 현재 중국 기업들은 고성능 AI칩이 부족해 계산의 편법을 동원하는 방식으로 대안을 마련 중이다. 그간 정책 자금, 정부 보조금, 기술 접근성 강화 등의 각종 정책으로 AI 산업 성장을 지원하기는 했으나, AI 규제와 반도체 접근성 약화로 정책 지원의 성과에 대한 기대치는 크게 낮아진 상태다.

단기적으로 AI 산업 성장에 줄 잠재적 영향에도 불구하고 중국 AI 업계에서는 시장의 건전한 성장을 위해 AI 규제가 필요하다는 데는 공감대가 형성돼 있다. 규제 및 정책 도구들이 개인 정보 보호나 사회적 안정성 유지 같은 민감한 주제들에 대해 법적 장벽을 성공적으로 구축했다는 평이 나오기 때문이다. 예를 들어 AI로 생성한 콘텐츠에 대해서는 반드시 수위표(워터마크를 기록하도록 한 항목은 정보 왜곡 및 가짜 뉴스의 확대를 저지할 수 있을 것이라는 기대가 크다. 반면, 미국의 자유방임적인 AI 규제로 인해 잘못된 정보가 확산될 우려에 대한 지적과 함께 2024년 미국 대선에서 AI로 인한 가짜 뉴스가 확대될 우려도 제기된다.

The future of AI policy in China

Rapid developments in generative artificial intelligence (AI) — algorithms used to create new text, pictures, audio, or other types of content — are concerning regulators globally. These systems are often trained on personal and copyrighted data scraped from the internet, leading to privacy and intellectual property fears. They can also be used to generate harmful misinformation and disinformation.

On 15 August 2023, a new Chinese law designed to regulate generative AI came into force. This law, the latest in a series of regulations targeting different aspects of AI, is internationally groundbreaking as the first law that specifically targets generative AI. It introduces new restrictions for companies providing these services to consumers regarding both the training data used and the outputs produced.

Despite these new restrictions on companies, the evolution of the draft text, combined with changes in the wider tech policy context, could mistakenly be taken to indicate that China is starting to relax its drive towards strong regulatory oversight of AI.

Commentators have been quick to observe that the final generative AI regulation is significantly watered down compared to an earlier draft published for comment. Requirements to act within a three-month period to rectify illegal content and to ensure that all training data and outputs are ‘truthful and accurate’ were removed. It also clarified that these rules only apply to public-facing generative AI systems. A new provision specifying that development and innovation should be weighted equally with the security and governance of systems was also added.

Regarding the wider tech policy context, since late 2020, the Chinese government has utilised a variety of tools, including antitrust and data security enforcement. The government also undertook seemingly extra-legal measures that resulted in Jack Ma, co-founder of Alibaba, disappearing from the public eye after criticising regulators in what has commonly been referred to as a ‘tech crackdown’. But in line with the domestic economic troubles that China has been facing, the intensity of this crackdown appears to have eased and been replaced by an increased emphasis on domestic tech innovation.

While compelling, these pieces of evidence are red herrings for understanding the future of AI policy in China — a significant change in China’s approach to AI governance going forward is unlikely. It is correct that the generative AI regulations were watered down, yet it has not been uncommon for the text of draft AI regulations to change after a consultation period. For instance, explicit discrimination protections were removed from a draft AI regulation focused on recommender systems in 2021.

The weakening of the generative AI regulations was arguably more significant than for previous initiatives, yet ongoing work to ensure that AI is regulated effectively, including an early draft of what could potentially turn into a new, comprehensive AI law, is indicative of continued efforts to strengthen the country’s AI governance framework.

Similarly, the label ‘tech crackdown’ has been broadly applied to policies involving different government agencies, targets and justifications. While some policies — like the probes into technology companies — were largely reactionary and appear to have come to an end, establishing robust AI regulations has been a longer-term policy aspiration of the Chinese government that will likely continue. Together, these factors suggest that China is continuing to refine how it balances innovation and control in its approach to AI governance, rather than beginning a significant relaxation.

China’s pioneering efforts to introduce AI regulations and the legacy of reactive measures curtailing tech companies could cause a chilling effect that dampens industry outcomes in the short term. This challenge is exacerbated by the impacts of US semiconductor export controls on the Chinese AI sector, which have forced companies into workarounds as the most powerful chips become scarce. Though China has attempted to support its AI industry in several ways — such as through financing, providing access to compute and wider ministry reshuffles designed to promote domestic innovation — it is unclear how fruitful these initiatives will prove.

Notwithstanding the potential impact on China’s AI industry in the immediate term, introducing regulations designed to control AI is essential for addressing the risks from these technologies. These regulations and the practical tools they mandate mitigate harms to individuals and disruptions to social stability. For instance, requirements to watermark AI-generated content are essential for countering misinformation and disinformation.

By comparison, the laissez-faire approach taken by the United States leaves it ill-prepared to address these risks, something that could cause serious disruption in the forthcoming 2024 presidential election. AI governance tools also support China’s ambitions for global leadership in AI — for instance, through developing international standards that would provide them with a competitive edge.

China’s fundamental approach to AI governance is unlikely to shift significantly, even as it navigates ongoing economic turbulence. A firm regulatory approach may prove economically challenging in the short term but will be essential for mitigating harm to individuals, maintaining social stability and securing international regulatory leadership in the long term.

원문의 저자는 영국 옥스포드대학교(University of Oxford)의 옥스포트 인터넷 연구소에서 박사과정에 재학 중인 휴 로버트(Huw Robers)와 이탈리아 볼로냐대학교(University of Bologna)의 법학과(Department of Legal Studies) 박사과정에 재학 중인 엠미 하이네(Emmie Hine)입니다.