[해외 DS] EU의 AI 규제 벌써 1년… 산업계에 어떤 변화 가져왔는가

AI Act(AI 법안), AI 산업계에 큰 파장 일으켜 전문가들, AI 규제는 기업 측면에서도 새로운 기회 열어준다고 조언 AI기업들 규제로 인해 전반적으로 변화되는 산업에 재빨리 적응해야한다

pabii research

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (MDSA R&D)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

사진= AI 비즈니스

해당 글은 BDB Pitmans 변호사 및 컴퓨터 법학회 회원의 의견임을 밝힙니다.

유럽 연합은 작년 AI Act를 실질적으로 도입하면서 전 세계 대부분의 업계에 표준을 설정한 바 있습니다. 이에 대한 한 가지 분명한 사실은 AI Act(인공지능 법안)가 전 세계 AI산업계에 큰 파장을 일으키고 있다는 것입니다.

AI

AI Act는 AI에 대한 위험을 4단계로 분류합니다. 위험 수준으로는 ▲수용할 수 없는 위험(사용 금지) ▲고위험(중요 인프라 및 취업・교육 등에 관한 시스템 포함) ▲제한된 위험(자신을 AI로 인식하는 챗봇과 같은 ‘특정 투명성 의무’가 있는 시스템 포함) ▲최소 위험 또는 무위험(AI지원 게임 및 필터 기술 등 대다수 시스템)등이 있습니다.

수용할 수 없는 AI 시스템은 인간 행동을 조작하거나 왜곡할 가능성이 있는 AI 시스템 을 의미합니다. 예컨대 여기에는 위험한 행동을 조장하는 음성 비서 지원 서비스와 한 사람의 사회적 지위를 점수로 평가하는 ‘사회적 점수 시스템’ 이 포함됩니다. 여기에는 위험한 행동을 조장하는 음성 비서 지원 장난감과 정부의 ‘사회적 점수’를 허용하는 시스템이 포함됩니다.

고위험 AI 시스템의 예로는 안전 개입 시스템(예: AI 로봇 보조 수술), 중요 인프라(예:운송) 및 고용 툴(예: 채용 절차를 위한 이력서 정렬 소프트웨어)에 사용되는 기술이 있습니다.

제한적 및 최소 위험 AI 시스템에는 AI 챗봇, AI 지원 비디오 및 컴퓨터 게임, 스팸 메일 필터, 재고 관리 시스템, 고객 및 시장 세분화 시스템, 시민의 권리 또는 안전에 대한 위험이 적거나 아예 없는 기타 시스템이 포함됩니다.

여기서 수용할 수 없는 AI 시스템은 EU에서 더 이상 허용되지 않습니다. 고위험  AI 시스템은 사용자에 대한 정보 투명성 보장, 사이버 보안에 대한 강력한 조치 유지, 위험 시스템 관리 구현 등의 규제 적용을 받습니다.

최소 위험 AI 시스템은 이미지, 오디오, 비디오 컨텐츠가 AI에 생성되거나 조작된 경우 사용자에게 고지하는 식의 투명성 의무의 형태로, 기술에 대한 규제가 상대적으로 더 약하게 적용됩니다.

예를 들어, 선출된 공무원이나 정치 후보자가 실제로 한 적이 없는 공개 성명을 발표하는 AI 생성 비디오의 경우, 컨텐츠 수용자에게 해당 위조에 대한 사실을 반드시 고지해야 합니다. 아울러 투명성 의무는 모든 위험 종류에 적용됩니다.

GDPR과 마찬가지로 현재 AI Act 초안에 따르면 해당 규제 위반 시 막대한 벌금을 부과 받습니다. 가장 심각한 위반의 경우 벌금은 최대 3천만 유로 또는 기업의 이전 회계 연도 기준으로 전 세계 연간 매출의 최대 6% 중 더 높은 금액에 해당하는 벌금이 부과됩니다.

한편 다른 요구 사항이나 의무를 준수하지 않는 기업의 경우 최대 2,000만 유로 또는 기업의 이전 회계 연도 기준 전 세계 연간 매출의 최대 4%중 더 높은 금액에 해당하는 벌금이 부과됩니다.

인증 기관 및 국가 기관에 불완전하거나 잘못된 정보를 제공한 경우 벌금은 최대 1,000만 유로 또는 기업의 이전 회계 연도 기준 전 세계 연간 매출의 최대 2% 중 더 높은 금액에 해당하는 벌금이 부과됩니다.

세계에 AI Act 미치는 영향

AI Act는 치외법권이 적용되므로 EU 외부에 기반을 두고 있지만 EU 내에 결과 및 서비스를 제공하는 AI 시스템 공급자에도 해당 법안이 동일하게 적용됩니다.

영국에서도 AI Act의 입법 및 규제에 대한 유사한 논의가 있었습니다. 즉, 영국에서 현재 논의되고 있는 AI 관련 법안과 AI act의 목표가 비슷하기 때문에 영국 당국과 규제 기관은 어떤 법적 및 규제 프레임워크가 필요한지 결정할 때 EU규정을 적극적으로 참고하고 있는 것으로 알려졌습니다. 최근에 유럽 의회 내의 모든 정치 단체는 아래를 포함해서 상당 수의 제안된 수정안을 제출한 바 있습니다.

(1) ‘AI’ 자체에 대한 정의 변경

(2) 규제 범위 검토

(3) 메타버스, 블록체인 통화 및 NFT분야의 AI 적용 범위 확대 가능성에 대한 고려

(4) 잘못된 정보 및 불법 컨텐츠를 확대 생산하는 감정 인식 및 추천 시스템 금지

혁신 주도 

전문가들은 AI Act의 규제가 곧 기업들이 상업적 측면에서의 손해로 직결되는 것이 아니라고 말했습니다. 그들은 현재 규정 초안의 방향이 여러 영역에서 AI 시스템의 혁신을 주도할 수 있는 잠재력을 가지고 있다고 보고 있습니다.

이사회와 투자자들은 ESG(환경, 사회, 거버넌스) 정책 및 목표를 달성하는데 큰 영향을 미칠 수 있는 AI의 잠재력에 긍정적인 반응을 보이고 있습니다. 또한 투자자들은 AI의 도움을 받아 해당 기업의 ESG 관련 위험과 기회에 대한 자료 분석 과정에서 인위적인 개입을 최소화해 객관적이고 정확하게 기업 가치를 분석할 수 있습니다.

또한 환경 전문가들은 AI 시스템이 기후 변화에 대처하기 위한 캠페인을 통해 탄소 배출량을 정확하게 평가하고 줄일 수 있다고 보고 있습니다. 특히 작년 Glasgow에서 열린 유엔 기회 변화 회의(COP26) 이후, Net Zero(지구 기후에 변화를 초래하는 온실가스 배출과 흡수가 균형에 이른 상태)의 목표를 달성하기 위해 AI를 활용하여 에너지, 물, 운송 및 농업 시스템을 모니터링하고 평가하기 위한 시도가 증가하고 있는 것으로 밝혀졌습니다.

위 두 영역에 대한 가장 대표적인 예는 전기 자동차 충전입니다. 현재 기술 섹터에서는 기계학습 알고리즘으로 통근 패턴과 업무 습관을 기계 학습 알고리즘으로 분석하여 전기 자동차 충전소를 효율적으로 배치하여 영업 이익의 최대화를 꾀하고 있습니다.

전문가들은 AI Act가 기업의 상업적 이익을 규제하는 것이 아닌, AI가 대중에게 가할 수 있는 잠재적 위험에 전적으로 초점을 맞추고 있다는 점을 이해해야 한다고 강조했습니다.

아울러 전문가들은 기업이  AI 위험 관리 시스템을 더 빨리 구축할수록 AI 기술을 통해 장기적으로 성공할 수 있을 것이라고 예측했습니다.


An opinion piece from a BDB Pitmans solicitor and member of the Society for Computers and Law

As the public debate about the pros and cons of artificial intelligence (AI) rages on, one thing is clear – it is a global industry crying out for regulation. With the introduction last year of the Artificial Intelligence Act (AI Act), the European Union may well be the one to set the standards in an industry that has been mostly left to its own devices, no pun intended.

From the General Data Protection Regulation (GDPR) to the Digital Services Act (DSA), we are now all too familiar with the EU’s legislation in the tech sector. Therefore it is of no surprise that the EU is now seeking to get ahead and develop a global standard for digital players.

The AI Act

The AI Act proposes a risk-based approach to evaluating AI systems by placing them into three categories: unacceptable-risk systems, high-risk systems, and limited or minimal-risk systems.

Unacceptable-risk AI systems are prohibited by the draft regulations, which includes AI systems or applications that have the potential to manipulate, distort human behavior or both. This includes voice assistant-enabled toys that encourage dangerous behavior as well as systems that allow ‘social scoring’ by governments.

Examples of high-risk AI systems include technology used in safety components of products (e.g. AI application in robot-assisted surgery), critical infrastructures (e.g. transport), and employment tools (e.g. resume-sorting software for recruitment procedures).

Limited and minimal-risk AI systems include AI chatbots, AI-enabled video and computer games, spam filters, inventory management systems, customer and market segmentation systems, and other AI systems that represent a minimal or zero risk to citizens’ rights or safety.

Systems in the unacceptable-risk category would no longer be permitted in the EU. High-risk systems would be subject to the largest set of requirements, such as ensuring transparency of information to users, maintaining robust cybersecurity arrangements, and implementing a risk management system.

Minimal risk systems would have significantly fewer requirements, primarily in the form of transparency obligations, such as informing users that they are interacting with a machine, and notifying users if image, audio, or video content has been generated or manipulated by AI to falsely represent its content.

An example of this could be an AI-generated video showing an elected official or political candidate making a public statement, which in fact, was never made. The requirement to create such awareness will apply to systems in all risk categories.

As with the GDPR, the draft regulations propose potentially hefty fines for non-compliance. For the most serious breaches, fines can reach up to 30 million euros or up to 6% of global annual revenue for the preceding financial year for companies, whichever is higher.

For those utilizing AI systems that fail to comply with any other requirement or obligation, fines could be up to 20 million euros or up to 4% of worldwide annual revenue for the preceding financial year for companies, whichever is higher.

Meanwhile fines for supplying incorrect, incomplete, or false information to notified bodies and national authorities can reach up to 10 million euros or up to 2% of worldwide annual revenue for the preceding financial year for companies, whichever is higher.

AI Act impact is global

The proposed regulations would have extraterritorial reach, so would also apply to providers of AI systems that are based outside the EU but provide an output within the Union.

In the U.K., there has been similar debate about the legislation and regulation of AI. As the EU’s objectives are similar to those being discussed in the U.K., governments and regulators will inevitably look to the EU regulations when deciding what legislative or regulatory framework is required, and what it may look like.

Recently, all political groups within the European Parliament submitted a substantial number of proposed amendments including

  • changes to the definition of AI itself;

  • reviewing the extent of the sanctions regime;

  • the potential to widen the scope so as to capture AI applications in the metaverse, blockchain-backed currencies and NFTs; and

  • extending the potential list of prohibited practices to include emotion recognition and recommender systems that systematically suggest disinformation and illegal content.

Following contributions made by the IMCO and LIBE Committees earlier this year, the EU Commission has plenty to consider, including its own powers to investigate and enforce the AI Act across multiple member states.

Driving innovation

Companies will be keenly monitoring these developments. However the current direction of the draft regulations has the potential to drive innovation of AI systems in a number of areas.

Boardrooms and investors are becoming keen on the potential for AI to inform, monitor and influence ESG (environmental, social and governance) policy and goals. AI would allow investors to collect and analyse huge volumes of information when accounting for ESG risks and opportunities.

With the campaign to tackle climate change, AI systems also have the potential to collect and process the volume of data needed to assess and reduce carbon emissions. Particularly since last year’s U.N. Climate Change Conference in Glasgow (COP26), there has been a marked increase in the calls to utilize AI systems to monitor and assess energy, water, transport and agricultural systems, in order to try and achieve the goal of net zero.

A good example of the above two areas converging is electric vehicle (EV) charging. There is now a race in the tech sector to identify work habits and commuting patterns by turning to machine learning algorithms in order to develop and offer commercially viable EV charging installations for employees and collate data that shows how and when power is drawn down from the grid. It is clear that AI is making great strides and is firmly here to stay.

It is important to note that the AI Act currently focuses almost exclusively on the risks AI poses to the public, as opposed to the risks to organizations and their commercial interests. That said, it does allow organizations to take this framework and create their own risk-based strategies when developing and implementing AI systems.

The sooner companies begin establishing their own AI risk-management programs, the greater their potential will be for long-term success with this critical technology.

Similar Posts