Foi proposto por vários académicos e especialistas em política que o Conselho Científico Internacional - com os seus membros pluralistas das ciências sociais e naturais - estabeleça um processo para produzir e manter uma estrutura/lista de verificação anotada dos riscos, benefícios, ameaças e oportunidades associados a tecnologias digitais em rápida evolução, incluindo – mas não limitado a – IA. O objectivo da lista de verificação seria informar todas as partes interessadas – incluindo governos, negociadores comerciais, reguladores, sociedade civil e indústria – sobre potenciais cenários futuros, e enquadrar a forma como poderão considerar as oportunidades, benefícios, riscos e outras questões.
O ISC tem o prazer de apresentar este documento de discussão sobre a avaliação de tecnologias digitais e relacionadas em rápido desenvolvimento. A inteligência artificial, a biologia sintética e as tecnologias quânticas são excelentes exemplos de inovação, informada pela ciência, que emerge a um ritmo sem precedentes. Pode ser um desafio antecipar sistematicamente não só as suas aplicações, mas também as suas implicações.
Avaliar os aspectos sociais da IA generativa, tais como grandes modelos de linguagem, que previsivelmente representam a maior parte deste documento de discussão, é uma ponte necessária dentro do discurso atual – às vezes movido pelo pânico, outras vezes não suficientemente profundo no pensamento – e os cursos necessários de ação que podemos tomar. O ISC está convencido de que é necessário um quadro analítico entre a aceitação social de tais novas tecnologias e a sua possível regulamentação para facilitar as discussões multilaterais necessárias para tomar decisões informadas e responsáveis sobre como optimizar os benefícios sociais desta tecnologia rapidamente emergente.
O ISC está aberto a reações de nossa comunidade por meio deste documento de discussão, a fim de avaliar a melhor forma de continuar fazendo parte e contribuindo para o debate em torno da tecnologia.
Salvatore Arico, CEO
Um documento de discussão do ISC
Uma estrutura para avaliar tecnologias digitais e relacionadas em rápido desenvolvimento: IA, grandes modelos de linguagem e muito mais
Este documento de discussão fornece o esboço de uma estrutura inicial para informar as múltiplas discussões globais e nacionais que ocorrem relacionadas à IA.
Baixe o relatórioNovo! Leia a versão 2024 para formuladores de políticas com uma estrutura para download para sua organização.
Um guia para decisores políticos: Avaliando tecnologias em rápido desenvolvimento, incluindo IA, grandes modelos de linguagem e muito mais
Este documento de discussão fornece o esboço de uma estrutura inicial para informar as múltiplas discussões globais e nacionais que ocorrem relacionadas à IA.
Conteúdo
Introdução
As tecnologias emergentes rapidamente apresentam questões desafiadoras no que diz respeito à sua governação e potencial regulamentação. Os debates políticos e públicos sobre a inteligência artificial (IA) e a sua utilização colocaram estas questões em destaque. Embora princípios gerais para a IA tenham sido promulgados pela UNESCO, pela OCDE e outros, e existam discussões emergentes sobre a regulamentação global ou jurisdicional da tecnologia, existe uma lacuna ontológica entre o desenvolvimento de princípios de alto nível e a sua incorporação em regulamentos, políticas, abordagens de governança e administração. É aqui que a comunidade científica não governamental poderia ter um papel particular.
Foi proposto por vários académicos e especialistas em política que o Conselho Científico Internacional (ISC) – com os seus membros pluralistas das ciências sociais e naturais – estabeleça um processo para produzir e manter uma estrutura/lista de verificação anotada dos riscos, benefícios, ameaças e oportunidades associadas às tecnologias digitais em rápida evolução, incluindo – mas não se limitando a – IA. O objectivo da lista de verificação seria informar todas as partes interessadas – incluindo governos, negociadores comerciais, reguladores, sociedade civil e indústria – sobre potenciais cenários futuros, e enquadrar a forma como poderão considerar as oportunidades, benefícios, riscos e outras questões.
Os resultados não funcionariam como um órgão de avaliação, mas como um quadro analítico adaptativo e evolutivo que poderia sustentar quaisquer processos de avaliação e regulamentação que pudessem ser desenvolvidos pelas partes interessadas, incluindo os governos e o sistema multilateral. Qualquer quadro analítico deveria idealmente ser desenvolvido independentemente das reivindicações governamentais e da indústria, dados os seus interesses compreensíveis. Deve também ser o mais pluralista nas suas perspectivas, abrangendo assim todos os aspectos da tecnologia e suas implicações.
Este documento de discussão fornece o esboço de uma estrutura inicial para informar as múltiplas discussões globais e nacionais que ocorrem relacionadas à IA.
Antecedentes: Porquê um quadro analítico?
O rápido surgimento de uma tecnologia com a complexidade e as implicações da IA está a gerar muitas reivindicações de grandes benefícios. No entanto, também provoca receios de riscos significativos, desde o nível individual até ao nível geoestratégico. Grande parte da discussão tende a ocorrer nos extremos do espectro de pontos de vista, e é necessária uma abordagem mais pragmática. A tecnologia de IA continuará a evoluir e a história mostra que praticamente todas as tecnologias têm utilizações benéficas e prejudiciais. A questão é, portanto: como podemos alcançar resultados benéficos com esta tecnologia, reduzindo ao mesmo tempo o risco de consequências prejudiciais, algumas das quais poderão ser de magnitude existencial?
O futuro é sempre incerto, mas existem vozes credíveis e especializadas suficientes em relação à IA e à IA generativa para encorajar uma abordagem relativamente cautelosa. Além disso, é necessária uma abordagem sistémica, porque a IA é uma classe de tecnologias com ampla utilização e aplicação por vários tipos de utilizadores. Isto significa que todo o contexto deve ser tido em conta ao considerar as implicações da IA para os indivíduos, a vida social, a vida cívica, a vida social e no contexto global.
Ao contrário da maioria das tecnologias anteriores, as tecnologias digitais e relacionadas têm um período de tempo muito curto desde o desenvolvimento até ao lançamento, em grande parte impulsionadas pelos interesses das empresas ou agências de produção. A IA é rapidamente difundida; algumas propriedades só podem se tornar aparentes após o lançamento, e a tecnologia pode ter aplicações tanto malévolas quanto benevolentes. Dimensões de valores importantes influenciarão a forma como qualquer uso é percebido. Além disso, pode haver interesses geoestratégicos em jogo.
Até à data, a regulamentação de uma tecnologia virtual tem sido amplamente vista através das lentes dos “princípios” e da conformidade voluntária. Mais recentemente, porém, a discussão voltou-se para questões de governação nacional e multilateral, incluindo a utilização de instrumentos regulamentares e outros instrumentos políticos. As alegações feitas a favor ou contra a IA são muitas vezes hiperbólicas e – dada a natureza da tecnologia – difíceis de avaliar. Estabelecer um sistema eficaz de regulação tecnológica global ou nacional será um desafio, e serão necessários vários níveis de tomada de decisões informadas sobre os riscos ao longo da cadeia, do inventor ao produtor, ao utilizador, ao governo e ao sistema multilateral.
Embora princípios de alto nível tenham sido promulgados pela UNESCO, pela OCDE e pela Comissão Europeia, entre outros, e estejam em curso vários debates de alto nível sobre questões de potencial regulação, existe uma grande lacuna ontológica entre esses princípios e um quadro de governação ou regulamentar. Qual é a taxonomia de considerações que um regulador pode precisar considerar? Um enquadramento estritamente focado seria imprudente, dadas as amplas implicações destas tecnologias. Este potencial tem sido objecto de muitos comentários, tanto positivos como negativos.
O desenvolvimento de um quadro analítico
O ISC é a principal ONG global que integra ciências naturais e sociais. O seu alcance global e disciplinar significa que está bem posicionado para gerar aconselhamento independente e globalmente relevante para informar as escolhas complexas que temos pela frente, especialmente porque as vozes actuais nesta arena são em grande parte da indústria ou das grandes potências tecnológicas. Após extensa discussão nos últimos meses, incluindo a consideração de um processo de avaliação não governamental, o ISC concluiu que a sua contribuição mais útil seria produzir e manter uma estrutura analítica adaptativa que possa ser usada como base para o discurso e a tomada de decisões por parte dos todas as partes interessadas, inclusive durante qualquer processo de avaliação formal que surja.
Este quadro assumiria a forma de uma lista de verificação abrangente que poderia ser utilizada tanto por instituições governamentais como não governamentais. A estrutura identifica e explora o potencial de uma tecnologia como a IA e seus derivados através de uma perspectiva ampla que abrange o bem-estar humano e social, bem como factores externos, como a economia, a política, o ambiente e a segurança. Alguns aspectos da lista de verificação podem ser mais relevantes do que outros, dependendo do contexto, mas é mais provável que sejam tomadas melhores decisões se todos os domínios forem considerados. Este é o valor inerente de uma abordagem de lista de verificação.
A estrutura proposta é derivada de trabalhos e reflexões anteriores, incluindo o relatório de bem-estar digital da Rede Internacional de Aconselhamento Científico Governamental (INGSA).1 e o Quadro de Classificação de IA da OCDE2 apresentar a totalidade das potenciais oportunidades, riscos e impactos da IA. Estes produtos anteriores tinham uma intenção mais restrita devido ao seu tempo e contexto, sendo necessário um quadro abrangente que apresente toda a gama de questões, tanto a curto como a longo prazo.
Embora desenvolvido para consideração da IA, este quadro analítico poderia ser aplicado a qualquer tecnologia emergente rapidamente. As questões são amplamente agrupadas nas seguintes categorias para análise mais aprofundada:
Uma lista de considerações para cada uma das categorias acima está incluída juntamente com suas respectivas oportunidades e consequências. Alguns são relevantes para instâncias ou aplicações específicas de IA, enquanto outros são genéricos e independentes de plataforma ou uso. Nenhuma consideração aqui incluída deve ser tratada como prioridade e, como tal, todas devem ser examinadas.
Como essa estrutura poderia ser usada?
Esta estrutura pode ser utilizada, mas não se limitando, às seguintes maneiras:
A tabela a seguir é uma definição inicial das dimensões de uma estrutura analítica. Dependendo da tecnologia e da sua utilização, alguns componentes serão mais relevantes que outros. Os exemplos são fornecidos para ilustrar por que cada domínio pode ser importante; no contexto, a estrutura exigiria uma expansão contextualmente relevante. Também é importante distinguir entre o desenvolvimento de plataformas e as questões genéricas que podem surgir durante aplicações específicas.
Dimensões a considerar ao avaliar uma nova tecnologia
Rascunho inicial das dimensões que podem precisar ser consideradas ao avaliar uma nova tecnologia | ||
Dimensões de impacto | Critérios | Exemplos de como isso pode ser refletido na análise |
Indivíduo/próprio | Competência de IA dos usuários | Quão competentes e conscientes das propriedades do sistema são os prováveis usuários que irão interagir com o sistema? Como eles receberão as informações e cuidados relevantes do usuário? |
Partes interessadas impactadas | Quem são os principais intervenientes que serão impactados pelo sistema (ou seja, indivíduos, comunidades, trabalhadores vulneráveis, sectoriais, crianças, decisores políticos, profissionais)? | |
Opcionalidade | Os usuários têm a opção de cancelar o sistema; devem ser-lhes dadas oportunidades para desafiar ou corrigir o resultado? | |
Riscos para os direitos humanos e os valores democráticos | Poderá o sistema ter impacto (e em que direção) nos direitos humanos, incluindo, entre outros, privacidade, liberdade de expressão, justiça, risco de discriminação, etc.? | |
Efeitos potenciais no bem-estar das pessoas | O sistema poderia impactar (e em que direção) o bem-estar do usuário individual (isto é, qualidade do trabalho, educação, interações sociais, saúde mental, identidade, meio ambiente)? | |
Potencial de deslocamento de trabalho humano | Existe potencial para o sistema automatizar tarefas ou funções que estavam sendo executadas por humanos? Em caso afirmativo, quais são as consequências a jusante? | |
Potencial para manipulação de identidade, valores ou conhecimento | O sistema foi projetado ou potencialmente capaz de manipular a identidade ou os valores definidos do usuário, ou espalhar desinformação? Existe potencial para alegações de especialização falsas ou não verificáveis? | |
Medidas de autoestima | Existe pressão para retratar um eu idealizado? A automação poderia substituir um sentimento de realização pessoal? Existe pressão para competir com o sistema no local de trabalho? A reputação individual é mais difícil de proteger contra a desinformação? | |
Privacidade | Existem responsabilidades difusas para salvaguardar a privacidade e existem suposições sobre como os dados pessoais são utilizados? | |
Autonomia | Poderia o sistema afetar a autonomia humana ao gerar uma dependência excessiva da tecnologia por parte dos utilizadores finais? | |
Desenvolvimento Humano | Existe um impacto na aquisição de competências essenciais para o desenvolvimento humano, tais como funções executivas, competências interpessoais, mudanças no tempo de atenção que afetam a aprendizagem, o desenvolvimento da personalidade, preocupações de saúde mental, etc.? | |
Cuidados pessoais de saúde | Existem reivindicações de soluções personalizadas de cuidados de saúde? Em caso afirmativo, eles são validados de acordo com os padrões regulatórios? | |
A saúde mental | Existe risco de aumento da ansiedade, solidão ou outros problemas de saúde mental, ou a tecnologia pode mitigar tais impactos? | |
Evolução humana | A tecnologia poderia levar a mudanças na evolução humana? | |
Dimensões de impacto | Critérios | Descrição |
Sociedade/vida social | valores sociais | O sistema altera fundamentalmente a natureza da sociedade ou permite a normalização de ideias anteriormente consideradas anti-sociais, ou viola os valores sociais da cultura em que está a ser aplicado? |
Interação social | Existe um efeito no contato humano significativo, incluindo relacionamentos emocionais? | |
Equidade | É provável que a aplicação/tecnologia reduza ou aumente as desigualdades (ou seja, económicas, sociais, educativas, geográficas)? | |
Saúde da população | Existe potencial para o sistema avançar ou minar as intenções de saúde da população? | |
expressão cultural | É provável ou mais difícil resolver um aumento na apropriação cultural ou na discriminação? A confiança no sistema para a tomada de decisões potencialmente exclui ou marginaliza setores da sociedade? | |
Educação pública | Existe um efeito nas funções dos professores ou nas instituições de ensino? O sistema enfatiza ou reduz a desigualdade entre os estudantes e a exclusão digital? O valor intrínseco do conhecimento ou da compreensão crítica está avançado ou prejudicado? | |
Realidades distorcidas | Os métodos que usamos para discernir o que é verdadeiro ainda são aplicáveis? A percepção da realidade está comprometida? | |
Contexto econômico (comércio) | Setor industrial | Em que setor industrial o sistema está implantado (ou seja, finanças, agricultura, saúde, educação, defesa)? |
Modelo de negócio | Em que função empresarial o sistema é empregado e em que capacidade? Onde o sistema é usado (privado, público, sem fins lucrativos)? | |
Impacto em atividades críticas | Uma perturbação do funcionamento ou da atividade do sistema afetaria serviços essenciais ou infraestruturas críticas? | |
Respiração de implantação | Como o sistema é implantado (estritamente dentro de uma organização versus difundido nacionalmente/internacionalmente)? | |
Maturidade técnica (TRL) | Quão tecnicamente maduro é o sistema? | |
soberania tecnológica | A tecnologia impulsiona maior concentração da soberania tecnológica. | |
Redistribuição de renda e alavancas fiscais nacionais | Poderiam os papéis centrais do Estado soberano ser comprometidos (isto é, os bancos de reserva)? Será que a capacidade do Estado para satisfazer as expectativas e implicações (isto é, sociais, económicas, políticas) dos cidadãos será aumentada ou reduzida? | |
Dimensões de impacto | Critérios | Descrição |
vida cívica | Governança e serviço público | Os mecanismos de governação e os sistemas de governação global poderiam ser afetados positiva ou negativamente? |
Meios de comunicação | Será provável que o discurso público se torne mais ou menos polarizado e enraizado a nível da população? Haverá um efeito nos níveis de confiança nos meios de comunicação social? Os padrões de ética e integridade do jornalismo convencional serão ainda mais afetados? | |
Estado de Direito | Haverá um efeito na capacidade de identificar indivíduos ou organizações para responsabilizar (ou seja, que tipo de responsabilidade atribuir a um algoritmo para resultados adversos)? Isto cria uma perda de soberania (ou seja, ambiental, fiscal, política social, ética)? | |
Política e coesão social | Existe a possibilidade de opiniões políticas mais arraigadas e menos oportunidades para a construção de consenso? Existe a possibilidade de marginalizar ainda mais os grupos? Os estilos políticos adversários tornam-se mais ou menos prováveis? | |
Contexto geoestratégico/geopolítico | Vigilância de precisão | Os sistemas são treinados em dados comportamentais e biológicos individuais e, em caso afirmativo, poderiam ser usados para explorar indivíduos ou grupos? |
Colonização digital | Serão os intervenientes estatais ou não estatais capazes de aproveitar sistemas e dados para compreender e controlar as populações e ecossistemas de outros países, ou para minar o controlo jurisdicional? | |
Competição geopolítica | O sistema afecta a concorrência entre nações e plataformas tecnológicas para acesso a dados individuais e colectivos para fins económicos ou estratégicos? | |
Comércio e acordos comerciais | O sistema tem implicações para os acordos comerciais internacionais? | |
Mudança nas potências globais | Estará o estatuto dos Estados-nação como principais atores geopolíticos do mundo sob ameaça? Será que as empresas tecnológicas exercerão o poder antes reservado aos Estados-nação e estarão a tornar-se actores soberanos independentes? | |
Desinformação | É mais fácil para os intervenientes estatais e não estatais produzirem e disseminarem desinformação que tenha impacto na coesão social, na confiança e na democracia? | |
Ambiental | Consumo de energia e recursos (pegada de carbono) | O sistema e os requisitos aumentam a absorção do consumo de energia e recursos além dos ganhos de eficiência obtidos através da aplicação? |
Dimensões de impacto | Critérios | Descrição |
Dados e entrada | Detecção e coleta | Os dados e informações são coletados por humanos, sensores automatizados ou ambos? |
Proveniência dos dados | Quanto aos dados, estes são fornecidos, observados, sintéticos ou derivados? Existem proteções de marca d’água para confirmar a procedência? | |
Natureza dinâmica dos dados | Os dados são dinâmicos, estáticos, atualizados periodicamente ou em tempo real? | |
Direitos | Os dados são proprietários, públicos ou pessoais (ou seja, relacionados a indivíduos identificáveis)? | |
Identificabilidade dos dados pessoais | Se forem dados pessoais, são anonimizados ou pseudonimizados? | |
Estrutura dos dados | Os dados são estruturados, semiestruturados, complexos, estruturados ou não estruturados? | |
Formato dos dados | O formato dos dados e metadados é padronizado ou não padronizado? | |
Escala dos dados | Qual é a escala do conjunto de dados? | |
Adequação e qualidade dos dados | O conjunto de dados é adequado ao propósito? O tamanho da amostra é adequado? É representativo e completo o suficiente? Quão barulhentos são os dados? É propenso a erros? | |
Modelo | Disponibilidade de informações | Estão disponíveis informações sobre o modelo do sistema? |
Tipo de modelo de IA | O modelo é simbólico (regras geradas por humanos), estatístico (usa dados) ou híbrido? | |
Direitos associados ao modelo | O modelo é de código aberto ou proprietário, gerenciado por terceiros ou por terceiros? | |
Modelos únicos ou múltiplos | O sistema é composto por um modelo ou por vários modelos interligados? | |
Generativo ou discriminativo | O modelo é generativo, discriminativo ou ambos? | |
Construção de modelo | O sistema aprende com base em regras escritas por humanos, a partir de dados, através de aprendizagem supervisionada ou através de aprendizagem por reforço? | |
Evolução do modelo (desvio de IA) | O modelo evolui e/ou adquire habilidades ao interagir com os dados em campo? | |
Aprendizagem federada ou central | O modelo é treinado centralmente ou em vários servidores locais ou dispositivos de “borda”? | |
Desenvolvimento e manutenção | O modelo é universal, personalizável ou adaptado aos dados do ator de IA? | |
Determinístico ou probabilístico | O modelo é utilizado de forma determinística ou probabilística? | |
Transparência do modelo | As informações estão disponíveis aos usuários para permitir que eles entendam os resultados e limitações do modelo ou usem restrições? | |
Limitação computacional | Existem limitações computacionais para o sistema? Podemos prever saltos de capacidade ou leis de escala? | |
Dimensões de impacto | Critérios | Descrição |
Tarefa e saída | Tarefa(s) executada(s) pelo sistema | Quais tarefas o sistema executa (isto é, reconhecimento, detecção de eventos, previsão)? |
Combinando tarefas e ações | O sistema combina diversas tarefas e ações (isto é, sistemas de geração de conteúdo, sistemas autônomos, sistemas de controle)? | |
Nível de autonomia do sistema | Quão autônomas são as ações do sistema e qual o papel que os humanos desempenham? | |
Grau de envolvimento humano | Existe algum envolvimento humano para supervisionar a atividade global do sistema de IA e a capacidade de decidir quando e como utilizar o sistema em qualquer situação? | |
Aplicativo principal | O sistema pertence a uma área de aplicação central, como tecnologias de linguagem humana, visão computacional, automação e/ou otimização ou robótica? | |
Avaliação | Existem padrões ou métodos disponíveis para avaliar a saída do sistema ou lidar com propriedades emergentes imprevistas? |
Chave para fontes dos descritores
Texto simples:
Gluckman, P. e Allen, K. 2018. Compreender o bem-estar no contexto de rápidas transformações digitais e associadas. INGSA. https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
Texto em negrito:
OCDE. 2022. Quadro da OCDE para a classificação de sistemas de IA. Documentos da OCDE sobre Economia Digital, n.º 323, OCDE Publishing, Paris. https://oecd.ai/en/classification
Texto em itálico:
Novos descritores (de múltiplas fontes)
Um caminho a seguir
Dependendo da resposta a este documento de discussão, um grupo de trabalho de especialistas seria formado pelo ISC para desenvolver ou alterar a estrutura analítica acima, por meio da qual as partes interessadas poderiam analisar de forma abrangente quaisquer desenvolvimentos significativos, tanto de plataformas quanto de dimensões de uso. O grupo de trabalho seria disciplinarmente, geográfica e demograficamente diversificado, com conhecimentos que abrangem desde a avaliação tecnológica às políticas públicas, do desenvolvimento humano à sociologia e aos estudos futuros e tecnológicos.
Para participar deste documento de discussão, visite Council.science/publications/framework-digital-technologies
Agradecimentos
Muitas pessoas foram consultadas no desenvolvimento deste artigo, que foi elaborado por Sir Peter Gluckman, presidente do ISC e Hema Sridhar, ex-cientista-chefe do Ministério da Defesa e agora pesquisador sênior da Universidade de Auckland, Nova Zelândia.
Agradecemos especialmente a Lord Martin Rees, ex-presidente da Royal Society e cofundador do Centro para o Estudo de Riscos Existenciais da Universidade de Cambridge; Professor Shivaji Sondhi, Professor de Física, Universidade de Oxford; Professor K Vijay Raghavan, ex-conselheiro científico principal do Governo da Índia; Amandeep Singh Gill, Enviado do Secretário-Geral da ONU para Tecnologia; Dr. Seán Óh Éigeartaigh, Diretor Executivo, Centro para o Estudo de Riscos Existenciais, Universidade de Cambridge; Amanda-June Brawner, Conselheira Sênior de Políticas e Ian Wiggins, Diretor de Assuntos Internacionais, Royal Society UK; Dr. Jerome Duberry, Dra. Marie-Laure Salles, Diretora, Instituto de Pós-Graduação de Genebra; Sr. Chor Pharn Lee, Centro para Futuros Estratégicos, Gabinete do Primeiro Ministro, Singapura; Barend Mons e Dr. Simon Hodson, o Comitê de Dados (CoDATA); Prof Yuko Harayama, Japão; Professor Rémi Quirion, Presidente, INGSA; Dra. Claire Craig, Universidade de Oxford e Ex-Chefe de Prospectiva, Gabinete Governamental de Ciência; e Prof Yoshua Bengio, Conselho Consultivo Científico do Secretário Geral da ONU e da Universidade de Montreal. A abordagem da lista de verificação foi geralmente endossada e a oportunidade de qualquer ação do ISC foi enfatizada.
Imagem: adamichi no iStock