O guia do ISC oferece uma estrutura abrangente projetada para preencher a lacuna entre princípios de alto nível e políticas práticas e viáveis. Responde à necessidade urgente de um entendimento comum das oportunidades e dos riscos apresentados pelas tecnologias emergentes. Este é um documento essencial para aqueles que trabalham no nexo político na nossa era digital em rápida mudança.
A estrutura explora o potencial da IA e dos seus derivados através de uma perspectiva abrangente, abrangendo o bem-estar humano e social, juntamente com factores externos como a economia, a política, o ambiente e a segurança. Alguns aspectos da lista de verificação podem ser mais relevantes do que outros, dependendo do contexto, mas decisões melhores parecem mais prováveis se todos os domínios forem considerados, mesmo que alguns possam ser rapidamente identificados como irrelevantes em casos específicos. Este é o valor inerente de uma abordagem de lista de verificação.
“Numa era marcada pela rápida inovação tecnológica e por desafios globais complexos, a estrutura do ISC para uma análise abrangente e multidimensional dos impactos potenciais capacita os líderes a tomarem decisões informadas e responsáveis. Garante que, à medida que avançamos tecnologicamente, o fazemos com uma consideração cuidadosa das implicações éticas, sociais e económicas”.
Peter Gluckman, presidente do ISC
Embora princípios de alto nível tenham sido promulgados pela UNESCO, pela OCDE, pela Comissão Europeia e pela ONU, entre outros, e continuem vários debates sobre questões de potencial governação, regulação, ética e segurança, existe uma grande lacuna entre tais princípios e uma governação ou quadro regulamentar. O ISC aborda esta necessidade através do seu novo guia para decisores políticos.
Este guia para os decisores políticos não se destina a proibir um regime regulamentar, mas sim a sugerir um quadro analítico adaptativo e evolutivo que possa sustentar quaisquer processos de avaliação e regulamentares que possam ser desenvolvidos pelas partes interessadas, incluindo os governos e o sistema multilateral.
“A estrutura é um passo crítico na conversa global sobre IA, pois fornece uma base a partir da qual podemos construir um consenso sobre as implicações da tecnologia para agora e para o futuro”.
Hema Sridhar, Ex-Conselheiro Científico Chefe, Ministério da Defesa, Nova Zelândia e agora Pesquisador Sênior, Universidade de Auckland, Nova Zelândia.
Desde Outubro de 2023, têm havido várias iniciativas nacionais e multilaterais significativas com maior consideração pela ética e segurança da IA. As implicações da IA na integridade de alguns dos nossos sistemas críticos, incluindo o financeiro, governamental, jurídico e educacional, bem como diferentes sistemas de conhecimento (incluindo o conhecimento científico e indígena), são cada vez mais preocupantes. O quadro reflecte ainda mais estes aspectos.
O feedback recebido dos membros do ISC e da comunidade internacional de formulação de políticas até o momento está refletido na versão revisada da estrutura analítica, que agora é lançada como um guia para os formuladores de políticas.
Um guia para decisores políticos: Avaliando tecnologias em rápido desenvolvimento, incluindo IA, grandes modelos de linguagem e muito mais
Este documento de discussão fornece o esboço de uma estrutura inicial para informar as múltiplas discussões globais e nacionais que ocorrem relacionadas à IA.
Baixe a estrutura para usar em sua organização
Aqui fornecemos a ferramenta de estrutura como uma planilha Excel editável para uso em sua organização. Se você preferir um formato de código aberto, entre em contato [email protegido].
Introdução
As tecnologias emergentes rapidamente apresentam questões desafiadoras no que diz respeito à sua utilização, governação e potencial regulamentação. Os debates políticos e públicos em curso sobre a inteligência artificial (IA) e a sua utilização colocaram estas questões em destaque. Princípios gerais para a IA foram anunciados pela UNESCO, pela OCDE, pela ONU e outros, incluindo a Declaração de Bletchley do Reino Unido, e existem tentativas jurisdicionais emergentes de regulamentação de aspectos da tecnologia através, por exemplo, da IA da União Europeia (UE). Lei ou a recente Ordem Executiva de IA dos Estados Unidos.
Embora a utilização da IA seja amplamente discutida nestes e noutros fóruns, através de divisões geopolíticas e em países de todos os níveis de rendimento, continua a existir uma lacuna ontológica entre o desenvolvimento de princípios de alto nível e a sua incorporação na prática através de medidas regulamentares, políticas, de governação. ou abordagens de administração. O caminho do princípio à prática está mal definido, mas dada a natureza e a cadência do desenvolvimento e aplicação da IA, a variedade de interesses envolvidos e a gama de aplicações possíveis, qualquer abordagem não pode ser excessivamente genérica ou prescritiva.
Por estas razões, a comunidade científica não governamental continua a desempenhar um papel particular. O Conselho Científico Internacional (ISC) – com os seus membros pluralistas das ciências sociais e naturais – publicou um documento de discussão em Outubro de 2023 apresentando um quadro analítico preliminar que considerou os riscos, benefícios, ameaças e oportunidades associados à tecnologia digital em rápida evolução. Embora tenha sido desenvolvido para considerar a IA, é inerentemente independente da tecnologia e pode ser aplicado a uma série de tecnologias emergentes e disruptivas, como a biologia sintética e a quântica. Esse documento de discussão solicitou feedback de acadêmicos e decisores políticos. O feedback esmagador tornou necessária a realização de tal análise e representou uma abordagem valiosa para abordar tecnologias emergentes como a IA.
O objectivo do quadro é fornecer uma ferramenta para informar todas as partes interessadas – incluindo governos, negociadores comerciais, reguladores, sociedade civil e indústria – sobre a evolução destas tecnologias para ajudá-los a enquadrar a forma como podem considerar as implicações, positivas ou negativas, de a tecnologia em si e, mais especificamente, a sua aplicação específica. Esta estrutura analítica foi desenvolvida independentemente dos interesses do governo e da indústria. É extremamente pluralista nas suas perspectivas, abrangendo todos os aspectos da tecnologia e suas implicações com base em extensas consultas e feedback.
Este documento de discussão para os decisores políticos não se destina a proibir um regime regulamentar, mas sim a sugerir um quadro analítico adaptativo e evolutivo que possa sustentar quaisquer processos de avaliação e regulamentares que possam ser desenvolvidos pelas partes interessadas, incluindo os governos e o sistema multilateral.
À medida que os decisores a nível mundial e nacional consideram configurações e alavancas políticas adequadas para equilibrar os riscos e recompensas de uma nova tecnologia como a IA, o quadro analítico pretende ser uma ferramenta complementar para garantir que todo o conjunto de potenciais implicações seja adequadamente refletido.
Antecedentes: porquê um quadro analítico?
A rápida emergência de tecnologias com a complexidade e as implicações da IA está a gerar muitas reivindicações de grandes benefícios. No entanto, também provoca receios de riscos significativos, desde o nível individual até ao nível geoestratégico.1 Grande parte da discussão até à data tem sido considerada num sentido binário, uma vez que as opiniões expressas publicamente tendem a ocorrer nos extremos do espectro. As alegações feitas a favor ou contra a IA são muitas vezes hiperbólicas e – dada a natureza da tecnologia – difíceis de avaliar.
É necessária uma abordagem mais pragmática onde a hipérbole é substituída por avaliações calibradas e mais granulares. A tecnologia de IA continuará a evoluir e a história mostra que praticamente todas as tecnologias têm utilizações benéficas e prejudiciais. A questão é, portanto: como podemos alcançar os resultados benéficos desta tecnologia, reduzindo ao mesmo tempo o risco de consequências prejudiciais, algumas das quais poderão ser de magnitude existencial?
O futuro é sempre incerto, mas existem vozes credíveis e especializadas suficientes em relação à IA e à IA generativa para encorajar uma abordagem relativamente cautelosa. Além disso, é necessária uma abordagem sistémica, uma vez que a IA é uma classe de tecnologias com ampla utilização e aplicação por vários tipos de utilizadores. Isto significa que todo o contexto deve ser considerado ao considerar as implicações de qualquer utilização da IA para os indivíduos, a vida social, a vida cívica, a vida social e no contexto global.
Ao contrário da maioria das outras tecnologias, para as tecnologias digitais e relacionadas, o tempo entre o desenvolvimento, o lançamento e a aplicação é extremamente curto, em grande parte determinado pelos interesses das empresas ou agências de produção. Pela sua própria natureza – e dado que se baseia na espinha dorsal digital – a IA terá aplicações que se difundirão rapidamente, como já foi visto com o desenvolvimento de grandes modelos de linguagem. Como resultado, algumas propriedades só podem tornar-se aparentes após a libertação, o que significa que existe o risco de consequências imprevistas, tanto malévolas como benevolentes.
Dimensões importantes de valores sociais, especialmente em diferentes regiões e culturas, influenciarão a forma como qualquer uso é percebido e aceito. Além disso, os interesses geoestratégicos já dominam a discussão, com interesses soberanos e multilaterais a cruzarem-se continuamente, impulsionando assim a concorrência e a divisão.
Até à data, grande parte da regulamentação de uma tecnologia virtual tem sido amplamente vista através das lentes dos “princípios” e da conformidade voluntária, embora com a Lei da UE sobre IA2 e semelhantes, estamos a assistir a uma mudança para regulamentos mais aplicáveis, mas um tanto restritos. Estabelecer uma governação tecnológica e/ou um sistema regulamentar eficaz a nível global ou nacional continua a ser um desafio e não existe uma solução óbvia. Serão necessários vários níveis de tomada de decisões informadas sobre os riscos ao longo da cadeia, do inventor ao produtor, ao utilizador, ao governo e ao sistema multilateral.
Embora princípios de alto nível tenham sido promulgados pela UNESCO, pela OCDE, pela Comissão Europeia e pela ONU, entre outros, e continuem a decorrer vários debates de alto nível sobre questões de governação, regulação, ética e segurança potenciais, existe um grande fosso entre esses princípios. princípios e um quadro de governação ou regulamentar. Isto precisa ser endereçado.
Como ponto de partida, o ISC considera desenvolver uma taxonomia de considerações que qualquer desenvolvedor, regulador, consultor político, consumidor ou tomador de decisão possa consultar. Dadas as amplas implicações destas tecnologias, tal taxonomia deve considerar a totalidade das implicações, em vez de um enquadramento estritamente focado. A fragmentação global está a aumentar devido à influência dos interesses geoestratégicos na tomada de decisões e, dada a urgência desta tecnologia, é essencial que vozes independentes e neutras defendam persistentemente uma abordagem unificada e inclusiva.
1) Tempos do Hindustão. 2023. O G20 deve criar um painel internacional sobre a mudança tecnológica.
https://www.hindustantimes.com/opinion/g20-must-set-up-an-international-panel-on-technological-change-101679237287848.html
2) A Lei da Inteligência Artificial da UE. 2023. https://artificialintelligenceact.eu
O desenvolvimento de um quadro analítico
O ISC é a principal organização não governamental global que integra ciências naturais e sociais. O seu alcance global e disciplinar significa que está bem colocado para gerar aconselhamento independente e globalmente relevante para informar as escolhas complexas que temos pela frente, especialmente porque as vozes actuais nesta arena são em grande parte da indústria ou das comunidades políticas e políticas das principais potências tecnológicas.
Após um período de extensa discussão, que incluiu a consideração de um processo de avaliação não governamental, o ISC concluiu que sua contribuição mais útil seria produzir uma estrutura analítica adaptativa que pudesse ser usada como base para o discurso e a tomada de decisões por todos. partes interessadas, inclusive durante quaisquer processos formais de avaliação que surjam.
O quadro analítico preliminar, que foi lançado para discussão e feedback em Outubro de 2023, assumiu a forma de uma lista de verificação abrangente concebida para ser utilizada por instituições governamentais e não governamentais. O quadro identificou e explorou o potencial de uma tecnologia como a IA e os seus derivados através de uma perspectiva ampla que abrange o bem-estar humano e social, bem como factores externos como a economia, a política, o ambiente e a segurança. Alguns aspectos da lista de verificação podem ser mais relevantes do que outros, dependendo do contexto, mas decisões melhores parecem mais prováveis se todos os domínios forem considerados, mesmo que alguns possam ser rapidamente identificados como irrelevantes em casos específicos. Este é o valor inerente de uma abordagem de lista de verificação.
O quadro preliminar foi derivado de trabalhos e reflexões anteriores, incluindo o relatório da Rede Internacional de Aconselhamento Científico Governamental (INGSA) sobre o bem-estar digital3 e o Quadro da OCDE para a Classificação de Sistemas de IA,4 para apresentar a totalidade das potenciais oportunidades, riscos e impactos de IA. Esses produtos anteriores eram mais restritos em sua intenção devido ao seu tempo e contexto; é necessário um quadro abrangente que apresente toda a gama de questões, tanto a curto como a longo prazo.
Desde o seu lançamento, o documento de discussão recebeu apoio significativo de muitos especialistas e decisores políticos. Muitos endossaram especificamente a recomendação de desenvolver um quadro adaptativo que permita a consideração deliberada e proactiva dos riscos e implicações da tecnologia e, ao fazê-lo, considere sempre a totalidade das dimensões, desde o indivíduo até à sociedade e aos sistemas.
Uma observação importante feita através do feedback foi o reconhecimento de que várias das implicações consideradas no quadro são inerentemente multifacetadas e estendem-se por múltiplas categorias. Por exemplo, a desinformação poderia ser considerada tanto do ponto de vista individual como geoestratégico; portanto, as consequências seriam amplas.
Também foi sugerida a opção de incluir estudos de caso ou exemplares para testar o framework. Isto poderia ser usado para desenvolver diretrizes para demonstrar como poderia ser usado na prática em diferentes contextos. No entanto, isto seria um empreendimento significativo e pode limitar a forma como diferentes grupos percebem a utilização deste quadro. A melhor forma de a realizar é que os decisores políticos trabalhem com especialistas em jurisdições ou contextos específicos.
Desde Outubro de 2023, têm havido várias iniciativas nacionais e multilaterais significativas com maior consideração pela ética e segurança da IA. As implicações da IA na integridade de alguns dos nossos sistemas críticos, incluindo o financeiro, governamental, jurídico e educacional, bem como diferentes sistemas de conhecimento (incluindo o conhecimento científico e indígena), são cada vez mais preocupantes. O quadro revisto reflecte ainda mais estes aspectos.
O feedback recebido até à data reflecte-se na versão revista do quadro analítico, que é agora divulgado como um guia para os decisores políticos.
Embora o quadro seja apresentado no contexto da IA e tecnologias relacionadas, é imediatamente transferível para considerações de outras tecnologias emergentes, como a biologia quântica e sintética.
3) Gluckman, P. e Allen, K. 2018. Compreender o bem-estar no contexto de rápidas transformações digitais e associadas. INGSA.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
4) OCDE. 2022. Quadro da OCDE para a classificação dos sistemas de IA. Documentos da OCDE sobre Economia Digital, nº 323,#. Paris, Publicação da OCDE.
https://oecd.ai/en/classificatio
O quadro
A tabela a seguir apresenta as dimensões de uma suposta estrutura analítica. São fornecidos exemplos para ilustrar por que cada domínio pode ser importante; no contexto, a estrutura exigiria uma expansão contextualmente relevante. Também é importante distinguir entre as questões genéricas que surgem durante o desenvolvimento da plataforma e aquelas que podem surgir durante aplicações específicas. Nenhuma consideração aqui incluída deve ser tratada como prioridade e, como tal, todas devem ser examinadas.
Os problemas são amplamente agrupados nas seguintes categorias, conforme descrito abaixo:
A tabela detalha as dimensões que podem precisar ser consideradas ao avaliar uma nova tecnologia.
🔴INGSA. 2018. Compreender o bem-estar no contexto das rápidas transformações digitais e associadas.
https://ingsa.org/wp-content/uploads/2023/01/INGSA-Digital-Wellbeing-Sept18.pdf
🟢 Novos descritores (obtidos por meio de extensa consulta, feedback e revisão da literatura)
🟡 Quadro da OCDE para a Classificação de Sistemas de IA: uma ferramenta para políticas de IA eficazes.
https://oecd.ai/en/classification
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟡Competência de IA dos usuários | Quão competentes e conscientes das propriedades do sistema são os prováveis usuários que irão interagir com o sistema? Como eles receberão as informações e cuidados relevantes do usuário? |
| 🟡 Parte interessada impactada | Quem são as principais partes interessadas que serão impactadas pelo sistema (indivíduos, comunidades, vulneráveis, trabalhadores sectoriais, crianças, decisores políticos, profissionais, etc.)? |
| 🟡 Opcionalidade | Os usuários têm a oportunidade de optar por sair do sistema ou têm a oportunidade de contestar ou corrigir o resultado? |
| 🟡Riscos aos direitos humanos e aos valores democráticos | O sistema tem um impacto fundamental nos direitos humanos, incluindo, entre outros, a privacidade, a liberdade de expressão, a justiça, a não discriminação, etc.? |
| 🟡Efeitos potenciais no bem-estar das pessoas | As áreas de impacto do sistema estão relacionadas com o bem-estar do utilizador individual (qualidade do trabalho, educação, interações sociais, saúde mental, identidade, ambiente, etc.)? |
| 🟡 Potencial de deslocamento de trabalho humano | Existe potencial para o sistema automatizar tarefas ou funções que estavam sendo executadas por humanos? Em caso afirmativo, quais são as consequências a jusante? |
| 🟡 Potencial para manipulação de identidade, valores ou conhecimento | O sistema foi projetado ou potencialmente capaz de manipular a identidade ou definir valores ou espalhar desinformação? |
| 🔴 Oportunidades de autoexpressão e autoatualização | Existe potencial para artifício e dúvida? Existe um potencial para informações falsas ou alegações inverificáveis de experiência? |
| 🔴 Medidas de autoestima | Existe pressão para retratar o eu idealizado? A automação poderia substituir um sentido de realização pessoal? Existe pressão para competir com o sistema no ambiente de trabalho? É mais difícil proteger a reputação individual contra a desinformação? |
| 🔴 Privacidade | Existem responsabilidades difusas para salvaguardar a privacidade e há alguma suposições feitas sobre como os dados pessoais são usados? |
| 🔴 Autonomia | Poderia o sistema de IA afetar a autonomia humana, gerando dependência excessiva por usuários finais? |
| 🔴 Desenvolvimento humano | Existe um impacto na aquisição de competências essenciais para o desenvolvimento humano, tais como funções executivas ou habilidades interpessoais, ou mudanças no tempo de atenção que afetam aprendizagem, desenvolvimento da personalidade, preocupações com a saúde mental, etc.? |
| 🔴 Cuidados de saúde pessoal | Existem alegações de autodiagnóstico ou soluções personalizadas de cuidados de saúde? Se for assim, eles são validados de acordo com os padrões regulatórios? |
| 🔴 Saúde mental | Existe risco de aumento da ansiedade, solidão ou outros problemas de saúde mental, ou a tecnologia pode melhorar esses impactos? |
| 🟢 Evolução humana | Os grandes modelos de linguagem e a inteligência artificial geral poderiam mudar o curso da evolução humana? |
| 🟢 Interação homem-máquina | O uso poderia levar à desqualificação e à dependência dos indivíduos ao longo do tempo? São há impactos na interação humana? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🔴 Valores sociais | O sistema altera fundamentalmente a natureza da sociedade, permite a normalização de ideias anteriormente consideradas anti-sociais ou viola os valores sociais da cultura em que está a ser aplicado? |
| 🔴 Interações sociais | Existe um efeito no contato humano significativo, incluindo relacionamentos emocionais? |
| 🔴 Saúde da população | Existe potencial para o sistema avançar ou minar as intenções de saúde da população? |
| 🔴 Expressão cultural | É provável ou mais difícil resolver um aumento na apropriação cultural ou na discriminação? A confiança no sistema de tomada de decisões exclui ou marginaliza os laços seccionais culturalmente relevantes da sociedade? |
| 🔴 Educação pública | Existe um efeito nas funções dos professores ou nas instituições de ensino? O sistema enfatiza ou reduz a exclusão digital e a desigualdade entre os estudantes? O valor intrínseco do conhecimento ou da compreensão crítica está avançado ou prejudicado? |
| 🟢 Realidades distorcidas | Os métodos usados para discernir o que é verdadeiro ainda são aplicáveis? A percepção da realidade está comprometida? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟡 Setor industrial | Em que setor industrial o sistema está implantado (finanças, agricultura, saúde, educação, defesa, etc.)? |
| 🟡 Modelo de negócio | Em que função empresarial o sistema é empregado e em que capacidade? Onde o sistema é usado (privado, público, sem fins lucrativos)? |
| 🟡 Impactos em atividades críticas | Uma perturbação do funcionamento ou da atividade do sistema afetaria serviços essenciais ou infraestruturas críticas? |
| 🟡Amplitude de implantação | Como o sistema é implantado (uso restrito dentro da unidade versus uso generalizado nacional/internacional)? |
| 🟡 Maturidade técnica | Quão tecnicamente maduro é o sistema? |
| 🟢 Interoperabilidade | Será provável que existam silos, a nível nacional ou global, que inibam o livre comércio e tenham impacto na cooperação com os parceiros? |
| 🟢 Soberania tecnológica | Estará o desejo de soberania tecnológica a impulsionar comportamentos, incluindo o controlo sobre toda a cadeia de abastecimento de IA? |
| 🔴 Redistribuição de renda e alavancas fiscais nacionais | Poderiam os papéis centrais do Estado soberano ser comprometidos (por exemplo, bancos de reserva)? Será que a capacidade do Estado para satisfazer as expectativas e implicações (sociais, económicas, políticas, etc.) dos cidadãos será aumentada ou reduzida? |
| 🟢 Divisão digital (divisão de IA) | As desigualdades digitais existentes são exacerbadas ou são criadas novas? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🔴 Governança e serviço público | Os mecanismos de governação e o sistema de governação global poderão ser afetados positiva ou negativamente? |
| 🔴 Mídia de notícias | Será provável que o discurso público se torne polarizado e enraizado a nível da população? Haverá um efeito nos níveis de confiança no Quarto Poder? Os padrões convencionais de ética e integridade dos jornalistas serão ainda mais afetados? |
| 🔴 Estado de direito | Haverá um efeito na capacidade de identificar indivíduos ou organizações para responsabilizar (por exemplo, que tipo de responsabilidade atribuir a um algoritmo para resultados adversos)? Cria-se uma perda de soberania (ambiental, fiscal, política social, ética, etc.)? |
| 🔴Política e coesão social | Existe a possibilidade de opiniões políticas mais arraigadas e menos oportunidades para a construção de consenso? Existe a possibilidade de marginalizar ainda mais os grupos? Os estilos políticos adversários tornam-se mais ou menos prováveis? |
| 🟢 Licença social | Existem preocupações com a privacidade, questões de confiança e preocupações morais que precisam ser consideradas para a aceitação do uso pelas partes interessadas? |
| 🟢 Conhecimento indígena | O conhecimento e os dados indígenas poderiam ser corrompidos ou apropriados indevidamente? Existem medidas adequadas para proteger contra declarações falsas, desinformação e exploração? |
| 🟢 Sistema científico | A integridade acadêmica e de pesquisa está comprometida? Existe uma perda de confiança na ciência? Existem possibilidades de uso indevido, uso excessivo ou abuso? Qual é a consequência da prática da ciência? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟢 Vigilância de precisão | Os sistemas são treinados em dados comportamentais e biológicos individuais e poderiam ser usados para explorar indivíduos ou grupos? |
| 🟢 Competição digital | Poderiam os intervenientes estatais ou não estatais (por exemplo, grandes empresas tecnológicas) aproveitar sistemas e dados para compreender e controlar as populações e ecossistemas de outros países, ou minar o controlo jurisdicional? |
| 🟢 Competição geopolítica | Poderia o sistema estimular a concorrência entre as nações sobre o aproveitamento de dados individuais e de grupo para interesses económicos, médicos e de segurança? |
| 🟢 Mudança nas potências globais | Estará o estatuto dos Estados-nação como principais atores geopolíticos do mundo sob ameaça? As empresas de tecnologia exercem o poder antes reservado aos Estados-nação e tornaram-se atores independentes e soberanos (ordem mundial tecnopolar emergente)? |
| 🟢 Desinformação | O sistema facilitaria a produção e disseminação de desinformação por parte de intervenientes estatais e não estatais, com impacto na coesão social, na confiança e na democracia? |
| 🟢 Aplicativos de dupla utilização | Existe a possibilidade tanto de aplicação militar como de uso civil? |
| 🟢 Fragmentação da ordem global | Poderiam desenvolver-se silos ou agrupamentos de regulamentação e conformidade que dificultassem a cooperação, conduzissem a inconsistências na aplicação e criassem espaço para conflitos? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟢 Consumo de energia e recursos (pegada de carbono) | O sistema e os requisitos aumentam a absorção do consumo de energia e recursos além dos ganhos de eficiência obtidos através da aplicação? |
| 🟢Fonte de energia | De onde vem a energia para o sistema (combustíveis renováveis vs. combustíveis fósseis, etc.)? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟡 Direção e arrecadação | Os dados e informações são coletados por humanos, sensores automatizados ou ambos? |
| 🟡 Proveniência dos dados | Os dados e contribuições de especialistas são fornecidos, observados, sintéticos ou derivados? Existem proteções de marca d’água para confirmar a procedência? |
| 🟡 Natureza dinâmica dos dados | Os dados são dinâmicos, estáticos, dinâmicos atualizados de tempos em tempos ou em tempo real? |
| 🟡 Direitos | Os dados são proprietários, públicos ou pessoais (relacionados a indivíduos identificáveis)? |
| 🟡 Identificabilidade e dados pessoais | Se forem pessoais, os dados são anonimizados ou pseudonimizados? |
| 🟡 Estrutura dos dados | Os dados são estruturados, semiestruturados, complexos, estruturados ou não estruturados? |
| 🟡 Formato dos dados | O formato dos dados e metadados é padronizado ou não padronizado? |
| 🟡 Escala dos dados | Qual é a escala do conjunto de dados? |
| 🟡 Adequação e qualidade dos dados | O conjunto de dados é adequado ao propósito? O tamanho da amostra é adequado? É representativo e completo o suficiente? Quão barulhentos são os dados? É propenso a erros? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟡 Disponibilidade de informações | Existe alguma informação disponível sobre o modelo do sistema? |
| 🟡 Tipo de modelo de IA | O modelo é simbólico (regras geradas por humanos), estatístico (usa dados) ou híbrido? |
| 🟡 Direitos associados ao modelo | O modelo é de código aberto ou proprietário, gerenciado por terceiros ou por terceiros? |
| 🟡 Único de vários modelos | O sistema é composto por um modelo ou por vários modelos interligados? |
| 🟡 Generativo ou discriminativo | O modelo é generativo, discriminativo ou ambos? |
| 🟡 Construção de modelo | O sistema aprende com base em regras escritas por humanos, a partir de dados, através de aprendizagem supervisionada ou através de aprendizagem por reforço? |
| 🟡 Evolução do modelo (desvio de IA) | O modelo evolui e/ou adquire habilidades ao interagir com os dados em campo? |
| 🟡 Aprendizagem federada ou central | O modelo é treinado centralmente ou em vários servidores locais ou dispositivos de “borda”? |
| 🟡 Desenvolvimento/manutenção | O modelo é universal, personalizável ou adaptado aos dados do ator de IA? |
| 🟡 Determinístico ou probabilístico | O modelo é utilizado de forma determinística ou probabilística? |
| 🟡 Transparência do modelo | As informações estão disponíveis aos usuários para permitir que eles entendam os resultados e limitações do modelo ou usem restrições? |
| 🟢 Limitação computacional | Existem limitações computacionais para o sistema? É possível prever saltos de capacidade ou leis de escala? |
| Critérios | Exemplos de como isso pode ser refletido na análise |
| 🟡 Tarefa(s) executada(s) pelo sistema | Que tarefas o sistema executa (reconhecimento, detecção de eventos, previsão, etc.)? |
| 🟡 Combinando tarefas e ações | O sistema combina diversas tarefas e ações (sistemas de geração de conteúdo, sistemas autônomos, sistemas de controle etc.)? |
| 🟡 Nível de autonomia do sistema | Quão autônomas são as ações do sistema e qual o papel que os humanos desempenham? |
| 🟡 Grau de envolvimento humano | Existe algum envolvimento humano para supervisionar a atividade global do sistema de IA e a capacidade de decidir quando e como utilizar o sistema de IA em qualquer situação? |
| 🟡 Aplicativo principal | O sistema pertence a uma área de aplicação central, como tecnologias de linguagem humana, visão computacional, automação e/ou otimização ou robótica? |
| 🟡 Avaliação | Existem padrões ou métodos disponíveis para avaliar a saída do sistema? |
Como essa estrutura poderia ser usada?
Esta estrutura pode ser usada de várias maneiras, incluindo:
Um caminho a seguir
Em resumo, o quadro analítico é fornecido como base de um conjunto de ferramentas que pode ser utilizado pelas partes interessadas para analisar de forma abrangente quaisquer desenvolvimentos significativos, quer das plataformas, quer da utilização, de uma forma consistente e sistemática. As dimensões apresentadas neste quadro têm relevância desde a avaliação tecnológica às políticas públicas, do desenvolvimento humano à sociologia, e aos estudos de futuro e tecnologia. Embora desenvolvida para IA, esta estrutura analítica tem uma aplicação muito mais ampla a qualquer outra tecnologia emergente.
6 Conselho Consultivo de IA da ONU. 2023. Relatório Provisório: Governando a IA para a Humanidade. https://www.un.org/sites/un2.un.org/files/ai_advisory_body_interim_report.pd
Agradecimentos
Muitas pessoas foram consultadas e forneceram feedback no desenvolvimento do documento de discussão inicial e no feedback após seu lançamento. Ambos os artigos foram redigidos por Sir Peter Gluckman, presidente do ISC, e Hema Sridhar, ex-conselheiro-chefe de ciência do Ministério da Defesa da Nova Zelândia e agora pesquisador sênior da Universidade de Auckland, Nova Zelândia.
Em particular, o ISC Lord Martin Rees, ex-presidente da Royal Society e cofundador do Centro para o Estudo de Riscos Existenciais da Universidade de Cambridge; Professor Shivaji Sondhi, Professor de Física, Universidade de Oxford; Professor K Vijay Raghavan, ex-Conselheiro Científico Principal do Governo da Índia; Amandeep Singh Gill, Enviado do Secretário-Geral da ONU para Tecnologia; Seán Ó hÉigeartaigh, Diretor Executivo, Centro para o Estudo de Riscos Existenciais, Universidade de Cambridge; Sir David Spiegelhalter, Professor Winton de Compreensão Pública do Risco, Universidade
de Cambridge; Amanda-June Brawner, Conselheira Sênior de Políticas e Ian Wiggins, Diretor de Assuntos Internacionais, Royal Society, Reino Unido; Dr. Jerome Duberry, Diretor Geral e Dra. Marie-Laure Salles, Diretora, Instituto de Pós-Graduação de Genebra; Chor Pharn Lee, Centro para Futuros Estratégicos, Gabinete do Primeiro Ministro, Singapura; Barend Mons e Dr. Simon Hodson, o Comitê de Dados (CoDATA); Professor Yuko Harayama, ex-diretor executivo, RIKEN; Professor
Rémi Quirion, Presidente, INGSA; Dra. Claire Craig, Universidade de Oxford e Ex-Chefe de Prospectiva, Gabinete Governamental de Ciência; Prof Yoshua Bengio, Conselho Consultivo Científico do Secretário Geral da ONU e da Universidade de Montreal; e muitos outros que forneceram feedback ao ISC sobre o documento de discussão inicial.
Preparando Ecossistemas Nacionais de Pesquisa para IA: Estratégias e progresso em 2024
Este documento de trabalho do think tank do ISC, o Center for Science Futures, fornece informações fundamentais e acesso a recursos de países de todas as partes do mundo, em vários estágios de integração da IA em seus ecossistemas de pesquisa.
Leia mais sobre Navegando por novos horizontes – Um relatório de previsão global sobre a saúde planetária e o bem-estar humano 
Leia mais sobre Síntese do programa Transformações para Sustentabilidade 
Leia mais sobre o Relatório Anual 2023 