Introdução
Este é um mapeamento multissetorial e não-exaustivo de princípios de Inteligência Artificial. Mapeamos seis iniciativas internacionais, sendo duas do setor governamental (Comissão Europeia e Departamento de Defesa Norte-americano), duas do setor empresarial (Google e Microsoft), uma organização internacional (Organização para a Cooperação e Desenvolvimento Econômico - OCDE) e outra composta de academia e setor empresarial (Academia de Inteligência Artificial de Pequim).
Selecionamos essas iniciativas com o intuito de garantir pluralidade regional (Estados Unidos, Europa e Ásia) – não foi encontrado nenhum material produzido para o Brasil até o momento da escrita deste texto – e multissetorial (setor privado, academia, governos e organização internacional).
Analisamos os princípios de Inteligência Artificial encontrados em cada uma dessas iniciativas, com base em seis dimensões: Equidade (Fairness) ; Confiabilidade e Segurança (Reliability & Safety) ; Impacto Social (Social Impact) ; Responsabilidade (Accountability) ; Privacidade & Segurança (Privacy & Security) ; e Transparência (Transparency) .
As seis dimensões foram elaboradas pelos autores deste texto, a partir das leituras prévias de cada documento. Após encontrar similaridades entre os documentos, compreendemos que essas dimensões seriam adequadas para mapear os princípios de Inteligência Artificial das iniciativas analisadas.
Princípios de Inteligência Artificial por dimensões
Equidade (Fairness)
Comissão Europeia
O desenvolvimento, a implantação e o uso de sistemas de Inteligência Artificial devem ser justos. Reconhecem que existem muitas interpretações diferentes de equidade (ou justiça), e dividem em duas dimensões: substantiva e procedural. A dimensão substantiva implica o compromisso de garantir uma distribuição equitativa e justa de benefícios e custos, assim como garantir que indivíduos e grupos estejam livres de preconceitos injustos, discriminação e estigmatização. Se desvios injustos puderem ser evitados, os sistemas de Inteligência Artificial podem até aumentar a justiça social. A igualdade de oportunidades em termos de acesso à educação, bens, serviços e tecnologia também deve ser promovida. O uso de sistemas de IA nunca deve levar as pessoas a serem enganadas ou injustificadamente prejudicadas em sua liberdade de escolha. Além disso, a equidade implica que os profissionais de IA respeitem o princípio da proporcionalidade entre meios e fins e considerem cuidadosamente como equilibrar interesses e objetivos concorrentes. A dimensão procedural busca reparação efetiva contra as decisões tomadas pelos sistemas de Inteligência Artificial e pelos humanos que os operam. A entidade responsável pela decisão deve ser identificável e os processos de tomada de decisão devem ser explicáveis.
Departamento de Defesa Norte-americano
O Departamento de Defesa deve tomar medidas para evitar preconceitos não intencionais no desenvolvimento e implantação de sistemas de Inteligência Artificial de combate ou não-combate que inadvertidamente causariam danos a pessoas.
Academia de Inteligência Artificial de Pequim
Pesquisa e Desenvolvimento de Inteligência Artificial deve adotar abordagens éticas de design para tornar o sistema confiável. Isso pode incluir, mas não se limita a: tornar o sistema o mais equitativo possível, reduzir possíveis discriminações e preconceitos, melhorar sua transparência, prover explicação e previsibilidade e tornar o sistema mais rastreável, auditável e responsável.
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
Os sistemas de Inteligência Artificial devem ser projetados de maneira a respeitar o estado de direito, os direitos humanos, os valores democráticos e a diversidade, e devem incluir salvaguardas apropriadas - por exemplo, possibilitando a intervenção humana sempre que necessário - para garantir uma sociedade equitativa e justa.
Evitar criar ou reforçar preconceitos injustos sobre as pessoas, particularmente aquelas relacionadas a características sensíveis, como raça, etnia, gênero, nacionalidade, renda, orientação sexual, habilidade e crenças políticas ou religiosas.
Microsoft
AI systems should treat all people fairly.
Confiabilidade e Segurança (Reliability & Safety)
Comissão Europeia
Os sistemas de Inteligência Artificial não devem causar nem exacerbar danos ou afetar adversamente os seres humanos. Devem proteger a dignidade humana, bem como a integridade mental e física. Os sistemas de IA e os ambientes em que operam devem ser seguros, tecnicamente robustos e deve-se garantir que não estejam abertos ao uso malicioso. Pessoas vulneráveis devem receber maior atenção e ser incluídas no desenvolvimento, implantação e uso de sistemas de IA. Também deve ser dada atenção especial a situações em que os sistemas de IA podem causar ou exacerbar impactos adversos devido a assimetrias de poder ou informações, como entre empregadores e funcionários, empresas e consumidores ou governos e cidadãos. A prevenção de danos também implica a consideração do ambiente natural e de todos os seres vivos.
Departamento de Defesa Norte-americano
Os sistemas de inteligência artificial do Departamento de Defesa devem ter um domínio de uso explícito e bem definido, e a segurança, a proteção e a robustez de tais sistemas devem ser testadas e garantidas por todo o ciclo de vida desse domínio de uso. Os sistemas de Inteligência Artificial do Departamento de Defesa devem ser projetados para cumprir sua função pretendida e, ao mesmo tempo, possuir a capacidade de detectar e evitar danos ou interrupções não intencionais, e para o desengajamento ou desativação humana ou automatizada de sistemas implantados que demonstram comportamento de escala ou outro não intencional.
Academia de Inteligência Artificial de Pequim
Esforços contínuos devem ser feitos para melhorar a maturidade, robustez, confiabilidade e controlabilidade dos sistemas de Inteligência Artificial, de modo a garantir a segurança dos dados, a segurança do sistema de IA e a segurança do ambiente externo, no qual o sistema de IA é implantado.
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
Os sistemas de Inteligência Artificial devem funcionar de maneira robusta, segura e protegida ao longo de seus ciclos de vida, e os riscos em potencial devem ser avaliados e gerenciados continuamente.
Ser construído e testado para segurança para evitar resultados não intencionais que criam riscos de danos. Os sistemas de Inteligência Artificial serão projetados e desenvolvidos de acordo com as melhores práticas de pesquisa de segurança de IA. As tecnologias de IA serão testadas em ambientes restritos e a sua operação monitorada após a implantação.
Microsoft
Os sistemas de Inteligência Artificial devem ter um desempenho confiável e seguro.
Impacto Social (Social Impact)
Comissão Europeia
Os direitos fundamentais em que se baseia a União Europeia visam garantir o respeito pela liberdade e autonomia dos seres humanos. Os seres humanos que interagem com os sistemas de IA devem ser capazes de manter a autodeterminação completa e eficaz sobre si mesmos e participar do processo democrático. Os sistemas de IA não devem injustificadamente subordinar, coagir, enganar, manipular, condicionar ou agrupar humanos. Em vez disso, eles devem ser projetados para aumentar, complementar e capacitar as habilidades cognitivas, sociais e culturais humanas. A alocação de funções entre humanos e sistemas de IA deve seguir os princípios de design centrado no ser humano ( human centered design ) e deixar oportunidades significativas para a escolha humana. Isso significa garantir a supervisão humana sobre os processos de trabalho nos sistemas de IA. Os sistemas de IA também podem mudar fundamentalmente a esfera de trabalho. Devem apoiar os seres humanos no ambiente de trabalho e ter como objetivo a criação de trabalho significativo.
Departamento de Defesa Norte-americano
Não consta.
Academia de Inteligência Artificial de Pequim
A Inteligência Artificial deve ser projetada e desenvolvida para promover o progresso da sociedade e da civilização humana, promover o desenvolvimento sustentável da natureza e da sociedade, beneficiar toda a humanidade e o meio ambiente e melhorar o bem-estar da sociedade e da ecologia. O desenvolvimento da Inteligência Artificial deve refletir a diversidade e a inclusão e ser projetado para beneficiar o maior número possível de pessoas, especialmente aquelas que seriam facilmente negligenciadas ou sub-representadas nos aplicativos de IA. Encoraja-se o estabelecimento de plataformas abertas de Inteligência Artificial para evitar monopólios de dados ou plataforma. Além de compartilhar os benefícios do desenvolvimento da IA na maior extensão possível e de promover oportunidades iguais de desenvolvimento para diferentes regiões e indústrias.
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
A Inteligência Artificial deve beneficiar as pessoas e o planeta, impulsionando o crescimento inclusivo, o desenvolvimento sustentável e o bem-estar.
Ser socialmente benéfico e manter altos padrões de excelência científica. Levar em conta uma ampla gama de fatores sociais e econômicos e prosseguir onde acreditam que os benefícios prováveis gerais excedam substancialmente os riscos e desvantagens previsíveis. Disponibilizar informações precisas e de alta qualidade usando a IA, de forma a respeitar as normas culturais, sociais e legais nos países em que opera. Avaliar cuidadosamente quando disponibilizar as tecnologias da Google em bases não comerciais.
Microsoft
Os sistemas de IA devem capacitar todos e envolver as pessoas.
Responsabilidade (Accountability)
Comissão Europeia
Inclui auditoria, minimização e relatórios de impacto negativo e trade-offs. O requisito de responsabilidade está intimamente ligado ao princípio da equidade. É necessário que sejam criados mecanismos para garantir a responsabilidade e a prestação de contas dos sistemas de IA e seus resultados, antes e depois de seu desenvolvimento, implantação e uso.
Departamento de Defesa Norte-americano
Os seres humanos devem exercer níveis adequados de julgamento e permanecer responsáveis pelo desenvolvimento, implantação, uso e resultados dos sistemas de Inteligência Artificial do Departamento de Defesa.
Academia de Inteligência Artificial de Pequim
Pesquisadores e desenvolvedores de Inteligência Artificial devem ter considerações suficientes para os possíveis impactos e riscos éticos, legais e sociais trazidos por seus produtos e tomar ações concretas para reduzi-los e evitá-los.
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
As organizações e indivíduos que desenvolvem, implantam ou operam sistemas de Inteligência Artificial devem ser responsabilizados pelo seu bom funcionamento, de acordo com os princípios acima.
Ser responsável perante as pessoas. Projetar sistemas de Inteligência Artificial que ofereçam oportunidades apropriadas para feedback, explicações relevantes e apelo. As tecnologias de IA estarão sujeitas à direção e controle humanos adequados.
Microsoft
Os sistemas de Inteligência Artificial devem ter responsabilidade algorítmica.
Privacidade & Segurança (Privacy & Security)
Comissão Europeia
Inclui respeito pela qualidade da privacidade e integridade dos dados e acesso aos dados. Intimamente ligada ao princípio de prevenção de danos está a privacidade, um direito fundamental particularmente afetado pelos sistemas de IA. A prevenção de danos à privacidade também exige governança de dados adequada que cubra a qualidade e a integridade dos dados utilizados, sua relevância à luz do domínio em que os sistemas de IA serão implantados, seus protocolos de acesso e a capacidade de processar dados de maneira que proteja a privacidade.
Departamento de Defesa Norte-americano
Não consta.
Academia de Inteligência Artificial de Pequim
A pesquisa e desenvolvimento da Inteligência Artificial deve servir à humanidade e estar em conformidade com os valores humanos, bem como com os interesses gerais da humanidade. Privacidade, dignidade, liberdade, autonomia e direitos humanos devem ser suficientemente respeitados. A IA não deve ser usada contra, utilizar ou prejudicar seres humanos.
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
Não consta.
Incorporar princípios de privacidade desde a concepção do projeto ( privacy by design) . Incorporar princípios de privacidade no desenvolvimento e uso de nossas tecnologias de IA. Dar oportunidade de aviso e consentimento, incentivar arquiteturas com salvaguardas de privacidade e fornecer transparência e controle adequados sobre o uso de dados
Microsoft
Os sistemas de Inteligência Artificial devem ser seguros e respeitar a privacidade.
Transparência (Transparency)
Comissão Europeia
É crucial para criar e manter a confiança dos usuários nos sistemas de Inteligência Artificial. Isso significa que os processos precisam ser transparentes, as capacidades e o objetivo dos sistemas de IA comunicados abertamente e as decisões - na medida do possível - explicáveis para os afetados direta e indiretamente. Sem essas informações, uma decisão não pode ser devidamente contestada. Uma explicação sobre por que um modelo gerou uma saída ou decisão específica (e que combinação de fatores de entrada contribuiu para isso) nem sempre é possível. Esses casos são chamados de algoritmos de 'caixa preta' e requerem atenção especial. Nessas circunstâncias, outras medidas para prover explicação (por exemplo, rastreabilidade, auditabilidade e comunicação transparente sobre as capacidades do sistema) podem ser necessárias, desde que o sistema como um todo respeite os direitos fundamentais.
Departamento de Defesa Norte-americano
A disciplina de Engenharia de Inteligência Artificial do Departamento de Defesa deve ser suficientemente avançada para que os técnicos especialistas possuam um entendimento adequado da tecnologia, processos de desenvolvimento e métodos operacionais de seus sistemas de IA, incluindo metodologias transparentes e auditáveis, fontes de dados e procedimentos e documentação de projeto.
Academia de Inteligência Artificial de Pequim
A Pesquisa e Desenvolvimento da Inteligência Artificial deve adotar abordagens éticas de design para tornar o sistema confiável. Isso pode incluir, mas não se limita a: tornar o sistema o mais justo possível, reduzir possíveis discriminações e preconceitos, melhorar sua transparência, prover explicação e previsibilidade e tornar o sistema mais rastreável, auditável e responsável.
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
Deve haver transparência e divulgação responsável em torno dos sistemas de Inteligência Artificial para garantir que as pessoas entendam os resultados baseados em IA e possam desafiá-los.
Fornecer transparência apropriada e controle do uso de dados. Este princípio é citado dentro de Privacidade & Segurança.
Microsoft
Os sistemas de Inteligência Artificial devem ser compreensíveis.
Algumas considerações
A Comissão Europeia e a Academia de Inteligência Artificial de Pequim abordam os seis princípios listados nesse mapeamento e as duas iniciativas detalharam bem cada princípio de Inteligência Artificial analisado. A Microsoft também aborda todos os princípios listados, porém é bastante concisa, sem detalhá-los.
Nesse sentido, é interessante observar que a Comissão Europeia, órgão executivo da União Europeia, politicamente independente, é composta por uma equipe de 28 Comissários (um de cada país da UE). Já a Academia de Inteligência Artificial de Pequim é formada por universidades e empresas chinesas. Analisa-se, portanto, que as duas iniciativas são compostas por diversas entidades, o que pode ter trazido maior riqueza e detalhamento aos princípios.
O princípio de Equidade ( Fairness ) é abordado pelas seis iniciativas analisadas. A Comissão Europeia traz maior riqueza de detalhes sobre esse princípio e propõe uma divisão entre equidade substantiva e procedural. Afirma que a primeira vista o compromisso de garantir uma distribuição equitativa e justa de benefícios e custos, assim como garantir que indivíduos e grupos estejam livres de preconceitos injustos, discriminação e estigmatização, enquanto a segunda busca reparação efetiva contra as decisões tomadas pelos sistemas de Inteligência Artificial e pelos humanos que os operam.
Ainda sobre equidade, a Academia de Inteligência Artificial de Pequim sugere adotar abordagens éticas de design para tornar o sistema confiável. A OCDE acrescenta que os sistemas de IA devem incluir salvaguardas apropriadas - por exemplo, possibilitando a intervenção humana sempre que necessário - para garantir uma sociedade justa.
Sobre o princípio de Confiabilidade e Segurança ( Reliability & Safety ), as seis iniciativas analisadas explicitam esse princípio. Todas afirmam que os sistemas de Inteligência Artificial devem ter um desempenho confiável e seguro. A Comissão Europeia detalha que devem proteger a dignidade humana, bem como a integridade mental e física. Além de enfatizar que os sistemas de IA e os ambientes em que operam devem ser seguros, tecnicamente robustos e deve-se garantir que não estejam abertos ao uso malicioso. O Departamento de Defesa Norte-americano acrescenta que a segurança, a proteção e a robustez de tais sistemas devem ser testadas e garantidas por todo o ciclo de vida desse domínio de uso.
A dimensão do Impacto Social ( Social Impact ) é analisada por cinco organizações, apenas o Departamento de Defesa Norte-americano não especifica esse princípio. A Comissão Europeia afirma que os sistemas de IA não devem injustificadamente subordinar, coagir, enganar, manipular, condicionar ou agrupar humanos. Em vez disso, eles devem ser projetados para aumentar, complementar e capacitar as habilidades cognitivas, sociais e culturais humanas.
A Academia de Inteligência Artificial de Pequim acrescenta sobre o Impacto Social que a IA deve ser projetada e desenvolvida para promover o progresso da sociedade e da civilização humana, promover o desenvolvimento sustentável da natureza e da sociedade, beneficiar toda a humanidade e o meio ambiente e melhorar o bem-estar da sociedade e da ecologia. A Google diz que é necessário disponibilizar informações precisas e de alta qualidade usando a IA, de forma a respeitar as normas culturais, sociais e legais nos países em que opera.
Todas as iniciativas mapeadas citam o princípio Responsabilidade ( Accountability ). De modo geral afirmam que é necessário criar mecanismos para garantir a responsabilização e a prestação de contas dos sistemas de IA e seus resultados, antes e depois de seu desenvolvimento, implantação e uso. A Academia de Inteligência artificial de Pequim acrescenta que os pesquisadores e desenvolvedores de IA devem ter considerações suficientes para os possíveis impactos e riscos éticos, legais e sociais trazidos por seus produtos e tomar ações concretas para reduzi-los e evitá-los.
Das seis iniciativas mapeadas, apenas quatros explicitam o princípio de Privacidade & Segurança ( Privacy & Security ). A Comissão Europeia afirma que inclui respeito pela qualidade da privacidade e integridade dos dados e acesso aos dados. Além de estar intimamente ligada ao princípio de prevenção de danos. A Academia de Inteligência Artificial de Pequim acrescenta que privacidade, dignidade, liberdade, autonomia e direitos humanos devem ser suficientemente respeitados. A Google diz que deve i ncorporar princípios de privacidade no desenvolvimento e uso de nossas tecnologias de IA. E a Microsoft que os sistemas de Inteligência Artificial devem ser seguros e respeitar a privacidade.
Sobre o princípio de Transparência (Transparency), apenas a Google não especifica, mas menciona dentro de Privacidade & Segurança. De maneira geral, as iniciativas afirmam que os processos precisam ser transparentes. A Comissão Europeia enfatiza que as capacidades e o objetivo dos sistemas de IA devem ser comunicados abertamente e as decisões - na medida do possível - explicáveis para os afetados direta e indiretamente. O Departamento de Defesa Norte-americano acrescenta que devem incluir metodologias transparentes e auditáveis, fontes de dados e procedimentos e documentação de projeto. E a Academia de Inteligência Artificial de Pequim que é preciso adotar abordagens éticas de design para tornar o sistema confiável.
Verificamos, portanto, que três princípios: Equidade, Confiabilidade & Segurança e Responsabilidade são abordados pelas seis iniciativas mapeadas. Os princípios de Impacto Social e Transparência são explicitados por cinco iniciativas. E apenas o princípios de Privacidade & Segurança é detalhado por quatro das seis iniciativas mapeadas.
Referências
Em ordem alfabética por iniciativa
Academia de Inteligência Artificial de Pequim
Beijing AI Principles
Universidades Chinesas e setor privado
https://www.baai.ac.cn/blog/beijing-ai-principles
Comissão Europeia
Building Guidelines for Trustworthy AI
European Commission (High Level Group on Artificial Intelligence)
https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines
Departamento de Defesa Norte-americano
AI Principles: Recommendations on the Ethical Use of Artificial Intelligence by the Department of Defense
Defense Innovation Board
https://media.defense.gov/2019/Oct/31/2002204458/-1/-1/0/DIB_AI_PRINCIPLES_P RIMARY_DOCUMENT.PDF
Google AI Principles
https://www.blog.google/technology/ai/ai-principles/
Microsoft
Microsoft AI Principles
Microsoft
https://www.microsoft.com/en-us/ai/our-approach-to-ai
Organização para a Cooperação e Desenvolvimento Econômico (OCDE)
OECD (Organisation for Economic Co-operation and Development) Principles on AI
OECD (Organisation for Economic Co-operation and Development)
