A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? A ERA DA INTELIGÊNCIA ARTIFICIAL: AS MÁQUINAS PODERÃO TOMAR DECISÕES JUDICIAIS? The Era of Artificial Intelligence: Will Machines make Judicial Decisions? Revista dos Tribunais | vol. 1020/2020 | Out / 2020 DTR\2020\11420 José Miguel Garcia Medina Doutor e Mestre em Direito Processual Civil pela PUC-SP. Professor Titular na Universidade Paranaense. Professor Associado na Universidade Estadual de Maringá. Advogado. medina@medina.adv.br João Paulo Nery dos Passos Martins Mestre em Direito Processual e Cidadania pela Universidade Paranaense. Juiz Federal Substituto. joaopaulomartins@hotmail.com Área do Direito: Civil; Processual; Digital Resumo: Há aplicações concretas da Inteligência Artificial na área jurídica, tanto na iniciativa privada, quanto no poder público. O Poder Judiciário começa a empregar essa tecnologia em tarefas burocráticas. Mas há a possibilidade de aplicação de programas de Inteligência Artificial para auxiliar ou até mesmo automatizar a tomada de decisão judicial. O uso da Inteligência Artificial no processo decisório deve ocorrer progressivamente, pautando-se pela precaução, e com constante acompanhamento dos resultados alcançados, a fim de se assegurar a construção e operação de sistemas confiáveis, dotados de solidez e que respeitem os princípios éticos e jurídicos. Palavras-chave: Inteligência Artificial – Tomada de decisão – Automação – Processo judicial – Poder Judiciário Abstract: There are concrete applications of Artificial Intelligence in the legal area, both in the private sector and in the government. The Judiciary is beginning to employ this technology in bureaucratic tasks. But there is the possibility of applying Artificial Intelligence programs to assist or even automate judicial decision-making. The use of Artificial Intelligence in the decision-making process should occur progressively, guided by precaution, and with constant monitoring of the results achieved, in order to ensure the construction and operation of reliable systems, endowed with solidity and that respect ethical and legal principles. Keywords: Artificial Intelligence – Decision-making – Automation – Judicial procedure – Judiciary Sumário: 1.Introdução - 2.O Conceito de Inteligência Artificial e o Pensamento Jurídico 3.Processamento Computacional do Conhecimento Jurídico - 4.Automação e Tomada de Decisão Judicial - 5.Considerações Finais - Referências 1.Introdução A Inteligência Artificial (IA) é assunto cada vez mais frequente, por meio de notícias, da publicidade ou de estudos acadêmicos, mas também integrando o cotidiano das pessoas, muitas vezes sem sequer ser percebida. Trata-se de uma das tecnologias emergentes que impulsionam a Quarta Revolução Industrial (Indústria 4.0), a qual se caracteriza 1 pela fusão e integração entre os domínios físico, digital e biológico. Há a perspectiva de que o uso da Inteligência Artificial, em maior ou menor intensidade, impactará praticamente todas as profissões e atividades humanas, inclusive de forma disruptiva, causando intensas e rápidas alterações nas relações sociais e de trabalho. Nesse contexto, o Direito não será exceção, de modo que o exercício das atividades Página 1 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? jurídicas será transformado pela incorporação de sistemas de Inteligência Artificial, assim como novas questões jurídicas aflorarão das mudanças sociais e do uso de inovações tecnológicas. Assim, ao mesmo tempo em que o Direito será aplicado com o auxílio da Inteligência Artificial, também terá o papel de regular o uso dessa tecnologia. Os sistemas de Inteligência Artificial superaram a fase experimental e já há aplicações concretas em operação na área jurídica, tanto na iniciativa privada, quanto no poder público. Cabe destacar o uso pelo Poder Judiciário, que começa a empregar essa tecnologia com o fito de incrementar a eficiência do serviço prestado. Nesse diapasão, não só as tarefas burocráticas poderão ser automatizadas, mas também surge no horizonte a possibilidade de aplicação de programas de Inteligência Artificial para assistir ou até mesmo automatizar a tomada de decisão judicial. Para além do desafio tecnológico, a pretensão de empregar a Inteligência Artificial para a tomada de decisão suscita importantes questões sobre os limites jurídicos e éticos do uso dessa tecnologia na atividade jurisdicional. 2.O Conceito de Inteligência Artificial e o Pensamento Jurídico De forma sintética, a Inteligência Artificial pode ser entendida como o desenvolvimento de ferramentas informáticas que emulem a inteligência humana ou que executem funções a ela relacionadas, tais como raciocínio, aprendizagem, adaptabilidade, percepção e interação com o meio físico etc. Nesse conceito estão abrangidas variadas técnicas que, diferentemente da rigidez da programação computacional clássica, visam a dotar os sistemas computacionais com capacidade de criatividade, adaptabilidade e comportamento autônomo, tais como machine learning (aprendizagem de máquina) e 2 3 deep learning (aprendizagem profunda) , por meio de redes neurais artificiais , processamento da linguagem natural (natural language processing) e análise de grandes conjuntos de dados (big data). O termo Inteligência Artificial foi cunhado por John McCarthy, Marvin Minsky, Nathaniel Rochester e Claude Shannon em documento datado de 31 de agosto de 1955, intitulado 4 A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence . Trata-se da proposta de realização do primeiro evento científico sobre tema, ocorrido no 5 verão de 1956 no Dartmouth College, que é considerado o marco inaugural do estudo da Inteligência Artificial, organizando-se, a partir daí, como uma ciência autônoma. Curioso observar que, no referido documento, os organizadores do evento propunham a tese de que “todos os aspectos da aprendizagem ou qualquer outra característica da inteligência poderiam em princípio ser descritos com tanta precisão que uma máquina 6 pode ser construída para simulá-los” . Trata-se de tese grandemente desafiadora, que ainda não pôde ser comprovada – e nem se sabe se um dia o será –, mas que tem servido de inspiração para o aprofundamento do estudo e desenvolvimento de sistemas de Inteligência Artificial. O entusiasmo inicial se arrefeceu ao longo das décadas seguintes, conforme crescia o grau de complexidade do estudo e desenvolvimento da tecnologia de Inteligência Artificial, mas tem sido retomado nos últimos anos, muito graças aos avanços alcançados pelos computadores atuais, com grande capacidade de processamento e armazenamento de dados, associado ao próprio desenvolvimento da ciência subjacente à Inteligência Artificial. Também houve uma importante mudança na estratégia de desenvolvimento da Inteligência Artificial, focando na especialização de atividades, que permitiu o advento de aplicações práticas para essa tecnologia. É fato que o anseio pela criação de uma Inteligência Artificial Genérica (ou Geral), capaz de realizar as mais diversas atividades 7 por meio de um “algoritmo universal para aprender e atuar em qualquer ambiente” , remonta à própria origem da Inteligência Artificial. Não obstante, trata-se de objetivo altamente complexo e inexequível com o nível de desenvolvimento tecnológico hodierno. Página 2 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? Assim, as ferramentas de Inteligência Artificial em uso atualmente assumem a forma dos chamados “sistemas especialistas”, executando atividades específicas ou restritas a uma 8 base de conhecimento bem delimitada , o que facilita a construção e operação de sistemas inteligentes. Importante mencionar que não há um conceito unívoco de Inteligência Artificial, pois, além de o termo ser empregado para se referir a diferentes técnicas, também recebe diferentes abordagens pelos cientistas e desenvolvedores. Navarro observa que a Inteligência Artificial “ha sido definida por cada autor en función de su enfoque, ya se centre en los procesos mentales, en los razonamientos o en la conducta humana que se 9 trate de emular por el sistema de IA” . Na mesma linha, Russell e Norvig prelecionam que as abordagens de estudos da Inteligência Artificial podem ser organizadas em quatro categorias: a) pensar como ser humano, buscando analisar e replicar o processo pensamento dos os seres humanos; b) agir como ser humano, focando o desenvolvimento de sistemas capazes de reproduzir comportamentos ou desempenhar funções tal qual os humanos; c) pensar racionalmente, dando enfoque à modelação e codificação do processo de raciocínio; e d) agir racionalmente, objetivando o desenvolvimento de agentes racionais, dotados de certa adaptabilidade, isto é, “aquele que age para alcançar o melhor resultado ou, 10 quando há incerteza, o melhor resultado esperado” . Destarte, a estratégia de estudo e desenvolvimento da Inteligência Artificial pode se efetivar pelo prisma do pensamento (pensar) ou do comportamento (agir) humanos, combinados a uma análise empírica (prática) ou racional (conceitual). Não se deve concluir que determinada abordagem seja correta e as demais incorretas, pois, conforme asseveram Russell e Norvig, todas as quatro estratégias têm sido empregadas e “cada 11 grupo tem ao mesmo tempo desacreditado e ajudado o outro” . Na área do Direito, igualmente, podem ser desenvolvidos sistemas de Inteligência Artificial a partir das diferentes estratégias, conforme o objetivo almejado, por exemplo, procurando estudar e replicar o raciocínio (pensamento) do jurista/julgador humano, ou seja, qual o processo mental desenvolvido para a tomada de determinada decisão jurídica; ou, em uma abordagem mais pragmática, avaliar como os juízes ou tribunais se comportam, vale dizer, como são as decisões para casos semelhantes; ou, ainda, desenvolvendo modelos lógico-racionais para compreender e aplicar textos legais, jurisprudenciais, etc. Os sistemas de Inteligência Artificial comumente são criados a partir de necessidades de ordem prática, tais como agilizar a tramitação de processos judiciais, automatizar atividades burocráticas e repetitivas, padronizar rotinas e entendimentos, evitar falhas humanas etc. Não obstante, a concepção desses sistemas, em especial quando direcionados à tomada de decisão, ainda que motivada por razões práticas, pode implicar repercussões teóricas, de natureza jurídica e jusfilosófica. Nesse contexto, a estratégia de desenvolvimento da Inteligência Artificial não é um dado irrelevante, pois a concepção de Direito adotada (consciente ou inconscientemente) pelos programadores terá influência no funcionamento e nos resultados do sistema de Inteligência Artificial. Lido no sentido contrário, conclui-se que a abordagem com a qual o sistema é construído pode determinar a própria concepção de Direito implícita no resultado a ser produzido pela máquina. Por exemplo, grande parte dos sistemas de Inteligência Artificial em operação na área jurídica empregam técnicas de raciocínio baseado em casos (RBC), jurimetria e analytics , a fim de que o programa proponha soluções jurídicas a partir da análise comparativa com decisões judiciais tomadas em casos semelhantes. Trata-se de estratégia que potencializa a acurácia e simplifica, em grande medida, o trabalho de desenvolvimento do programa e o processo de tomada de decisão, uma vez que evita a necessidade de construção de um sistema complexo o bastante para ser capaz de interpretar Página 3 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? adequadamente o Direito e criar uma solução jurídica do zero (o que pode ser, inclusive, inviável com a tecnologia atual). Em vez disso, utiliza-se um "atalho", buscando identificar e tomar como referência decisões judiciais já existentes, nas quais o trabalho de interpretação já foi realizado por humanos (julgadores), seja em um único caso semelhante, seja por meio da análise de um conjunto de decisões, a fim de apurar o entendimento dominante. Essa técnica tem grande potencial de aplicação, em especial no gerenciamento dos chamados casos repetitivos ("demandas repetitivas") e no fortalecimento do sistema de precedentes. Não se pode deixar de observar que, nessas condições, o programa considera a decisão judicial paradigma como o próprio referencial ou fundamento jurídico a ser aplicado (ou replicado) ao problema analisado. Vale dizer, para esse sistema de Inteligência Artificial, o direito aplicável ao caso consiste naquilo que a decisão judicial pretérita definiu. O programa não analisa criticamente os fundamentos da decisão e não desenvolve raciocínio com base no que dispõe a lei e a doutrina, apenas assume a decisão judicial paradigma como a solução correta. Dito de uma forma mais direta, nessa estratégia de trabalho, ainda que implicitamente, o Direito é aquilo que os julgadores decidiram e, nessa toada, percebe-se uma certa aproximação conceitual ao Realismo Jurídico. Em outra linha, pode-se imaginar, em tese, o desenvolvimento de sistemas de Inteligência Artificial que acessem a base de dados dos textos legislativos e contenham 12 em seu algoritmo uma lógica de operação dos critérios interpretativos para a subsunção do problema às regras do ordenamento jurídico, a fim de fornecer a solução jurídica. Aqui a estratégia para a resolução de problemas jurídicos não parte da comparação com casos concretos semelhantes, mas com a tentativa de reproduzir o processo racional de tomada de decisões e de construção/extração da norma jurídica aplicável a partir dos textos legais. Nesse tipo de abordagem, em que se busca solucionar os problemas jurídicos a partir de processos lógico-dedutivos e com primazia de utilização dos textos legais, há uma maior identificação conceitual com escolas na linha do Positivismo Jurídico. Muitos argumentarão que um sistema com essa característica, com nuances legalistas, não produziria soluções jurídicas adequadas para casos concretos, por desconsiderar certos valores (e.g. morais, sociais) necessários à correta aplicação do Direito. Nesse sentido, seria necessária maior sofisticação dos programas, com ferramentas capazes de captar, mensurar e aplicar esses dados valorativos, mas a crítica pode passar a caminhar no sentido inverso, no sentido de que a aplicação do Direito deve conter um mínimo de uniformização e certeza, afastando-se do subjetivismo e do casuísmo. Como se observa, a construção de um sistema de Inteligência Artificial que possa realizar um roteiro interpretativo completo é objetivo altamente complexo, não apenas pelo aspecto técnico-computacional, mas também pela diversidade de concepções jurídicas. As críticas que possam feitas a cada uma das teorias supramencionadas, e em qualquer outra teoria do Direito que os programas inteligentes venham a se basear, logo atingirão os próprios sistemas de Inteligência Artificial, mas nestes há o complicador de que os programas não têm a mesma capacidade crítica de um ser humano, tendo comportamento limitado ao que ordena seu algoritmo. É verdade que a existência de diferentes formas de pensar o Direito complica, sobremaneira, a tarefa de construir sistemas de Inteligência Artificial para atuar na área jurídica. Em todo caso, não configura obstáculo intransponível à utilização da Inteligência Artificial na área do Direito, como já começa a ocorrer. Nessa nova realidade, a questão que está a reclamar maior atenção consiste na constatação de que o desenvolvimento de programas de Inteligência Artificial e a construção de algoritmos para a área jurídica não deve ser uma preocupação exclusiva das ciências da computação. Ao contrário, também interessa à Filosofia do Direito, em especial no que se refere à concepção do sistema, assim como à Hermenêutica Jurídica, 13 no que tange à operação do programa. Nesse sentido, Rover faz importante alerta Página 4 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? quanto à conveniência da participação dos operadores do Direito no processo de desenvolvimento dos programas de Inteligência Artificial: “Contudo, a construção de um SEL [Sistema Especialista Legal] não se constitui somente num exercício de programação, mas requer sólido e articulado fundamento jurídico, o que nem sempre foi levado em conta pelos engenheiros de conhecimento. Estes, por mais que se exercitem, não conseguem deixar de impor as próprias interpretações. Em consequência parece ser razoável afirmar que, havendo condições técnicas, é preferível que o operador do Direito seja o próprio engenheiro de conhecimento.” De fato, os algoritmos de Inteligência Artificial aplicados à tomada de decisão judicial devem ser constituídos com um roteiro lógico-interpretativo que possibilite ao programa receber dados fáticos e jurídicos (input), interpretá-los (processamento) e formular uma solução/decisão (output), à semelhança do que ocorre com o processo cognitivo do 14 julgador humano . Em geral, o processo de modelagem e representação do conhecimento em linguagem computacional é desempenhado por profissionais da 15 computação, principalmente os engenheiros do conhecimento , podendo contar com o auxílio de especialistas da área de interesse (no caso, o Direito). Apesar da assessoria de juristas, o conhecimento transmitido por esses especialistas será (re)interpretado pelo programador efetivamente responsável por traduzir a norma ou certo conceito jurídico em linguagem computacional. Há, nesse processo, uma inevitável atividade hermenêutica por parte da equipe de desenvolvimento. Será oportuno, por isso, a formação de profissionais do Direito com habilidades interdisciplinares, capazes de conjugar o conhecimento jurídico com a linguagem informática, sob pena de a formulação e aplicação do Direito restar atribuída, 16 faticamente, aos programadores . No que se refere à tomada de decisões judiciais por programas de Inteligência Artificial, soma-se a questão referente à autoria da decisão autônoma, o que gera, inclusive, maior necessidade de controle e fiscalização dos tribunais sobre a formulação e operação dos sistemas, a fim de assegurar o controle decisório, pelo Judiciário, sobre os resultados gerados com o uso de Inteligência Artificial. Cabe observar, sem embargo, que o diálogo interdisciplinar pode produzir benefícios mútuos. O processo de idealização e construção dos sistemas inteligentes, na mesma medida em que receberá influxos da Filosofia do Direito e da Ciência Jurídica, também poderá contribuir para a eliminação de inconsistências na teorização e na aplicação do 17 Direito. Nesse sentido, expressa Rover : “É provável que um SEL [Sistema Especialista Legal] de peso contribua mais com a ciência do Direito que ao contrário. Note-se que a IA tem muitos modelos (capacidade de explicação), mas não teorias. Esta capacidade agregaria ao Direito, que tem muitas teorias, mas são contraditórias, e prescritivas, um poder de análise antes impraticável.” 3.Processamento Computacional do Conhecimento Jurídico O noticiário, a publicidade e as publicações científicas têm dado evidência cada vez maior à Inteligência Artificial e sua existência passa a ser conhecida pelo público em geral, embora seu modo de funcionamento e potencialidades ainda não tenham atingido o mesmo grau de divulgação. O leigo ou superestima a tecnologia, acreditando que ela possa efetivamente pensar como um humano, ou a imagina como um programa de computador nos moldes clássicos, com programação rígida, computando números, com procedimentos lógicos inflexíveis, sendo incapaz de se adaptar a mudanças e de lidar com dados imprecisos, incertos e incompletos. Assim, para algumas pessoas, a aplicação da Inteligência Artificial seria incompatível com as características do conhecimento jurídico, que exige uma atividade cognitiva complexa, correlacionando textos legais, outras decisões judiciais, fatos e valores. Apesar das limitações e dificuldades enfrentadas no tratamento dos dados e modelação dos algoritmos compatíveis com o Direito, não há impossibilidade absoluta de utilização Página 5 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? da Inteligência Artificial nas atividades jurídicas, inclusive na assistência ou automação da tomada de decisão. Os sistemas de Inteligência Artificial, ao menos por ora, estão muito distantes da inteligência humana, mas detêm nível de desenvolvimento superior aos clássicos (e rígidos) programas de computadores, agregando importantes características como adaptabilidade, aprendizagem e criatividade, dispondo de meios para operar em ambientes de incerteza e imprecisão. Vale dizer, pressupondo que há um mínimo de previsibilidade nas decisões judiciais e que o processo de tomada das decisões judiciais pode ser organizado e explicado racionalmente, é de se admitir que essa atividade possa ser traduzida em linguagem computacional. Do contrário, pensar que o resultado da interpretação jurídica não possa ser previsto e que as normas jurídicas não podem ser sistematizadas, equivaleria a dizer que a aplicação do Direito é puramente aleatória, de modo que este sequer mereceria a qualificação de ciência. Embora não derive da aplicação de uma lógica estritamente formal, o pensamento jurídico busca se organizar por meio de um raciocínio lógico-persuasivo, estabelecendo regras e princípios interpretativos que orientarão a atividade decisória. No Direito também se observa a utilização de silogismos, frutos da lógica clássica, e critérios binários (válido ou inválido, verdadeiro ou falso, tudo ou nada), assemelhando-se ao modo de funcionamento da computação digital, baseado em um sistema binário (dígitos 18 0 ou 1) representando os estados ligado ou desligado . Em uma perspectiva mais ampla, todavia, a lógica jurídica não pode ser identificada com procedimentos rígidos de uma lógica formalizada, ganhando caráter mais persuasivo do que formal. Nesse 19 tocante, Bourcier assevera: “Cuando los juristas se vuelven hacia la lógica, su propósito es diferente. Tratan de analizar las distintas formas de entender el derecho para hacerlo objeto de una descripción, más que de una formalización. Para la mayor parte de los juristas, la lógica jurídica no procede de la lógica formal.” Esse fato, todavia, não é suficiente para impedir o processamento do conhecimento jurídico por computadores, conforme Bourcier reconhece: “el derecho es una tecnología cognitiva, es decir, un conjunto de prácticas descritas como producto de actividades intelectuales y de adquisición de conocimientos susceptibles de ser tratados por 20 ordenador” . É possível estabelecer, assim, que os computadores podem ser programados para resolver problemas jurídicos (não necessariamente para todos e quaisquer problemas, mas certamente para alguns) e, eventualmente, essa resposta dada pela máquina pode ganhar a roupagem de decisão judicial, desde que se opte por admiti-la como tal. 21 Anote-se que os atos de calcular e decidir são distintos, segundo lição de Serbena : “Quando utilizamos uma máquina de calcular de bolso, claramente não estamos decidindo nada, apenas calculando. Se quero comprar algo com o dinheiro que possuo, posso antes calcular se esta compra deve ou não ser feita, mas a decisão é um processo independente do cálculo.” Não obstante, os sistemas de Inteligência Artificial, mais do que calcular, podem ter a capacidade de indicar ou tomar decisões, se assim configurados: “Los sistemas expertos no son sólo sistemas de gestión, ni simples modelos matemáticos: no se limitan a calcular, sino que ‘razonan’ en un entorno. La línea de separación entre gestión y 22 decisión se sitúa allí donde las opciones son posibles.” Esclareça-se que há diversos modelos lógicos, de modo que a forma de operação dos programas de Inteligência Artificial não necessariamente estará baseada na lógica 23 clássica. Observa-se a existência das chamadas lógicas não clássicas , como as lógicas epistêmicas, modais, deônticas e ainda as lógicas não reflexivas, paracompletas, 24 paraconsistentes e a lógica Fuzzy, que complementam ou desafiam a lógica clássica . 25 Conforme um dos autores do presente artigo já expôs em outra oportunidade , esses Página 6 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? novos modelos lógicos permitem trabalhar com situações de incerteza e ambiguidade, tão presentes na realidade do conhecimento jurídico. A lógica nebulosa ou difusa (Fuzzy), por exemplo, supera a limitação dos valores binários (0 ou 1), propondo a existência de valores variáveis dentro dessa escala, sendo 26 o 0 representando a falsidade absoluta e o 1 representando a verdade absoluta , 27 possibilitando o tratamento computacional de problemas imprecisos . Cambi, Alves e Alves explicam que a lógica Fuzzy aproveita ao estudo do Direito, pois, por permitir a análise e representação de situações incertas e ambíguas, pode servir de metodologia para traduzir em valores numéricos as expressões verbais, vagas, imprecisas e qualitativas, comuns na comunicação humana. Além disso, pode ser associada à 28 Inteligência Artificial para a aplicação na informática decisória . A lógica paraconsistente também apresenta grande potencial de interesse ao desenvolvimento de sistemas de Inteligência Artificial na área jurídica, na medida em 29 que, conforme explica Costa , ela permite a coexistência de proposições contraditórias sem implicar a trivialidade do sistema, isto é, sem que este entre em colapso, admitindo qualquer conclusão como válida: “A paraconsistente devota-se ao estudo de sistemas teóricos que contém contradições, isto é, tais que encerrem pares de proposições uma das quais é a negação da outra. Esta lógica encontrou as mais variadas aplicações; por exemplo, em filosofia (axiomatização da teoria de objetos de Meinong e a sistematização de certas concepções dialéticas), em programação, em redes neurais, em robótica, no controle de tráfego aéreo, no controle de tráfego de trens, na fabricação de cerveja (o que ocorreu no Japão) e em mecânica quântica. Nesta última, fenômenos como a superposição quântica sugerem o emprego de técnicas paraconsistentes; também convém notar o fato bem conhecido de que as grandes teorias físicas, como a relatividade geral e a mecânica quântica, são incompatíveis; se quisermos sistematizar a física dos dias atuais, a única maneira possível só pode ser via uma lógica paraconsistente.” 30 Serbena exemplifica a utilidade da lógica paraconsistente para a manipulação de banco de dados jurisprudenciais que, não raro, contemplam decisões contrárias ou contraditórias. As situações de incerteza e complexidade também podem ser controladas por meio de ferramentas e teorias matemáticas baseadas em probabilidade, graus de evidência, de 31 crença ou de pertinência . Vale lembrar que, apesar dos avanços, a capacidade de processamento dos computadores não é ilimitada e é muito frequente que não seja possível calcular todas as variáveis de um caso, seja porque estas são infinitas, seja porque não há capacidade computacional para a complexidade do problema, seja porque o tempo necessário para o cálculo seria muito demorado, seja, por fim, porque a base de 32 conhecimento é incompleta . Interessante notar que, nessas circunstâncias, o uso de 33 probabilidade é uma estratégia para resumir a incerteza ou acelerar a obtenção de um resultado suficiente ou adequado, ainda que não seja “perfeito” ou exato. Assim, resta evidenciado que a possibilidade de um tema ser processado por meio de computadores não necessariamente exigirá o raciocínio sobre uma base de conhecimento completo e inflexível (raciocínio monótono), pois há técnicas e 34 instrumentos que permitem um raciocínio não monótono , por meio de sistemas aptos a lidar com situações de mudança, imprecisão e incerteza nas quais não é possível deter todas as informações ou nas quais a base de conhecimento esteja sujeita a constantes alterações, como se dá com o conhecimento jurídico. Além disso, a linguagem empregada nos sistemas de Inteligência Artificial não está restrita ao processamento numérico, podendo operar por meio de heurística declarativa 35 e com processamento simbólico . Por exemplo, a PROLOG (programação em lógica), uma das linguagens de programação mais utilizadas em Inteligência Artificial, utiliza linguagem declarativa, baseada na lógica dos predicados (lógica de primeira ordem), Página 7 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? 36 possibilitando a representação de fatos, objetos e relações . Enquanto os programas de computadores tradicionais realizam um processamento numérico, empregando uma linguagem procedimental (procedural), os programas de Inteligência Artificial podem ser construídos utilizando linguagem declarativa, na qual o programador não precisa descrever todo o passo a passo para gerar a solução de um problema, sendo suficiente fornecer a descrição do problema e, com o uso de uma base de dados de fatos e de regras, o sistema, por inferência, tentará computar a solução: “Em uma linguagem procedural, é preciso dizer ao computador exatamente como fazer e o que se deseja que ele faça, enquanto que em uma linguagem declarativa, o programador se concentra mais em dizer ao computador o que deseja que ele faça, sem 37 preocupar muito em dizer-lhe como fazer.” Heurísticas podem ser conceituadas como regras informais de raciocínio, formadas a partir da prática ou da experiência, que permitem definir padrões de comportamento e 38 39 estratégias de ação . Nieva Fenoll explica as heurísticas como uma espécie de “cálculo estatístico intuitivo”, na medida em que representam uma regra inferida pelo ser humano a partir de suas experiências pretéritas. Além disso, afirma que os juízes, na condição de seres humanos, corriqueiramente se utilizam de heurística para a tomada de decisões judiciais. De igual forma, os programas de Inteligência Artificial podem incorporar, mediante aprendizagem de máquina, o conhecimento heurístico, formado pela experiência de especialistas humanos. Outro aspecto a ser considerado no debate sobre a tomada de decisões por máquinas se refere à existência de diferentes níveis de complexidade das decisões judiciais. Parcela considerável dos problemas jurídicos não apresenta dificuldade de subsunção a regras jurídicas (podendo ser chamados de easy cases) ou de identificação e aplicação de precedentes. Dessa forma, por meio do processamento de linguagem natural e de outras técnicas, os sistemas de Inteligência Artificial podem, em tese, propor soluções jurídicas adequadas com boa acurácia, em especial nos casos repetitivos e nas matérias em que haja precedente judicial, uma vez que há maior volume e uniformidade da “base de dados” e a interpretação a ser dada ao caso está mais bem definida. Outra parte dos problemas a serem submetidos ao Judiciário, mais complexa e heterogênea, (ainda) desafia o emprego da Inteligência Artificial na automação de decisões, seja por representar hard cases, trazendo situações limítrofes (zona de penumbra) ou admitindo argumentos contrapostos, seja por demandar um raciocínio jurídico complexo ou a interpretação de texto legal dotado de vagueza ou ambiguidade. Relembre-se que o conflito de regras se resolve geralmente por meio de um raciocínio próximo ao da lógica clássica, por meio do qual se chegará à conclusão de que uma regra é válida ou inválida (critério do tudo ou nada). Já a situação de conflito entre princípios exigirá um juízo comumente chamado de “ponderação”, no qual um princípio prevalecerá no caso concreto, mas sem importar a invalidação do outro, de forma que princípios aparentemente contraditórios conviverão no sistema (o que é admissível, por exemplo, na lógica paraconsistente ou com a metodologia Fuzzy). Assim, um sistema de Inteligência Artificial só conseguirá solucionar uma controvérsia com base em princípios colidentes a partir do momento em que seja capaz de realizar um raciocínio compatível 40 com a “ponderação” . 41 No caso de regras com conteúdos vagos ou indeterminados e cláusulas gerais , o sistema deverá ser capaz de tratar a vagueza dos termos existentes no texto legal, contemplando ferramentas que permitam ao programa identificar e preencher os claros interpretativos com valores que se encontram fora do texto legal, definindo o significado adequado ao caso. Essa tarefa, por óbvio, não é simples de ser realizada por máquinas destituídas da sensibilidade humana, mas a Inteligência Artificial pode auxiliar a parametrizar e uniformizar a interpretação de regras com conteúdos vagos ou indeterminados e reduzir o subjetivismo de decisões judiciais. Por meio de dados estatísticos e de análise de big data, é possível aferir elementos mais objetivos sobre Página 8 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? standards existentes em determinado meio social ou sobre posicionamentos firmados na jurisprudência e na doutrina. Por exemplo, em vez de o julgador afirmar empiricamente que determinado comportamento fere a boa-fé, um sistema inteligente pode analisar uma base de dados que registre milhares de contratos ou milhares de decisões judiciais para apontar se o comportamento do contratante reflete uma prática comercial usual ou 42 se a jurisprudência a admite como lícita . Em resumo ao que foi dito ao longo deste tópico, extrai-se que a ciência envolvida na Inteligência Artificial possui elementos teóricos e ferramentas que ensejam o desenvolvimento de sistemas inteligentes para atuar na área do Direito, inclusive com a automação da atividade decisória. Trata-se, à toda evidência, de um desafio tecnológico muito complexo, e que ainda está em nível inicial, mas os fundamentos para o desenvolvimento dessa tecnologia já existem. 4.Automação e Tomada de Decisão Judicial Conforme apontado, a incerteza semântica dos textos jurídicos e a complexidade e dinamicidade da Ciência Jurídica não são obstáculos intransponíveis para o desenvolvimento da Inteligência Artificial no Direito. Não se está afirmando, todavia, que toda e qualquer decisão judicial possa ser tomada por máquinas (embora, a cada dia, os avanços tecnológicos ampliem esse rol), muito menos que todas as decisões devamser tomadas por sistemas autônomo. A questão não é meramente de viabilidade tecnológica, pois envolve também aspectos jurídicos e éticos que implicarão uma opção política da sociedade sobre se, quais e quando as decisões judiciais poderão ser proferidas por Inteligência Artificial. De acordo com a vontade dos tribunais ou com o que disporá a legislação, e considerando o grau de desenvolvimento da Inteligência Artificial, é possível imaginar a adoção dessa tecnologia na atividade do Poder Judiciário em diferentes níveis de automação, desde um modelo com baixo nível automação, onde a Inteligência Artificial apenas auxilie o trabalho humano, até o mais alto nível de automação, no qual o sistema de Inteligência Artificial pode efetuar a tomada de decisão sem qualquer interferência humana. 43 Sourdin classifica a automação do sistema judiciário em três níveis. No nível mais básico, a Inteligência Artificial é empregada para informar, apoiar e aconselhar o ser humano (tecnologia de apoio). No nível intermediário, a tecnologia pode substituir funções e atividades que antes eram realizadas por seres humanos (tecnologias de substituição). No terceiro nível, a tecnologia se apresenta com potencial de alterar significativamente o modo como os juízes trabalham e de fornecer novos modelos de justiça (tecnologia disruptiva). De forma semelhante, um dos autores do presente artigo propôs, em outro estudo, três níveis de automação das decisões judiciais, segundo a extensão da aplicação da 44 Inteligência Artificial na atividade decisórias . No primeiro nível, a Inteligência Artificial é empregada como ferramenta auxiliar, assistindo a atividade decisória desempenhada pelo ser humano, que permanece com a responsabilidade pela decisão tomada. Isso pode ocorrer por meio da automação das tarefas acessórias ou burocráticas, como a consulta e constrição automatizada de bens via convênios (BACENJUD, RENAJUD, INFOJUD), triagem de processos por assunto, identificação de casos repetitivos, de precedentes vinculantes aplicáveis ao caso etc. Também pode produzir assistência e aconselhamento para a tomada de decisão humana, realizando pesquisas legislativa, jurisprudencial e doutrinária, alertando sobre eventuais equívocos e sugerindo modelos de fundamentação ou até mesmo elaborando minutas de decisão, que, não obstante, serão conferidas pelo julgador humano. Ressalte-se que a maior parte dos atuais sistemas de Inteligência Artificial em operação no Poder Judiciário assume esse modelo de assistência à decisão humana, e deve continuar a ser o modelo prevalente enquanto a Inteligência Artificial não alcançar sua maturidade e comprovar sua confiabilidade na área judicial, eliminando o ceticismo e a insegurança do público acerca da tomada de Página 9 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? decisões por máquinas. Em um segundo nível, a Inteligência Artificial é empregada para a automação da gestão procedimental. Imagina-se, aqui, um modelo de operação no qual o sistema inteligente impulsione autonomamente a marcha procedimental, efetivando atos ordinatórios e até mesmo despachos mais singelos sem a necessidade de conferência humana. A atuação do julgador humano estaria concentrada em pronunciamentos de conteúdo decisório relevante (sentenças e decisões interlocutórias), como a apreciação de tutela provisória, decisão de saneamento e organização do processo e o julgamento do processo. É o que 45 propõe Nieva Fenoll : “Y siendo así, las demandas deberían ser admitidas automáticamente, siendo entregadas a la contraria inmediatamente para su contestación. Solamente la solicitud de medidas cautelares haría precisa la intervención humana en esta fase de alegaciones. Y tras la contestación, de nuevo esa intervención del juez solamente se haría precisa si se formulan excepciones procesales.” No terceiro nível, a Inteligência Artificial seria aplicada na automação da tomada de decisão judicial. Aqui, a tecnologia atua diretamente na atividade-fim de prestação jurisdicional, assumindo o trabalho tradicionalmente atribuído a juízes, decidindo questões processuais e o mérito das demandas, sem interferência ou supervisão humana. Interessante notar que a aplicação da Inteligência Artificial para assistir a atividade realizada por seres humanos normalmente é bem recebida pela sociedade, que vê no uso da tecnologia um meio de imprimir celeridade à tramitação processual e incrementar a eficiência dos serviços judiciais. Em outra direção, o uso da Inteligência Artificial na tomada de decisões judiciais em substituição ao julgador humano é alvo de grande 46 polêmica. Por exemplo, Nieva Fenoll , apesar de vislumbrar vários usos possíveis para a Inteligência Artificial no processo judicial, entende que não convém que os julgamentos, em especial os de natureza criminal, sejam efetuados por máquinas: “La inteligencia artificial es humana, porque la han hecho humanos, incluso aunque sea capaz de ‘aprender’ de los datos que va recopilando. Pero la inteligencia artificial no dicta sentencias. No señala condenados. Puede parecer que lo hace, pero no lo hace, y no puede hacerlo, y por ello no debe hacerlo.” Deve-se ter em mente que o uso da Inteligência Artificial na área jurídica ainda é uma novidade, de forma que os sistemas existentes ainda não dispõem de um nível de desenvolvimento e de confiabilidade que permitam dispensar a supervisão humana. Por exemplo, a experiência registra casos em que os sistemas de Inteligência Artificial se 47 comportam de forma preconceituosa , além do que há questões relativas à auditabilidade dos resultados produzidos por redes neurais artificiais, empregadas em 48 sistemas de machine learning . Nessas circunstâncias, a manutenção do ser humano no controle das decisões confere um certo conforto moral para os jurisdicionados e para a sociedade como um todo, em que pese os julgadores humanos também possam falhar. Destarte, por ora, a associação da Inteligência Artificial com o trabalho humano se afigura como a receita a ser empregada a curto e médio prazo, aproveitando os pontos positivos de cada um: “Se, por um lado, os humanos se sobressaem no senso comum, moral, imaginação, abstração, dilemas, sonhos, generalização; os sistemas de inteligência artificial propiciam mais acurácia em: identificação de padrões, linguagem natural, machine learning, eliminação de preconceitos e capacidade de tratamento de grandes volumes de dados. Em outras palavras, computadores serão capazes de guardar mais informações que os seres humanos, além de identificar teses jurídicas predominantes pelos tribunais em menor tempo, mas isto não significa dizer que terão saídas mais criativas do que nós. Página 10 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? Portanto, unir esses talentos é a verdadeira solução para alcançar êxitos mais 49 contundentes.” Não se pode deixar de ponderar, todavia, que sempre há o risco de a supervisão humana sobre o trabalho da Inteligência Artificial se tornar inefetivo. Isso pode pontualmente ocorrer pela própria falibilidade humana, mas também pode constituir um fenômeno sistemático, em decorrência da desídia do humano revisor, da sobrecarga de trabalho ou por excesso de confiança na tecnologia, em especial após um certo tempo de experiência de revisão com resultados satisfatórios, induzindo um viés de confirmação. Nesse cenário, o julgador que deva conferir o resultado do trabalho da Inteligência Artificial (por exemplo, conferência de minutas automatizadas) pode ficar tentado a simplesmente ratificar o trabalho da máquina, como mera formalidade para validar e “humanizar” a decisão produzida. Situação semelhante pode ser verificada em outras aplicações de Inteligência Artificial. Conforme os aplicativos de trânsito vão ficando mais eficientes, cada vez menos os motoristas questionam as rotas indicadas pelo programa. Em outro exemplo, já há automóveis com avançados sistemas de condução que possibilitam o veículo operar em modo semiautônomo, e já começam a se aproximar da condução totalmente autônoma. Os atuais veículos semiautônomos, entretanto, não estão autorizados a trafegar sem a presença e a atenção de um condutor humano, que continuam a ser exigidas para atuar em situações em que o sistema autônomo não consegue identificar corretamente o ambiente ou agir adequadamente em situações imprevistas. Apesar disso, já foram registrados acidentes nos quais os veículos não foram capazes de identificar um obstáculo qualquer e os condutores, por sua vez, não mantinham a necessária atenção ao tráfego, confiando excessivamente nas potencialidades do sistema semiautônomo. Essa anomalia (falta ou relaxamento da fiscalização) não decorre propriamente do uso da Inteligência Artificial, senão do próprio comportamento humano, pois a crítica também é válida quanto à hipótese de (ausência de) conferência do trabalho elaborado 50 51 por assistentes humanos . Não sem razão, Nieva Fenoll afirma que em muitas ocasiões um juiz é mais mecânico que uma máquina. Focando especificamente na automação da tomada de decisão, já há sistemas de Inteligência Artificial capazes de produzir minutas de decisões, identificando e comparando processos semelhantes, com significativo grau de acurácia. Perceba-se que a partir do momento em que a máquina é capaz de construir uma minuta com um grau de acurácia suficiente, dispensar a revisão humana desse documento e automaticamente publicá-lo como decisão passa a ser uma escolha político-jurídica dos tribunais e da sociedade, mais do que um problema de viabilidade técnica. A questão subjacente nessa 52 escolha reside em definir se o exercício da jurisdição deva ser privativo do ser humano, isto é, se a atividade decisória, como expressão da função típica do Poder Judiciário, pode ser executada por máquinas ou se necessariamente deve ser realizada por juízes humanos. E, complementarmente, deve-se responder se todas as decisões judiciais podem ser automatizadas ou se há decisões que devam permanecer reservadas 53 ao ser humano . Na atualidade, a necessidade de controle humano é defendida, por exemplo, nos Princípios da Inteligência Artificial de Asilomar, cujo item 16 propõe que os seres humanos devem escolher se e como devem delegar decisões à Inteligência Artificial, 54 para alcançar os objetivos por eles escolhidos . 55 Bourcier identifica cinco argumentos que se prestam a justificar o controle das decisões automáticas: a) a decisão só pode provir do homem – nessa linha, justifica-se que só o ser humano é capaz de apreciar um comportamento humano, não podendo a máquina substituí-lo na atividade de julgar. Traduz um argumento filosófico, embasado nos princípios da humanidade e da responsabilidade e no temor da desumanização da decisão, bem como na ideia de que cada homem é um ser único; b) a decisão só pode se fundar em conhecimentos interpretados – a interpretação é uma atividade propriamente humana, máxime quando se trata de um texto normativo; c) nenhum modelo Página 11 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? computacional pode representar ou prever o comportamento humano; d) não há decisão sem autor – a decisão autônoma tem potencial de vulnerar a competência e a responsabilidade do juiz, pois a programação do sistema pode ter a participação de terceiros, bem como porque a máquina não poderia ser autora de sua decisão, pois ou é pré-programada (e a decisão partiria do programador), ou atua apenas como assistente de quem está decidindo; e) determinadas situações tecnicamente simuláveis em computador devem ser excluídas do âmbito de aplicação das decisões automatizáveis (por razões éticas). Cabe contrapor que a Inteligência Artificial é na verdade humana, pois decorre de uma 56 produção do intelecto humano , e é igualmente controlada por seres humanos. A decisão gerada por meio de Inteligência Artificial constitui, em última análise, uma decisão tomada pelos seres humanos que a programaram. Destarte, o argumento de que a máquina não pode decidir a respeito do ser humano apenas faria sentido na remota hipótese de a Inteligência Artificial atingir um grau de desenvolvimento tão alto que a permita adquirir autoconsciência e comandar a sua própria programação, rebelando-se contra o homem. Em todo o caso, não há contemporaneidade na decisão autônoma, pois os critérios algorítmicos que determinarão a tomada de decisão já foram definidos previamente, de forma que se a programação não foi corretamente realizada, ou se houver o surgimento ou alteração de premissas que possam influenciar na decisão, o resultado gerado pela máquina pode deixar de ser adequado. Conforme já sinalizado anteriormente, por ora, a automação da tomada de decisões judiciais é limitada pela complexidade técnica de se traduzir o Direito em linguagem computacional, mas também pela desconfiança sobre a segurança dos resultados de uma tecnologia ainda muito recente, a impor a precaução como um princípio para a adoção dessa tecnologia em setores tão importantes como a prolação de decisões judiciais. Poucos são aqueles que confiariam a uma máquina o julgamento de uma demanda judicial de que são parte, preferindo que seja decidida por um juiz, apesar da característica falibilidade humana. Novamente se pode socorrer ao que ocorre com a condução autônoma de veículos. No nível de automação mais elevado (nível 5), é previsto que a intervenção humana não 57 será necessária , de forma que até mesmo os controles de direção (pedais e volantes) serão desnecessários. Por ora, conforme já relatado, os veículos mais avançados operam no modo semiautônomo, equivalente ao nível 3 de automação veicular. Interessante 58 notar que, segundo indicado por Mider , pesquisas apontam que há uma tolerância muito baixa por parte das pessoas em relação a mortes e ferimentos causados por máquinas autônomas. Esse temor acaba por gerar a expectativa de que os veículos autônomos sejam desenvolvidos em níveis próximos à perfeição antes que sejam autorizados a circular. Por outro lado, a falha humana é causa da maioria dos acidentes automobilísticos, sendo, inclusive, um dos motivos para o desenvolvimento de tecnologias de condução autônoma, pois muitos estudiosos defendem que a redução do número de mortes no trânsito dependerá da retirada do ser humano da direção dos veículos. 59 Nesse contexto, Mider conclui que aguardar por veículos autônomos quase perfeitos poderá significar mais mortes no trânsito, pois basta que os veículos autônomos sejam apenas um pouco mais seguros na condução que os seres humanos para que o número de acidentes evitados seja maior que o número de acidentes causados por eventual falha do sistema autônomo. Como consequência, atrasar o uso da tecnologia no aguardo da eliminação total de falhas pode resultar em um custo econômico e de vidas maior do que o verificado se a condução autônoma fosse empregada mais precocemente, mesmo que algumas falhas ainda ocorressem. De forma semelhante, a partir de certo nível de desenvolvimento da Inteligência Artificial, evitar a automação das decisões judiciais por medo de que a máquina possa gerar resultados falhos pode ironicamente gerar um 60 número maior de decisões judiciais equivocadas, tomadas por humanos . 61 Sourdin prevê que a tecnologia não irá substituir os juízes, “pelo menos não Página 12 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? inicialmente”, pois são muitos os fatores que influenciam a tomada de decisões judiciais, inclusive indução, intuição e capacidade de avaliar o impacto social das decisões. Observa, ademais, que os pronunciamentos judiciais vão além de solucionar um caso específico, pois cumprem um importante papel na educação cívica e na orientação da sociedade: “Os defensores da opinião de que os juízes podem ser substituídos pela IA estão, sem dúvida, desconsiderando o ponto em relação ao que os juízes contribuem para a sociedade para além do julgamento e inclui questões importantes e muitas vezes não 62 examinadas relacionadas ao cumprimento e aceitação do Estado de Direito.” Assim, é provável que a Inteligência Artificial possa assumir parcela da atividade decisória, em especial no julgamento de questões em que a tese jurídica esteja bem delineada, não exigem maior esforço interpretativo, como em casos repetitivos; e 63 também em causas de cunho patrimonial de menor expressão econômica , onde o risco de uma decisão equivocada é menos danosa. Alguns tipos de decisões judiciais deverão permanecer sob o crivo humano, seja por sua complexidade e ineditismo, seja pela importância do direito discutido, em especial quando envolver a definição dos rumos da sociedade, uma vez que a função jurisdicional desempenhada de forma típica pelo Poder Judiciário é uma manifestação do poder soberano (artigo 1º, parágrafo único, e artigo 2º, caput, da Constituição Federal). Provavelmente serão estabelecidos critérios seletivos para a automação das decisões judiciais, como, por exemplo, pela matéria discutida, pelo rito ou fase processual adotados (juizados especiais, execução ou 64 cumprimento de sentença), pela existência de precedentes etc. Como forma de se garantir a supervisão humana, desde logo é possível constatar a tendência de se prever mecanismos de revisão ou recurso para uma autoridade humana 65 contra a decisão judicial tomada de forma autônoma. Sourdin aponta que essa possibilidade é frequentemente citada como um componente necessário de qualquer sistema automatizado de tomada de decisão. De fato, essa preocupação vem sendo espelhada nas principais diretrizes internacionais que visam a criar padrões éticos de criação e operação de sistemas de Inteligência Artificial. Com esse espírito, o item 8 dos Princípios da Inteligência Artificial de Asilomar, ao tratar da transparência judicial, preceitua que qualquer envolvimento de um sistema autônomo na tomada de decisões judiciais deve fornecer uma explicação satisfatória 66 auditável por uma autoridade humana competente . 67 As “Orientações Éticas para uma IA de Confiança” da Comissão Europeia indicam que a supervisão humana é requisito para a construção de uma Inteligência Artificial confiável, devendo ser assegurada a via recursal, bem como mecanismos que possibilitem às as autoridades responsáveis pela aplicação da lei efetuar a revisão da decisão tomada pela máquina: “65) Supervisão humana. A supervisão humana ajuda a garantir que um sistema de IA não põe em causa a autonomia humana nem produz outros efeitos negativos. A supervisão pode ser realizada mediante mecanismos de governação como as abordagens de intervenção humana (human-in-the-loop – HITL), de fiscalização humana ( human-on-the-loop – HOTL), ou de controlo humano (human-in-command – HIC). A abordagem HITL refere-se à capacidade de intervenção humana em todos os ciclos de decisão do sistema, a qual, em muitos casos, não é possível nem desejável. A abordagem HOTL refere-se à capacidade de intervenção humana durante o ciclo de conceção do sistema e de acompanhamento do funcionamento do sistema. A abordagem HIC refere-se à capacidade de supervisionar toda a atividade do sistema de IA (incluindo o seu impacto económico, societal, jurídico e ético mais geral) e de decidir quando e como utilizar o sistema em qualquer situação específica. Tal pode incluir a decisão de não utilizar um sistema de IA numa determinada situação, de estabelecer níveis de apreciação humana durante a utilização do sistema, ou de assegurar a capacidade de anular uma decisão tomada por um sistema. Além disso, deve ser garantido que as Página 13 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? autoridades públicas responsáveis pela aplicação da lei têm a possibilidade de exercer a supervisão em conformidade com o seu mandato. Podem ser necessários mecanismos de supervisão em graus variáveis para apoiar outras medidas de segurança e controlo, dependendo do domínio de aplicação e do potencial risco do sistema de IA. Não havendo alteração das demais condições, quanto menor for a supervisão que um ser humano pode exercer sobre um sistema de IA, maior será a necessidade de sujeitar o mesmo a amplos testes e a uma governação rigorosa (...) 91) Vias de recurso. Quando ocorrer um impacto adverso injusto, deverão ser previstos mecanismos acessíveis para assegurar vias de recurso adequadas. Saber que é possível obter uma via de recurso quando as coisas correm mal é fundamental para garantir a confiança. Deve prestar-se especial atenção a pessoas ou grupos vulneráveis”. Em nível legislativo, o artigo 20 da Lei Geral de Proteção de Dados Pessoais – LGPD (Lei 68 13.709/2018 (LGL\2018\7222)), com a redação dada pela Medida Provisória 869, de 2018 (LGL\2018\12628), convertida na Lei 13.853/2019 (LGL\2019\5777), garante a revisão das decisões automatizadas: “Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade”. Embora a LGPD não se direcione especificamente ao aspecto jurisdicional das decisões judiciais, a referida lei tem aplicação a particulares e ao poder público em sua atuação administrativa, de forma que atinge, por via transversa, as decisões tomadas por sistemas de Inteligência Artificial operados pelos tribunais. Ademais, o respeito às garantias fundamentais também implica o acesso a uma prestação jurisdicional efetiva e adequada, com respeito ao devido processo legal. 5.Considerações Finais O debate sobre o uso da Inteligência Artificial na tomada de decisões judiciais é de curial importância e urgência. O desenvolvimento tecnológico ganha ritmo exponencial e o potencial disruptivo da Inteligência Artificial sinaliza que mudanças sociais profundas podem ocorrer, e em um curto espaço de tempo. Se é verdade que, hoje, os programas de computadores não são tão inteligentes como se pode imaginar, fato é que os sistemas de Inteligência Artificial evoluem a passos largos, inclusive viabilizando a automação do processo de tomada de decisão, ainda que parcial. Nesse diapasão, necessário aprofundar os estudos no sentido de se estabelecer os limites éticos e jurídicos dessa forma de utilização da Inteligência Artificial, assim como avaliar as transformações que ela poderá produzir sobre como o Direito é pensado e aplicado. É confortável se contentar com a tese de que atuação ou, no mínimo, a supervisão humana seja imprescindível para a tomada das decisões judiciais. E, de fato, atualmente se estabelece como uma verdade científica, porém, deve-se acrescentar a ressalva à luz do conhecimento ora vigente. Forçoso reconhecer que as conclusões sobre os limites de utilização da Inteligência Artificial detêm um caráter provisório, derrogável a partir do próprio desenvolvimento da Inteligência Artificial. Perceba-se que as crianças vivenciarão uma sociedade caracterizada por uma forte interação entre os mundos físico e virtual, de forma que o uso da tecnologia e a relação das pessoas com os sistemas de Inteligência Artificial serão encarados com uma naturalidade ainda não experimentada. No futuro, a visão social sobre a possibilidade de máquinas tomarem decisões judiciais e a necessidade de supervisão humana poderá ser bem distinta da atual, a depender, em grande medida, da confiabilidade a ser alcançada pela Inteligência Artificial. Por isso, e até que esteja madura, a implementação da Inteligência Artificial no processo decisório deve ocorrer progressivamente, pautando-se pela precaução, e com constante Página 14 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? acompanhamento dos resultados alcançados, a fim de se assegurar a construção e operação de sistemas confiáveis, dotados de solidez e que respeitem os princípios éticos e jurídicos. Referências ANGWIN, Julia et al. Machine Bias: there’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23 maio 2016. Disponível em: [www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing]. Acesso em: 06.06.2019. ARTERO, Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. ATHENIENSE, Alexandre Rodrigues. As premissas para alavancar os projetos de inteligência artificial na justiça brasileira. Revista de Direito e as Novas Tecnologias, v. 1, out.-dez. 2018. Revista dos Tribunais Online. BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. CAMBI, Eduardo; ALVES, Elidia Aparecida de Andrade; ALVES, Fernando de Brito. Interfaces Artificiais e interpretação judicial: o problema do uso da inteligência artificial e da metodologia fuzzy na aplicação do direito. Revista dos Tribunais, v. 1.010, p. 245-273, dez. 2019. Revista dos Tribunais Online. CASTRO JÚNIOR, Marco Aurélio de. Direito e pós-humanidade: quando os robôs serão sujeitos de direito. Curitiba: Juruá, 2013. COSTA, Newton Carneiro Affonso da. Lógica, informática e direito. In: SERBENA, Cesar Antonio (coord.). e-Justiça e processo eletrônico: Anais do 1º Congresso de e-Justiça da UFPR. Curitiba: Juruá, 2013. FUTURE OF LIFE INSTITUTE. Asilomar AI Principles. Disponível [https://futureoflife.org/ai-principles/?cn-reloaded=1]. Acesso em: 04.12.2019. em: GUTIERREZ, Andriei. É possível confiar em um sistema de inteligência artificial? Práticas em torno da melhoria da sua confiança, segurança e evidências de accountability. In: FRASÃO, Ana; MULHOLLAND, Caitlin (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. São Paulo: Thomson Reuters Brasil, 2019. MARQUÈS, Marina Castells I. Vehículos autónomos y semiautónomos. In: NAVARRO, Susana Navas (dir.). Inteligencia artificial: tecnología derecho. Valencia: Tirant lo Blanch, 2017. MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. MCCARTHY, John et al. A proposal for the Dartmouth Summer Research Project on Artificial Intelligence. AI Magazine, v. 27, n. 4, p. 12-14, 2006. Disponível em: [www.aaai.org/ojs/index.php/aimagazine/view/1904/1802]. Acesso em: 27.09.2019. MEDINA, José Miguel Garcia. Curso de direito processual civil moderno. 4. ed. rev., atual. e ampl. São Paulo: Ed. RT, 2018. MIDER, Zachary. Tesla’s Autopilot could save the lives of millions, but it will kill some people first. Bloomberg Businessweek, 09 out. 2019. Disponível em: [www.bloomberg.com/news/features/2019-10-09/tesla-s-autopilot-could-save-the-lives-of-millions-butPágina 15 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? Acesso em: 02.11.2019. NAVARRO, Susana Navas. Derecho e inteligencia artificial desde el diseño: aproximaciones. In: NAVARRO, Susana Navas (dir.). Inteligencia artificial: tecnología derecho. Valencia: Tirant lo Blanch, 2017. NERY JUNIOR, Nelson. Código Civil comentado. 2. ed. em e-book baseada na 12. ed. impressa. São Paulo: Ed. RT, 2017. NIEVA FENOLL, Jordi. Inteligencia artificial y proceso judicial. Madri: Marcial Pons, 2018. NILER, Eric. Can AI be a fair judge in court? Estonia thinks so. Wired, 25 mar. 2019. Disponível em: [www.wired.com/story/can-ai-be-fair-judge-court-estonia-thinks-so/]. Acesso em: 03.11.2019. ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. RUSSELL, Stuart Jonathan; NORVIG, Peter. Inteligência artificial. Trad. Regina Célia Simille. Rio de Janeiro: Elsevier, 2013. SCHWAB, Klaus. A quarta revolução industrial. Trad. Daniel Moreira Miranda. E-book. São Paulo: Edipro, 2019. SERBENA, Cesar Antonio. Perspectivas de aplicações da inteligência artificial ao Direito. In: SERBENA, Cesar Antonio (coord.). e-Justiça e processo eletrônico: Anais do 1º Congresso de e-Justiça da UFPR. Curitiba: Juruá, 2013. SOURDIN, Tania. Judge v. Robot? Artificial Intelligence and judicial decision-making. University of New South Wales Law Journal, v. 41, p. 114-1133, 2018. Disponível em: [www8.austlii.edu.au/au/journals/UNSWLawJl/2018/38.pdf]. Acesso em: 18.10.2019. TACCA, Adriano; ROCHA, Leonel Severo. Inteligência artificial: reflexos no sistema do Direito. Revista do Programa e Pós-Graduação em Direito da UFC, v. 38.2, p. 53-68, jul.-dez. 2018. Disponível em: [www.periodicos.ufc.br/nomos/article/view/20493/95963]. Acesso em: 04.02.2019. UNIÃO EUROPEIA. Comissão Europeia. Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial Criado pela Comissão Europeia em Junho de 2018. Orientações éticas para uma IA de confiança. Disponível em: [https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai]. Acesso em: 04.12.2019. 1 SCHWAB, Klaus. A quarta revolução industrial. Trad. Daniel Moreira Miranda. E-book. São Paulo: Edipro, 2019. 2 TACCA, Adriano; ROCHA, Leonel Severo. Inteligência artificial: reflexos no sistema do Direito. Revista do Programa e Pós-Graduação em Direito da UFC, v. 38.2, p. 53-68, jul.-dez. 2018. Disponível em: [www.periodicos.ufc.br/nomos/article/view/20493/95963]. Acesso em: 04.02.2019. p. 60. 3 As redes neurais artificiais foram criadas inspiradas no funcionamento dos neurônios, por meio de unidades de processamento conectadas por ligações direcionadas e com pesos específicos, podendo estar dispostas em várias camadas. Por meio de treinamento (supervisionado por humanos ou não supervisionado), essas redes têm a capacidade de reconhecer padrões, possibilitando que estes sejam aplicados a novas situações (generalização), assim como permite a classificação e agrupamento de dados. ARTERO, Página 16 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. p. 121-152. 4 MCCARTHY, John et al. A proposal for the Dartmouth Summer Research Project on Artificial Intelligence. AI Magazine, v. 27, n. 4, p. 12-14, 2006. Disponível em: [www.aaai.org/ojs/index.php/aimagazine/view/1904/1802]. Acesso em: 27.09.2019. p. 12-14. 5 Nesse sentido: RUSSELL, Stuart Jonathan; NORVIG, Peter. Inteligência artificial. Trad. Regina Célia Simille. Rio de Janeiro: Elsevier, 2013. p. 17; ARTERO, Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. p. 15; e CASTRO JÚNIOR, Marco Aurélio de. Direito e pós-humanidade: quando os robôs serão sujeitos de direito. Curitiba: Juruá, 2013. p. 156. 6 “The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it”. MCCARTHY, John et al. A proposal for the Dartmouth Summer Research Project on Artificial Intelligence. AI Magazine, v. 27, n. 4, p. 12-14, 2006. Disponível em: [www.aaai.org/ojs/index.php/aimagazine/view/1904/1802]. Acesso em: 27.09.2019. p. 12. 7 RUSSELL, Stuart Jonathan; NORVIG, Peter. Inteligência artificial. Trad. Regina Célia Simille. Rio de Janeiro: Elsevier, 2013. p. 25. 8 Bourcier (BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. p. 70) enuncia que "los sistemas expertos nacieron en los años setenta y son las herramientas de inteligencia artificial más conocidas y efectivas dentro del campo jurídico. Pueden diagnosticar, aconsejar y asistir en la decisión". Para aprofundamento sobre os sistemas especialistas, vide: Artero (ARTERO, Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. p. 95-105) e Rover (ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 121-154). 9 NAVARRO, Susana Navas. Derecho e inteligencia artificial desde el diseño: aproximaciones. In: NAVARRO, Susana Navas (dir.). Inteligencia artificial: tecnología derecho. Valencia: Tirant lo Blanch, 2017. p. 23. 10 RUSSELL, Stuart Jonathan; NORVIG, Peter. Inteligência artificial. Trad. Regina Célia Simille. Rio de Janeiro: Elsevier, 2013. p. 3-4. 11 RUSSELL, Stuart Jonathan; NORVIG, Peter. Inteligência artificial. Trad. Regina Célia Simille. Rio de Janeiro: Elsevier, 2013. p. 3-4. 12 O algoritmo pode ser conceituado como um conjunto de regras organizadas em sequência lógica, definindo etapas a serem executadas com a finalidade de solucionar um problema: “Un sistema de IA necesita de una secuencia de instrucciones que especifique las diferentes acciones que debe ejecutar el computador para resolver un determinado problema. Esta secuencia de instrucciones es la estructuraalgorítmica que emplea el sistema de IA. Por tanto, ‘algoritmo’ es el procedimiento para encontrar la solución a un problema mediante la reducción del mismo a un conjunto de reglas”. NAVARRO, Susana Navas. Derecho e inteligencia artificial desde el diseño: aproximaciones. In: NAVARRO, Susana Navas (dir.). Inteligencia artificial: tecnología derecho. Valencia: Tirant lo Blanch, 2017. p. 24. 13 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 244. 14 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade Página 17 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 31. 15 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 244. p. 141. 16 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 32. 17 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 141. p. 244. 18 CASTRO JÚNIOR, Marco Aurélio de. Direito e pós-humanidade: quando os robôs serão sujeitos de direito. Curitiba: Juruá, 2013. p. 185. 19 BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. p. 60. 20 BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. p. 41. 21 SERBENA, Cesar Antonio. Perspectivas de aplicações da inteligência artificial ao Direito. In: SERBENA, Cesar Antonio (coord.). e-Justiça e processo eletrônico: Anais do 1º Congresso de e-Justiça da UFPR. Curitiba: Juruá, 2013. p. 45. 22 BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. p. 71. 23 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 76-105. 24 SERBENA, Cesar Antonio. Perspectivas de aplicações da inteligência artificial ao Direito. In: SERBENA, Cesar Antonio (coord.). e-Justiça e processo eletrônico: Anais do 1º Congresso de e-Justiça da UFPR. Curitiba: Juruá, 2013. p. 47. 25 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 34-37. 26 ARTERO, Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. p. 107. 27 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 88. 28 Necessário registrar, todavia, que Cambi, Alves e Alves concluem que a aplicação da tecnologia não poderá substituir a atuação humana: “A metodologia fuzzy e programas com utilização de inteligência artificial podem ser aplicados ou utilizados pelo Poder Judiciário em determinadas situações, quando se faz necessário o estabelecimento de um discurso baseado em levantamentos objetivos (ainda que o universo do discurso se apoie em termos vagos, indeterminados e incertos ou em cláusulas gerais). A tecnologia pode auxiliar na agilização e eficiência da prestação jurisdicional, mas não pode substituir a inteligência e a humanidade dos juízes (human judge), a quem cabe a interpretação e concretização das normas jurídicas”. CAMBI, Eduardo; ALVES, Elidia Página 18 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? Aparecida de Andrade; ALVES, Fernando de Brito. Interfaces Artificiais e interpretação judicial: o problema do uso da inteligência artificial e da metodologia fuzzy na aplicação do direito. Revista dos Tribunais, v. 1.010, p. 245-273, dez. 2019. Revista dos Tribunais Online. 29 COSTA, Newton Carneiro Affonso da. Lógica, informática e direito. In: SERBENA, Cesar Antonio (coord.). e-Justiça e processo eletrônico: Anais do 1º Congresso de e-Justiça da UFPR. Curitiba: Juruá, 2013. p. 23-26. p. 25. 30 SERBENA, Cesar Antonio. Perspectivas de aplicações da inteligência artificial ao Direito. In: SERBENA, Cesar Antonio (coord.). e-Justiça e processo eletrônico: Anais do 1º Congresso de e-Justiça da UFPR. Curitiba: Juruá, 2013. p. 48. 31 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 105. 32 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 36. 33 RUSSELL, Stuart Jonathan; NORVIG, Peter. Inteligência artificial. Trad. Regina Célia Simille. Rio de Janeiro: Elsevier, 2013. p. 423. 34 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 94. 35 ROVER, José Aires. Informática no direito: inteligência artificial. 5. reimp. Curitiba: Juruá, 2010. p. 124. 36 ARTERO, Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. p. 34. 37 ARTERO, Almir Olivette. Inteligência artificial: teoria e prática. São Paulo: Livraria da Física, 2009. p. 49-50. 38 BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. p. 186. 39 NIEVA FENOLL, Jordi. Inteligencia artificial y proceso judicial. Madri: Marcial Pons, 2018. p. 43-60. 40 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 37. Para um exame crítico da questão atinente à “ponderação” entre princípios colidentes, cf. MEDINA, José Miguel Garcia. Curso de direito processual civil moderno. 4. ed. rev., atual. e ampl. São Paulo: Ed. RT, 2018. Cap. I, item 1.1.2. 41 Tanto as cláusulas gerais, quanto os conceitos jurídicos indeterminados se caracterizam pela vagueza, exigindo o reenvio a elementos externos ao texto. Nesse, porém, compete ao intérprete apenas preencher os claros com os valores designados para aquele caso (atividade interpretativa), uma vez que a solução jurídica para o caso já está preestabelecida na lei. Já as cláusulas gerais vão além, atribuindo ao juiz a tarefa adicional de “criar” a solução que lhe parece mais correta ao caso concreto (NERY JUNIOR, Nelson. Código Civil comentado. 2. ed. em e-book baseada na 12. ed. impressa. São Paulo: Ed. RT, 2017). Esse é um desafio adicional ao uso da Inteligência Artificial nas cláusulas gerais, uma vez que estas demandam criatividade na construção da Página 19 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? solução jurídica do caso. Sobre a decisão judicial fundada em expressões vagas ou indeterminadas e cláusulas gerais, cf. MEDINA, José Miguel Garcia. Curso de direito processual civil moderno. 4. ed. rev., atual. e ampl. São Paulo: Ed. RT, 2018. Cap. I, item 1.1.2. 42 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 38. 43 SOURDIN, Tania. Judge v. Robot? Artificial Intelligence and judicial decision-making. University of New South Wales Law Journal, v. 41, p. 114-1133, 2018. Disponível em: [www8.austlii.edu.au/au/journals/UNSWLawJl/2018/38.pdf]. Acesso em: 18.10.2019. p. 1117. 44 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 48-60. 45 NIEVA FENOLL, Jordi. Inteligencia artificial y proceso judicial. Madri: Marcial Pons, 2018. p. 34. 46 NIEVA FENOLL, Jordi. Inteligencia artificial y proceso judicial. Madri: Marcial Pons, 2018. p. 17. 47 O exemplo mais conhecido é o do COMPAS, um programa de avaliação de risco (risk assessment) utilizado por alguns órgãos de justiça criminal nos Estados Unidos para classificar o risco de reincidência de réus. A organização não governamental ProPublica realizou um estudo analítico de mais de sete mil casos de pessoas presas no Condado de Broward, na Flórida, nos anos de 2013 e 2014, verificando os números de reincidência. A pesquisa concluiu que o COMPAS tinha a tendência de atribuir uma classificação de risco mais alta a presos negros, comparativamente aos presos brancos. Nesse sentido, réus negros que não voltaram a reincidir no período de dois anos tinham o dobro de chances de terem sido classificados erroneamente como de alto risco de reincidência (45% contra 23%). Além disso, o percentual de réus brancos classificados como de baixo risco e que cometeram novos delitos nos dois anos seguintes foi quase o dobro do percentual de negros (48% contra 28%). ANGWIN, Julia et al. Machine Bias: there’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 23 maio 2016. Disponível em: [www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing]. Acesso em: 06.06.2019. 48 GUTIERREZ, Andriei. É possível confiar em um sistema de inteligência artificial? Práticas em torno da melhoria da sua confiança, segurança e evidências de accountability. In: FRASÃO, Ana; MULHOLLAND, Caitlin (coord.). Inteligência artificial e direito: ética, regulação e responsabilidade. São Paulo: Thomson Reuters Brasil, 2019. p. 90. 49 ATHENIENSE, Alexandre Rodrigues. As premissas para alavancar os projetos de inteligência artificial na justiça brasileira. Revista de Direito e as Novas Tecnologias, v. 1, out.-dez. 2018. Revista dos Tribunais Online. 50 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 50. Página 20 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? 51 NIEVA FENOLL, Jordi. Inteligencia artificial y proceso judicial. Madri: Marcial Pons, 2018. p. 16. 52 “A jurisdição é uma das funções típicas do Estado, serviço público prestado por um de seus órgãos, o Poder Judiciário, através do processo (cf. arts. 2º e 92 da CF)” (MEDINA, José Miguel Garcia. Curso de direito processual civil moderno. 4. ed. rev., atual. e ampl. São Paulo: Ed. RT, 2018. p. 153). 53 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 50. p. 55. 54 “16) Human Control: Humans should choose how and whether to delegate decisions to AI systems, to accomplish human-chosen objectives”. FUTURE OF LIFE INSTITUTE. Asilomar AI Principles. Disponível em: [https://futureoflife.org/ai-principles/?cn-reloaded=1]. Acesso em: 04.12.2019. 55 BOURCIER, Danièle. Inteligencia artificial y derecho. Barcelona: Editorial UOC, 2003. E-book. p. 165-168. 56 NIEVA FENOLL, Jordi. Inteligencia artificial y proceso judicial. Madri: Marcial Pons, 2018. p. 17. 57 MARQUÈS, Marina Castells I. Vehículos autónomos y semiautónomos. In: NAVARRO, Susana Navas (dir.). Inteligencia artificial: tecnología derecho. Valencia: Tirant lo Blanch, 2017. p. 106-109. 58 MIDER, Zachary. Tesla’s Autopilot could save the lives of millions, but it will kill some people first. Bloomberg Businessweek, 09 out. 2019. Disponível em: [www.bloomberg.com/news/features/2019-10-09/tesla-s-autopilot-could-save-the-lives-of-millions-butAcesso em: 02.11.2019. 59 MIDER, Zachary. Tesla’s Autopilot could save the lives of millions, but it will kill some people first. Bloomberg Businessweek, 09 out. 2019. Disponível em: [www.bloomberg.com/news/features/2019-10-09/tesla-s-autopilot-could-save-the-lives-of-millions-butAcesso em: 02.11.2019. p. 58. 60 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. 61 SOURDIN, Tania. Judge v. Robot? Artificial Intelligence and judicial decision-making. University of New South Wales Law Journal, v. 41, p. 114-1133, 2018. Disponível em: [www8.austlii.edu.au/au/journals/UNSWLawJl/2018/38.pdf]. Acesso em: 18.10.2019. p. 1123-1124. 62 No original: “Proponents of the view that judges can be replaced by AI are arguably missing the point in relation to what judges contribute to society which extends beyond adjudication and includes important and often unexamined issues relating to compliance and acceptance of the rule of law”. 63 Segundo noticia Niler (2019), a Estônia projeta o uso de Inteligência Artificial para o julgamento de causas de pequeno valor (até sete mil euros), inicialmente com foco em disputas contratuais, cabendo, todavia, recurso a um juiz humano. 64 MARTINS, João Paulo Nery dos Passos. Inteligência artificial aplicada à atividade Página 21 A Era da Inteligência Artificial: As Máquinas poderão tomar Decisões Judiciais? jurisdicional. Orientador: José Miguel Garcia Medina. 2020, 144 f. Dissertação (Mestrado em Direito Processual e Cidadania) – Universidade Paranaense – UNIPAR, Umuarama, 2020. p. 59. 65 SOURDIN, Tania. Judge v. Robot? Artificial Intelligence and judicial decision-making. University of New South Wales Law Journal, v. 41, p. 114-1133, 2018. Disponível em: [www8.austlii.edu.au/au/journals/UNSWLawJl/2018/38.pdf]. Acesso em: 18.10.2019. p. 1124. 66 “8) Judicial Transparency: Any involvement by an autonomous system in judicial decision-making should provide a satisfactory explanation auditable by a competent human authority”. “16) Human Control: Humans should choose how and whether to delegate decisions to AI systems, to accomplish human-chosen objectives”. FUTURE OF LIFE INSTITUTE. Asilomar AI Principles. Disponível em: [https://futureoflife.org/ai-principles/?cn-reloaded=1]. Acesso em: 04.12.2019. 67 UNIÃO EUROPEIA. Comissão Europeia. Grupo Independente de Peritos de Alto Nível sobre a Inteligência Artificial Criado pela Comissão Europeia em Junho de 2018. Orientações éticas para uma IA de confiança. Disponível em: [https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai]. Acesso em: 04.12.2019. p. 18-25. 68 Vale anotar que a redação original desse dispositivo exigia que a revisão fosse realizada “por pessoa natural”, mas a expressão foi suprimida pela referida Medida Provisória, de forma que, para os fins da LGPD, está assegurado o direito de revisão, mas sem obrigatoriedade de que esta seja feita por ser humano. Página 22