Terra Magazine

os tres primeiros textos desta série descreveram alguns cenários, de guerra a futebol, onde há evidências consideráveis de que robôs terão uma participação no futuro. menos em futebol do que em guerra, talvez infelizmente. mais em trânsito do que na sala de aula, talvez felizmente. qualquer que seja o campo, toda discussão informal sobre robótica inteligente [inteligente mesmo, bem mais do que máquinas de solda em montadoras] passa pelas chamadas “leis” da robótica, primeiro formuladas por isaac asimov.

asimov foi um dos mais prolíficos e sofisticados autores de ficção científica de todos os tempos. como parte de sua produção, há um grande número de textos que gira ao redor dos problemas práticos [e psicológicos] de robôs ideais, construídos para operar segundo regras românticas, as tais “três leis”, publicadas pela primeira vez em "run around", de 1942.

as leis são muito simples, e representam uma certa hierarquia de valores [antropocêntricos]: 1ª lei: um robô não pode ferir um ser humano ou, por omissão, permitir que um ser humano sofra algum mal;  2ª lei: um robô deve obedecer as ordens que lhe sejam dadas por seres humanos, exceto nos casos em que tais ordens contrariem a primeira lei; 3ª lei: um robô deve proteger sua própria existência desde que tal proteção não entre em conflito com a primeira e segunda leis.

as leis dizem que os robôs [ideais, ou “de asimov”] estão sujeitos às nossas vontades, desde que estas não impliquem em causar mal a outros humanos e que, garantidas estas condições, os robôs devem cuidar de sua própria subsistência. há um grande número de variações das leis, parte delas de autoria do próprio asimov, que tempos depois incluiu um lei “zero”, determinando que robôs não podem agir no interesse de humanos como indivíduos; devem agir no interesse de toda a humanidade. a idéia, aqui, era elevar o interesse coletivo acima do individual, tornando os robôs um bem universal e não um benefício pessoal para um ou outro humano.

porque tais leis podem ser consideradas ingênuas? porque alguém poderia construir um robô armado e… burro. o exemplo da torre de vigia robotizada que supostamente está sendo usada na fronteira entre as coréias é claro: trata-se de uma máquina de matar gente, que pode –ou não- ter humanos no processo de tomada de decisão. veja o caso desta máquina de paintball: no jogo, é mortífera. sem humanos no controle. somos simples e puros alvos. nada mais.

o primeiro e segundo texto desta série trataram cenários em que robôs autônomos podem ter a capacidade de eliminação de seres humanos [sem humanos para tomar a decisão…] e, pior, onde estas coisas podem fugir de nosso controle e passar a tomar decisões que estejam fora dos planos originais [por mais violentos que tenham sido] de seus construtores e donos.

na série, até agora, muitos comentaram que os engenheiros trabalhando em tais projetos deveriam procuram algo mais interessante para fazer, como minorar a fome do mundo. o comentário deve ser levado em conta, mas é primário e ingênuo. tecnologia é, quase sempre, o possível, agora. se for possível fazer robôs [armados] que vigiam lojas, casas, prédios, bases e fronteiras, eles serão feitos. e usados.

nosso problema é outro. assumindo que tais sistemas começam a aparecer, quais são as regras às quais eles, seus donos, projetistas e fabricantes deveriam estar sujeitos?… dentro de tais regras, quem é responsável pelo que, em que termos? se um bug no software de um robô levá-lo a atirar em alguém, de quem será a culpa? principalmente se o robô for completamente autônomo? se for, será que é possível impedir que uma máquina seja hackeada para se comportar de uma forma não prevista anteriormente? como? nesta discussão, temos que necessariamente descer ao ponto de  discutir se um robô [autônomo] deveria ter “porte de arma” ou não.

neste contexto, que por sinal é o atual, as leis de asimov não servem para nada. as mudanças feitas no conjunto original de leis por roger clarke também não resolvem o caso, pois clarke continua assumindo [em seu texto de 1993/94] que os robôs são necessariamente “do bem”. não são. e olha que clarke tem uma lei que considera que robôs podem projetar e construir outros robôs…

num artigo bem recente, yueh-hsuan weng, chien-hsun chen e chuen-tsai sun propuseram, no topo das “inteligências” que robôs muito sofisticados [autônomos, conscientes] poderiam vir a ter, uma inteligência de “segurança”, que tornaria tais máquinas seguras num ambiente majoritariamente humano e, claro, antropocêntrico [onde as prioridades, a ética, a moral, os meios e métodos… e tudo mais são estabelecidos ao redor de demandas e satisfação humanas].

de forma muito clara, os robôs que a toyota e muitos outros vão tentar vender para nossas casas hão de se guiar por regras parecidas com as de weng et al. os robôs da toyota são baseados em “harmonia com as pessoas” que, apesar de não garantir que tudo vai dar certo e nunca haverá um acidente fatal envolvendo um robô da marca, pelo menos nos dizem que a marca japonesa vai tentar, no limite da sua competência, cumprir a promessa.

no lado oposto, há robôs sendo feitos para tratar humanos como alvo. sobre estes, é urgente impor regras como as de john canning, da marinha americana, que propõe que os robôs podem entrar em combate autônomo entre eles mas, quando o alvo for humano, têm que solicitar a ajuda de um humano para tomar a decisão de atirar ou não. um diagrama explicando o básico das regras de canning é mostrado a seguir.

a matriz de canning baliza o comportamento de robôs autônomos armados em situações onde haja pessoas e “coisas” [inclusive outros robôs]. se, no ambiente, só há coisas que são objetivos militares válidos, sinal verde e o pau canta, literalmente. se há pessoas e coisas que são objetivos válidos, os robôs devem mirar as coisas e pedir autorização superior para detonar as pessoas. em qualquer outra situação, os robôs não devem fazer nada, exceto se defender caso estejam sendo atacados.

não se sabe, ao certo, que conjunto de algortitmos implementariam tal capacidade de decisão e como eles seriam provados corretos na prática e em todas as situações.

tenho minhas dúvidas, face ao tamanho do esforço, se isso será possível algum dia. independentemente disso, sistemas robóticos armados continuarão sendo construídos de forma acelerada pelos países mais ricos, até porque diminuem o risco humano e político da guerra. mau sinal.

certo mesmo é que vamos enfrentar uma ampla discussão sobre ética robótica nas próximas décadas, inclusive porque poderemos, no médio prazo, construir máquinas capazes de raciocinar e tomar decisões de forma mais “esperta” [no sentido humano] do que nós próprios.

uma das atitudes subdesenvolvidas mais clássicas, em casos como este, é fingir que o assunto –de tão ameaçador ou complexo- não é conosco; dá-se uma de avestruz, a enfiar a minúscula cabeça na terra e deixar de fora e bem visível um traseiro –um alvo- centenas de vezes maior. nunca dá certo.

ao contrário, a associação americana de inteligência artificial encomendou a um painel de cientistas, mencionado no segundo texto desta série, um estudo sobre… expectations and uncertainties about the development of increasingly competent machine intelligences, including the prospect that computational systems will achieve “human-level” abilities along a variety of dimensions, or surpass human intelligence in a variety of ways.

se existe a possibilidade de sistemas computacionais poderem, em futuro próximo, atingir níveis de performance igual ou superior aos humanos em um número de áreas, talvez se deva –todos nós, em todo o mundo- ajudar a escrever o livro de regras debaixo dos quais tais inteligências artificiais vão se comportar. na escola e na estrada, na casa e no escritório, na brincadeira, no hospital, no jogo, na guerra e na paz.

antes que elas próprias queiram escrever o livro de regras. talvez todas as regras.

[acima, níveis de necessidade humanos {de acordo com maslow}, níveis correspondentes para um robô de pesquisa da nec e exemplo de atitude do robô quando seu nível de satisfação é baixo e ele realiza uma ação para aumentá-lo.]

robocup é o nome da família de campeonatos mundiais de futebol de robôs. por enquanto, é jogado entre eles e os melhores lances das partidas decisivas são, no mínimo, risíveis. quer ver? clique no vídeo abaixo.

se você viu o show , deve ter notado que, na abertura, uma galera chega ao estádio num carro dirigido por um… robô. trata-se de junior, segundo lugar no darpa urban challenge de 2007, cujo desafio era fazer um carro autônomo atravessar uma cidade [imaginária]. breve, nas rotas da sua vida, ônibus e táxis sem motoristas e, mais longe, já que motoristas amadores são tão perigosos, podem acabar proibindo você de dirigir seu próprio carro, que será um robô. enquanto não rola, veja alguns outros vídeos da última copa mundial em graz, na áustria, neste link.

a rede mundial de instituições de ensino, pesquisa e desenvolvimento, inovação e empresas, de dezenas de países [incluindo o brasil] tem um objetivo muito imodesto: em 2050 [ano de copa do mundo!] ter criado um time de robôs humanóides completamente autônomos capaz de vencer a seleção [humana] campeã mundial. não é pouca coisa. mas, daqui pra lá, são mais de quarenta anos. a favor dos robôs.

em se tratando deles, vamos lembrar o que disse um dos comandantes responsáveis pelo programa de sistemas autônomos das forças armadas americanas, citado no primeiro texto desta série: segundo o tenente-general david deptula, o que nós estamos vendo hoje, comparado com o que está por vir nos próximos 30 anos, “são os anos 1920”…

e tempo, aqui, faz uma grande diferença. quando se compara os quarenta anos entre 1965 e 2005, a evolução exponencial das capacidades de processamento, armazenamento e comunicação fez com que, pelo mesmo dinheiro da década de 60, se comprasse um sistema um bilhão de vezes mais poderoso quarenta anos depois.

considerando os avanços atuais, quando se dobra a capacidade de processamento pelo mesmo preço a cada treze meses, e medindo a partir do mesmo 2005, em quanto tempo compraríamos, pelo mesmo preço da metade desta década, um sistema um bilhão de vezes mais capaz? meros 25 anos; em 2030 será possível comprar, por dois mil reais de hoje, um laptop cuja capacidade de processamento [e não, note bem, a “inteligência”] será igual à de um cérebro humano.

ao redor de 2050, ano do possível embate futebolístico entre humanos e robôs, os mesmos dois mil reais serão capazes de comprar uma capacidade de processamento igual à de todos os humanos vivos, juntos. onze craques robóticos, a dois mil reais por cérebro, mais estrutura, sensores e atuadores… vamos imaginar astronômicos duzentos mil reais por “jogador”. no brasil de hoje, é o preço de pebolistas da série C do brasileirão. dois milhões daria pra montar um time inteiro de máquinas. pra ganhar da seleção campeã mundial?… que teria, entre muitos outros um kaká de cento e cinquenta milhões de reais?

das duas, uma: não vai haver, nunca, um robô jogando como um kaká ou cristiano ronaldo e craques como eles vão comandar valores astronômicos em seus contratos para sempre. ou vai haver, algum dia [julho de 2050?], robôs jogando como kaká e o futebol [e a vida] terá mudado para sempre. incluindo os salários dos jogadores humanos…

e hoje, onde estamos? o prêmio de vídeo mais inovador da última ijcai, uma das mais reputadas conferências mundiais de inteligência artificial, foi para um robô, ACE [autonomous city explorer, explorador autônomo de cidades] capaz de andar [ou melhor, rodar] sozinho, por cerca de 1.5km, atravessando uma parte do centro de munique. veja o vídeo.

há um detalhe não trivial a observar: ACE não tem acesso a mapas da cidade, dados de GPS, falhas do pavimento… e tem que interagir com pessoas que lhe indicam, com sinais, como se movimentar para chegar a seu destino. no experimento que gerou o vídeo, ACE está imerso em um ambiente essencialmente humano e interage com gente o tempo todo. e chega onde queria chegar.

é um bom começo. tem mais quatro décadas pra parecer gente e fazer o mesmo e mais, realmente sozinho, se possível driblando que nem os melhores humanos do mundo. se chegar lá, vamos precisar das regras que você poderá ler ao clicar na imagem abaixo.

asilomar, califórnia, fevereiro de 2009: um seminário de alto nível, reunindo alguns dos principais especialistas em inteligência artificial do planeta, discute se deveríamos impor limites às pesquisas que podem levar à perda de controle humano sobre sistemas computacionais autônomos. estamos falando de sistemas que começam a realizar um conjunto cada vez maior de funções que nos acostumamos a pensar privativas de pessoas como nós, tipo conversar ao telefone, dirigir veículos, realizar funções sofisticadas como acompanhante, assistente ou secretária e… ir à guerra.

neste último quesito, o grupo de asilomar concluiu que… robots that can kill autonomously are either already here or will be soon: já existem ou existirão, muito em breve, robôs que capazes matar de forma autônoma. isso significa, em português bem claro, máquinas capazes de selecionar um alvo que atenda seus objetivos [supostamente definidos por humanos] e eliminá-lo, sem que para isso seja preciso intervenção humana.

no fim de 2007, o departamento de defesa dos estados unidos publicou um documento [Unmanned Systems Roadmap: 2007-2032] que define a estratégia americana para “guerra sem gente”, que não é pura e simples aventura dos generais no campo de tecnologia. a lei 106-398, aprovada pelo congresso em 2001, define na seção 220 que, a partir de 2010, um terço das aeronaves em operações “deep strike” [sem cobertura, em território hostil] sejam não tripuladas e, para 2015, determina que um terço de todos os veículos de combate terrestre sejam não tripulados.

em 2007, uma nova lei [a 109-364] passou a exigir [na seção 941.2] que os comandantes militares, ao contratar o desenvolvimento de um sistema tripulado, se certifiquem que as demandas do programa correspondente não podem ser atingidas por sistemas não tripulados. o plano de longo prazo para sistemas militares não tripulados é uma exigência legal que, talvez nos EUA mais do que por aqui, mandada pelo legislativo, deve ser cumprida pelo executivo.

algum problema nisso? o “roadmap” original e sua revisão, de 2009 [cuja capa você vê na figura abaixo] não mencionam a palavra ética uma vez sequer. mas, você diria, guerra tem ética? tem sim. a guerra tem leis e regras de engajamento, e deixar de cumpri-las torna os marginais criminosos de guerra, como foi o caso de slobodan milošević.

um estudo da calPoly [Autonomous Military Robotics: Risk, Ethics, and Design], preparado para a marinha americana, começa…

Imagine the face of warfare with autonomous robotics: Instead of our soldiers returning home in flag‐draped caskets to heartbroken families, autonomous robots—mobile machines that can make decisions, such as to fire upon a target, without human intervention—can replace the human soldier in an increasing range of dangerous missions: from tunneling through dark caves in search of terrorists, to securing urban streets rife with sniper fire, to patrolling the skies and waterways where there is little cover from attacks, to clearing roads and seas of improvised explosive devices (IEDs), to surveying damage from biochemical weapons, to guarding borders and buildings, to controlling potentially‐hostile crowds, and even as the infantry frontlines.

…criando um cenário de guerra cada vez mais sem seres humanos e, em parte, sem intervenção humana em sua condução. um pouco mais na frente, o relatório alerta para os problemas embutidos no cenário…

Technology, however, is a double‐edge sword with both benefits and risks, critics and advocates; and autonomous military robotics is no exception, no matter how compelling the case may be to pursue such research. The worries include: where responsibility would fall in cases of unintended or unlawful harm, which could range from the manufacturer to the field commander to even the machine itself; the possibility of serious malfunction and robots gone wild; capturing and hacking of military robots that are then unleashed against us; lowering the threshold for entering conflicts and wars, since fewer US military lives would then be at stake; the effect of such robots on squad cohesion, e.g., if robots recorded and reported back the soldier’s every action; refusing an otherwise‐legitimate order; and other possible harms.

…incluindo responsabilidades das partes envolvidas [inclusive as das máquinas, claro], captura e hacking de robôs, possivelmente convertidos em inimigos de seus donos originais, o efeito de robôs em grupos de batalha mistos [humanos e máquinas] e a maior “facilidade” de entrar em guerra, devido ao menor número de vidas [e risco, inclusive político] envolvido.

o estudo da calPoly não é mero exercício acadêmico. as máquinas estão indo à guerra: não estamos discutindo se deveríamos usar robôs em conflitos, qual santos dumont refletindo sobre usos militares de uma de suas invenções. precisamos discutir e avaliar, rápida e profundamente, quais são as consequências dos sistemas autônomos e robôs na guerra, realidade que nos afeta agora.

o orçamento americano para sistemas de defesa “não tripulados” é de pelo menos US$20B para o período 2009-2013. os americanos têm centenas de UAV e milhares de outras máquinas de todos os tipos. mas, se o orçamento americano é, disparado, o maior do mundo para tais sistemas, estima-se que outros quarenta países e organizações [como o hezbollah, há anos] tenham acesso, hoje, a UAVs, veículos aéreos de ataque não tripulados como os que mostramos no primeiro texto da série.

ao contrário de artefatos nucleares, de dificílima obtenção e alvo de severa fiscalização e controle, sistemas autônomos e inteligentes podem ser construídos e programados por muita gente, em qualquer lugar e para quase qualquer tipo de situação. o conhecimento correspondente está publicado em livros, jornais e revistas, existe em muito larga escala na internet e os sub-sistemas e componentes necessários para construir um UAV de ataque podem ser adquiridos com facilidade. exagerando, é como construir um aeromodelo [muito] sofisticado. qualquer dia destes, pode esperar, vamos vê-los em ação no maior conflito urbano brasileiro, a guerra pelo controle do tráfico no rio de janeiro. e nas mãos de vários lados.

voltando a asilomar, e se máquinas capazes de matar estiverem mesmo soltas por aí… e não forem maluquices situadas em distopias datadas em um futuro remoto?… você já ouviu falar de um certo robô [fixo] de patrulha de fronteira da coréia do sul? o país gasta 120.000 homens-ano para patrulhar sua fronteira com a belicosa coréia do norte e a taxa de natalidade local está caindo. daí pra alguém pensar em automatizar o processo, foi um pulo. veja o vídeo abaixo.

pelo que se sabia, o robô seria produzido pela samsung e já deveria estar sendo usado na fronteira entre as coréias. mas, de repente, não se falou mais disso e a informação sobre o “produto” deixou de constar da página da subsidiária da samsung que, em tese, o produz. será que este é um daqueles sistemas que o grupo de asilomar diz que “já existe”?…

a imagem à esquerda não é exatamente um robô; trata-se de um predator, um “avião” do tipo UAV [unmanned aerial vehicle, ou VANT, veículo aéreo não tripulado, em português], disparando um míssil hellfire, ou fogo do inferno, em algum lugar do planeta. de acordo com seus alvos prediletos, o taliban e a al-qaeda, o “sistema” [e não veículo] predator é muito mais preocupante do que tanques, aviões normais ou qualquer outra coisa que mata, no ar, na terra no mar. o predator é o irmão menor do reaper; somando um e outro, há pelo menos 210 deles em operação nas forças armadas dos EUA. abaixo, outra foto do predator, cortesia do timesOnline.

segundo o timesOnline, dois dias depois de sua posse o presidente obama já estava dando ordens para que suas forças no afeganistão usassem os UAV contra alvos no paquistão, onde, teoricamente pelo menos, não há uma guerra contra os EUA e na direção de onde, também em tese, não se poderia atirar. os hellfire disparados por predators já mataram, com sua carga explosiva de fragmentação de 4kg, centenas de pessoas no paquistão.

segundo fontes paquistanesas… 687 civilians have been killed along with 14 Al Qaeda leaders in some 60 drone strikes since January 2008 — just over 50 civilians killed for every Al Qaeda leader. nossa atenção, na frase, deve ser para o “just”, que quer indicar, ao que parece, que “só” cerca de 50 civis foram mortos para cada líder da al qaeda, como se isso desse um ar de normalidade ao quase certo assassinato, à distância, de seres humanos como eu e você.

por enquanto, veículos como os predators são comandados por seres humanos. numa reportagem recente [de 24/jul] a cnn explica, no detalhe que é possível para sistemas e operações do tipo, como a coisa funciona. os “pilotos” dos predator que “lutam” no oriente estão em bases continentais nos EUA, como creech, nevada, para onde vai, nos seus dias de trabalho, o major morgan andrews. segundo a cnn, depois de beijar a mulher e dirigir uma hora de carro… within minutes [he] could be killing insurgents on the other side of the world. você pode ver vídeos das ações dos pilotos de creech, detonando o outro lado do mundo, neste link.

tudo remoto, limpo, impessoal, matando insurgentes e não pessoas, sem qualquer risco [a não ser a perda do predator], do ar condicionado de uma sala em nevada, no expediente… e depois é só dirigir de volta pra casa, beijar a mulher, ajudar os filhos nas tarefas da escola… que amanhã tem, de novo, tudo igual. só mais uns alvos a eliminar ali e acolá.

os UAV como o predator têm se mostrado tão eficazes que o secretário de defesa dos estados unidos, robert gates, anda dizendo que os F35, a próxima geração de aviões de caça dos EUA, serão, também, suas últimas máquinas tripuladas. segundo um alto comandante da inteligência da força aérea americana, o que nós estamos vendo hoje, comparado com o que está por vir nos próximos 30 anos, “são os anos 1920”… pra comparar, veja a imagem abaixo: são de havilland DH9A, da royal air force, nos anos 1920. talvez a gente devesse estar mais preocupado…

segundo o tenente-general david deptula, sistemas deste tipo estão… destined to work with decreasing human input. em bom português, sistemas como o predator e seu irmão maior, o reaper, estão destinados a depender, cada vez menos, de decisões e controles humanos. até que ponto? ao ponto de serem completamente independentes? e quais seriam as possíveis consequências? em que prazo e para quem? e se eles “fugirem do nosso controle”?…

é isso que vamos discutir durante a semana. você pode acompanhar as pílulas da discussão [entre outras muitas coisas] em twitter.com/srlm.

enquanto o próximo texto não vem, veja o vídeo abaixo, do bigDog, um “cão-robô” que está sendo desenvolvido para o exército americano. vá até o fim do vídeo; a coisa é capaz de carregar 150kg em inclinações de até 35 graus. e a idéia é que ele seja o “melhor amigo” dos soldados…

pegue um besouro, daqueles dos quais se diz que todas as leis da aerodinâmica garantem que não deveria voar de jeito nenhum, mas que voa. junte algum hardware, software, imaginação, financiamento da principal agência americana de projetos de defesa e você tem… um besouro cyborg controlado por rádio como o da figura. cada besouro sofreu um implante que contém um receptor, um microcontrolador, microbaterias e seis eletrodos, conectados no cérebro. o rádio captura os comandos enviados por um operador remoto, os comandos são processados pelo computador instalado no besouro, que finalmente os envia aos implantes instalados em partes apropriadas do cérebro do besouro, "controlando" o inseto. os operadores podem fazer o besouro levantar vôo, fazer curvas e pousar. os besouros maiores podem ser vetores de cargas úteis como microcâmeras.

o objetivo atual é controlar um besouro num raio de cem metros, fazendo com que o inseto possa servir para missões de observação. a se acreditar nos mais alarmados, o pentágono pode estar pensando em usar tais tipos de soldados para transportar armas reais, como microcápsulas de agentes bioquímicos. e não vai adiantar usar repelente, nestes casos.

entre 1965 e 2005, a capacidade computacional, pelo mesmo preço, aumentou um bilhão de vezes, com o tamanho dos sistemas de referência diminuindo 100.000 vezes no período. o que só era possível, então, em um gigantesco computador de pesquisa, passou a ser realizável, quarenta anos depois, em um mero celular. e a capacidade computacional, novamente pelo mesmo preço, estará aumentando outro bilhão de vezes entre 2005 e 2030; se levamos 40 anos para aquele primeiro aumento de um bilhão de vezes, levaremos apenas 25 para outra escalada do mesmo porte. as coisas estão ficando muito mais rápidas.

agora pense: se estão conseguindo controlar um besouro por rádio, hoje, transformando o inseto em um avião de controle remoto, porque não seria possível, no curto prazo, criar um besouro-cyborg verdadeiramente autômo, capaz de cumprir missões de guerra e paz sem interferência externa, a não ser receber as ordens a seguir?… e se lembre que, apesar do ciclo de vida dos insetos, hoje, ser muito curto, isso não é nada que não se possa resolver reprogramando a biologia dos bichos. admirável mundo novo…