Javier Mateo, després d'una conversa amb una funcionària experta, planteja el repte que la intel·ligència artificial en l'administració pública de València convertisca els empleats en mers transmissors de decisions algorítmiques, subratllant la necessitat de garantir la capacitat humana de qüestionar-les.
- La intel·ligència artificial ja s'utilitza en les administracions per a analitzar documentació, resumir expedients i preparar textos.
- El risc principal és que els empleats públics esdevinguen transmissors de decisions algorítmiques sense una capacitat real de qüestionar-les.
- És fonamental formar milers d'empleats públics per a saber desconfiar, preguntar i contradir l'algorisme, garantint nous drets als ciutadans.
La IA: Ferramenta o Decisor Final en l'Administració?
Fa unes setmanes, Javier Mateo escrivia sobre les oportunitats que la intel·ligència artificial oferix per a aconseguir una Administració més senzilla, ràpida i pròxima. El seu plantejament inicial era clar: utilitzar la tecnologia per a eliminar tasques repetitives i permetre que els empleats públics dediquen més temps a allò que realment aporta valor. Esta visió, que encara manté, busca optimitzar els processos i millorar l'eficiència del sector públic.
No obstant això, una conversa recent amb una funcionària experta, una d'eixes professionals que fan que el sistema funcione millor, va fer que Mateo reconsiderara un aspecte crucial. La qüestió plantejada per esta experta va ser que el vertader risc no és que la intel·ligència artificial substituïsca els funcionaris, una preocupació sovint expressada. El perill podria ser més subtil: que l'empleat públic continue present, atenent el ciutadà, però que, en la pràctica, es convertisca en un simple transmissor d'una decisió que ja ha sigut presa prèviament per una màquina. Este canvi de rol alteraria significativament la dinàmica de la gestió pública.
La IA ja s'està integrant en el funcionament de les administracions, sovint sense que en siguem plenament conscients [Javier Mateo]. S'utilitza per a analitzar documentació, resumir expedients, preparar textos, interpretar informació o ajudar a elaborar procediments. És raonable pensar que, d'ací a uns anys, la seua presència serà moltíssim major, abastant un rang més ampli de funcions i processos administratius.
El Dilema de la Supervisió Humana Front a l'Algorisme
Per a il·lustrar este dilema, es pot imaginar un sistema capaç d'analitzar milers de sol·licituds d'ajudes i recomanar quines s'han de concedir. Un sistema així podria realitzar esta tasca en segons, creuant una quantitat d'informació que a una persona li costaria dies revisar. En principi, esta capacitat sembla una gran notícia per a l'agilitat administrativa.
Però, què passa si este mateix sistema recomana denegar una ajuda? Qui qüestiona eixa resposta? Sap l'empleat públic per què l'algorisme ha arribat a eixa conclusió? Coneix les dades amb què ha treballat el sistema? Pot detectar que el cas que té davant és una excepció que l'algorisme no ha sabut interpretar correctament? I, potser la pregunta més important, se sentirà realment legitimat per a dir que la màquina s'equivoca?
Este no és un debat menor. De fet, alguns dels mateixos responsables de les companyies que estan desenvolupant els models d'intel·ligència artificial més avançats estan reclamant estos dies que es reduïsca la velocitat en la seua implementació. No proposen apagar la intel·ligència artificial ni detindre la innovació, sinó que advertixen que les capacitats dels models avancen a una velocitat tan gran que es necessita temps per a desenvolupar també els mecanismes que permeten avaluar-los, supervisar-los i utilitzar-los amb seguretat. Si els qui construïxen esta tecnologia creuen necessari fer-se estes preguntes, les administracions públiques també haurien de fer-se-les.
Existix la temptació de convertir la supervisió humana en un mer requisit formal. Suposem que un sistema recomana una decisió i que, al final del procés, un funcionari simplement pulsa un botó per a validar-la. Tècnicament, hi ha una persona supervisant. Però si eixa persona desconeix com s'ha generat la recomanació, no disposa d'elements suficients per a discutir-la o acaba acceptant-la perquè «ho diu el sistema», la supervisió humana existix sobre el paper, però no en la realitat. Ací rau un repte enorme per a la administració pública.
Formació i Drets: Com Garantir la Capacitat de Contradir l'Algorisme
Durant els pròxims anys, serà imprescindible formar milers d'empleats públics en l'ús d'estes ferramentes. Però la formació no hauria de limitar-se a ensenyar-los a utilitzar-les. Han de saber desconfiar-ne quan siga necessari, a preguntar, a comprovar i a contrastar la informació. I, arribat el cas, a portar-los la contrària. Encara que puga semblar una expressió poc tècnica, esta idea és fonamental: s'ha de garantir el dret i la capacitat a portar-li la contrària a l'algorisme. Això no ha de ser una excepció que s'haja de justificar contínuament, sinó una part normal de la responsabilitat professional.
Esta perspectiva implica també reconéixer nous drets als ciutadans. Si una intel·ligència artificial ha tingut una intervenció rellevant en una decisió administrativa que afecta un ciutadà, este hauria de tindre dret a saber-ho. I si eixa decisió li perjudica, ha de poder conéixer els criteris utilitzats i, sobretot, trobar a l'altra banda una persona capaç de revisar-la i oferir una explicació humana i raonada.
Per tot això, la ciutat de València hauria de plantejar-se seriosament l'ús responsable de la intel·ligència artificial en la seua administració. No es necessita un altre document ple de bones intencions, sinó un compromís real amb la formació dels seus professionals i la garantia dels drets ciutadans en l'era digital.