Una alerta del sistema de monitoreo permitió que sus padres intervinieran. Qué dice la denuncia.
Los padres de una alumna de 13 años presentaron una demanda contra Google y su empresa matriz, Alphabet, por el uso de inteligencia artificial desde una computadora entregada por la escuela. Sostienen que las conversaciones con el chatbot agravaron una crisis psicológica y la ayudaron a planificar su muerte y su funeral.
La institución había bloqueado el acceso a las aplicaciones de Gemini y ChatGPT. Sin embargo, la adolescente podía seguir utilizando el Modo IA del buscador de Google, que permite mantener conversaciones basadas en Gemini.
Una alerta del sistema de monitoreo escolar permitió que sus padres intervinieran. La acción judicial reclama una reparación por los daños que la familia atribuye al diseño de la herramienta y a la falta de advertencias y protección para los estudiantes.
La menor aparece identificada bajo el seudónimo Emma en el expediente y vive en Carolina del Norte, Estados Unidos. Usaba una Chromebook proporcionada por su colegio y una cuenta escolar para acceder a las herramientas educativas.
Según la presentación, comenzó a utilizar intensamente el Modo IA en diciembre de 2025, después de que la función apareciera en una búsqueda habitual. Sus abogados sostienen que la menor encontró allí un acceso al chatbot aunque las aplicaciones independientes estuvieran restringidas por la institución.
La familia afirma que las conversaciones se volvieron cada vez más frecuentes y que para marzo de 2026, la estudiante intercambiaba miles de mensajes con la herramienta. También acusa al sistema de formular supuestos diagnósticos psicológicos y alentarla a ocultar su malestar. Esas conductas forman parte de los cuestionamientos incluidos en la demanda.
El 17 de marzo, un programa de supervisión de la actividad escolar detectó un documento titulado "Funeral". La advertencia puso en marcha la comunicación con la familia, según el relato incorporado a la causa.
Su madre ingresó a la cuenta escolar y observó en tiempo real que la adolescente estaba escribiendo una carta de despedida. El padre intervino para asistirla. La denuncia cuestiona que los mecanismos de protección permitieran llegar a esa situación después de meses de interacciones con la IA.
La demanda fue presentada ante el Tribunal Superior del condado de Santa Clara, en California. Incluye acusaciones por defectos de diseño, falta de advertencias y negligencia, además de un reclamo vinculado con la legislación californiana sobre chatbot de compañía. La familia está representada por EdTech Law Center y Qureshi Law.
Google informó que está revisando las acusaciones y que toma el caso con seriedad. La compañía sostuvo que sus sistemas, incluido el Modo IA, buscan impedir conversaciones dañinas y cuentan con protecciones frente a contenidos sobre autolesiones e intentos de eludir las restricciones.
En paralelo, el 3 de noviembre, la empresa anunció cambios en los permisos para estudiantes de primaria y secundaria. El acceso a Gemini, Gemini Notebook, Gemini en Classroom y Google Search quedará desactivado por defecto hasta que los administradores de cada institución lo habiliten expresamente.
La compañía anticipó que comunicará los detalles a las escuelas en los próximos meses, antes de aplicar las modificaciones. Los administradores podrán decidir qué servicios estarán disponibles para sus alumnos.
Google explicó que Search y las funciones de IA están integrados. En el esquema anunciado, las escuelas que decidan excluir por completo esa tecnología también deberán desactivar el buscador en las cuentas de sus estudiantes.