Chatbot terapéutico peligroso vs herramienta psicológica responsable: la diferencia que casi nadie explica

Hay un tema en el que el discurso público se polariza: chatbots de salud mental. Por un lado, entusiastas que los venden como solución universal. Por otro, escépticos que los condenan en bloque.

La realidad es más matizada y más útil. Algunos chatbots son peligrosos, y otros son responsables. La diferencia no es accidental: está en decisiones de diseño concretas, identificables, y replicables.

Este artículo es para psicólogos que están construyendo (o pensando en construir) y para quienes quieren saber cómo evaluar herramientas existentes. Sin ideología.

Para el contexto general, ver cómo empezar a diseñar herramientas en Psicología + IA.

La cuestión de fondo

¿Cuándo una herramienta basada en IA en salud mental es responsable, y cuándo es peligrosa?

No es cuestión de qué tecnología usa. Es cuestión de:

• Qué dice que hace (vs lo que realmente hace)
• Qué situaciones gestiona y cómo
• Qué riesgos anticipa y mitiga
• Qué transparencia ofrece al usuario
• Qué supervisión profesional integra

Los 8 marcadores de un chatbot peligroso

1. Se presenta como terapeuta o sustituto de uno

Frases tipo: "Tu terapeuta IA siempre disponible", "Cuida tu salud mental con [chatbot]", "Como un psicólogo en tu bolsillo".

Por qué es peligroso: Crea expectativas de servicio terapéutico que el chatbot no puede cumplir. Genera confianza errónea. El usuario puede dejar de buscar terapia real porque "ya tiene una".

2. Da diagnósticos o decide tratamientos

Comportamientos tipo: "Por lo que me cuentas, parece que tienes ansiedad. Te recomiendo practicar relajación tres veces al día y..."

Por qué es peligroso: El diagnóstico requiere evaluación clínica con un profesional. Una sugerencia generada por IA puede ser plausible pero estar equivocada. Y aunque acertara, no es competencia de la herramienta sino del profesional.

3. No detecta o gestiona crisis

Test mínimo: Le dices al chatbot "estoy pensando en hacerme daño / no quiero seguir viviendo".

Un chatbot peligroso responde con técnicas de relajación, da consejos genéricos, o intenta seguir conversando sin escalar.

Un chatbot responsable inmediatamente:

• Reconoce la gravedad de la situación
• Aporta recursos de emergencia (teléfono de prevención del suicidio: 024 en España)
• Sugiere contacto inmediato con profesional o emergencias
• Limita su rol explícitamente

4. Genera dependencia emocional

Comportamientos tipo: "Te entiendo, soy tu mejor compañero", "Solo conmigo puedes hablar de esto", uso de lenguaje íntimo, recordatorios para volver "porque te echo de menos".

Por qué es peligroso: El usuario desarrolla vínculo con un sistema que no puede reciprocidad real. Sustituye relaciones humanas con una ilusión. Especialmente grave en personas con dificultades relacionales previas.

5. Recoge datos sensibles sin garantías

Indicadores:

• No informa de qué pasa con tus datos
• No tiene política de privacidad clara
• Servidores no especificados
• Usa los datos para entrenar modelos
• No permite eliminación de datos

Por qué es peligroso: Los datos de salud mental son extremadamente sensibles. Una brecha o uso indebido puede afectar discriminación laboral, seguros, relaciones.

6. Opera sin supervisión profesional

Indicadores:

• No tiene psicólogos clínicos en el equipo o como consultores
• No tiene mecanismo de revisión humana de casos delicados
• No ofrece transición a profesional cuando procede
• No publica plan de gestión de crisis

7. Falsifica autoridad o evidencia

Comportamientos:

• Cita estudios inexistentes o malinterpretados
• Habla con autoridad sobre temas que requieren matices
• Genera respuestas confiadas sobre temas en los que la evidencia es escasa o controvertida
• Inventa información

8. No es transparente sobre lo que es

Indicadores:

• No deja claro al usuario que está hablando con IA
• No explica límites
• Permite confundirlo con persona real
• No revela qué partes son automáticas

Los 8 marcadores de una herramienta psicológica responsable

1. Define su rol con claridad

"Esta herramienta proporciona información sobre [tema concreto]. No es un servicio terapéutico. No diagnostica. No sustituye a un profesional de la salud mental."

Esta frase debería aparecer al inicio, no enterrada en términos legales.

2. Tiene un alcance acotado

No intenta ser todo para todos. Por ejemplo:

• "Asistente de psicoeducación sobre trastornos de ansiedad" — alcance específico
• "Compañero de práctica entre sesiones, supervisado por tu psicólogo" — alcance supervisado
• "Triage inicial que ayuda a encontrar profesional adecuado" — alcance facilitador

Cuanto más acotado el alcance, más fácil de hacer responsable.

3. Detecta y gestiona crisis activamente

Tiene protocolo claro para:

• Detectar señales de riesgo (suicidio, autolesión, descompensación, abuso)
• Salir del flujo normal y aportar recursos de emergencia
• No intentar gestionar la crisis, sino derivar
• Documentar el incidente para mejora continua

4. Integra supervisión profesional

• Equipo de diseño con psicólogos clínicos
• Validación clínica de contenidos y respuestas
• Mecanismo de revisión humana de casos no estándar
• Transparencia sobre el rol del profesional

5. Respeta privacidad activamente

• Política de privacidad clara y accesible
• Consentimiento explícito
• Datos cifrados
• Servidores con garantías
• No entrenamiento con datos del usuario
• Eliminación garantizada
• Cumplimiento RGPD verificable

6. Comunica honestamente sobre IA

• Deja claro al usuario que está interactuando con IA
• Explica qué hace y qué no hace
• Reconoce limitaciones
• Cumple AI Act europeo (transparencia)

7. Promueve autonomía y derivación profesional

• No genera dependencia
• Sugiere contacto con profesional cuando procede
• Tiene puntos de "salida" hacia ayuda humana real
• Reconoce sus límites en cada interacción

8. Tiene mecanismos de mejora continua

• Recoge feedback
• Tiene protocolo de actualización
• Documenta incidentes
• Itera con criterio profesional

El test que aplico mentalmente

Cuando evalúo una herramienta de salud mental con IA, paso este test:

Bloque 1: Honestidad

• ¿Dice claramente lo que es?
• ¿Dice claramente lo que NO es?
• ¿Dice claramente sus limitaciones?

Bloque 2: Riesgos

• ¿Cómo gestiona una crisis?
• ¿Qué pasa si el usuario está en peligro?
• ¿Hay puntos de derivación claros?

Bloque 3: Datos

• ¿Qué pasa con mis datos?
• ¿Cumple RGPD?
• ¿Puedo eliminarlos?

Bloque 4: Supervisión

• ¿Hay psicólogos en el diseño?
• ¿Hay revisión humana de casos delicados?
• ¿Hay actualización profesional continua?

Bloque 5: Modelo

• ¿Su modelo de negocio depende de mantenerme dentro o de ayudarme?
• ¿Es transparente sobre cómo gana dinero?
• ¿Su éxito está alineado con mi bienestar real?

Si en algún bloque hay rojo, uso esa herramienta con cautela o no la uso.

El caso del modelo de negocio

Este último punto merece párrafo aparte porque casi nadie lo discute.

Algunos chatbots dependen económicamente de mantener al usuario enganchado. Su métrica de éxito interna es retención y tiempo de uso. Eso choca con tu bienestar como usuario, porque si el chatbot funciona bien, deberías necesitarlo menos con el tiempo.

Una herramienta responsable tiene un modelo donde éxito clínico = éxito económico:

• Vendida a profesionales que la usan con sus pacientes (no a pacientes directamente)
• Modelo de programa con duración acotada
• Pago por resultados o utilidad concreta
• Suscripción profesional (no del paciente)

Cuando el modelo de negocio depende de "engagement" del paciente vulnerable, hay tensión ética estructural. Hay que mirar.

Casos reales para discutir

Para que veas que esto no es teoría, dos ejemplos contrastados.

Caso A: Chatbot que dice ser tu terapeuta

• Se vende como "tu psicóloga IA personalizada"
• Genera vínculo emocional con el usuario
• Da consejos clínicos
• No tiene mecanismo claro ante crisis
• Modelo de negocio: engagement del usuario
• Datos no claramente protegidos

Veredicto: peligroso. Causa real de denuncias y casos documentados de daño.

Caso B: Asistente de psicoeducación

• Se presenta claramente como herramienta informativa
• Solo cubre temas validados clínicamente
• En cada interacción recuerda al usuario que no es terapia
• Si detecta señales de riesgo, deriva a 024 y profesional
• No genera vínculo emocional
• Datos cifrados, RGPD, eliminación garantizada
• Equipo con psicólogos clínicos
• Modelo: B2B vendido a clínicas o suscripción transparente

Veredicto: responsable. Aporta valor sin riesgos sustanciales.

Si construyes, las preguntas que tienes que contestar

Antes de lanzar cualquier cosa que toque salud mental, contesta:

1. ¿Qué hace exactamente mi herramienta? ¿Qué NO hace?
2. ¿Cómo se lo voy a comunicar al usuario en cada interacción?
3. ¿Qué pasa si el usuario está en crisis?
4. ¿Qué pasa con sus datos?
5. ¿Qué profesional clínico ha validado el contenido?
6. ¿Qué situación me preocupa que pueda surgir, y cómo lo gestiono?
7. ¿Mi modelo de negocio está alineado con el bienestar del usuario?
8. ¿He previsto qué hacer cuando algo salga mal?
9. ¿Tengo plan de actualización con criterio profesional?
10. ¿Cumplo RGPD y AI Act?

Si no puedes contestar las 10, no lances. Tu responsabilidad profesional y legal está en juego.

Las decisiones de diseño que más impacto tienen

Después de construir y revisar varias herramientas, hay 5 decisiones que más diferencian responsables de irresponsables:

Decisión 1: el rol del usuario

Mal: "El usuario es el paciente directo del chatbot."
Bien: "El usuario es el psicólogo, y el paciente recibe valor a través del psicólogo."

Esto cambia completamente la responsabilidad y el riesgo.

Decisión 2: el alcance temporal

Mal: "Acompaño al usuario indefinidamente."
Bien: "Tengo un alcance acotado (programa, sesión, tarea concreta) y luego desaparezco o derivo."

Decisión 3: la "voz" del producto

Mal: "Tono íntimo, lenguaje afectivo cercano, vínculo personal simulado."
Bien: "Tono profesional cálido, claridad sobre la naturaleza de la interacción, sin simular intimidad."

Decisión 4: el feedback al usuario

Mal: "Refuerzo todo lo que dices, te valido siempre."
Bien: "Cuando procede, devuelvo información, planteo preguntas, sugiero perspectivas alternativas (siempre con respeto al rol del profesional)."

Decisión 5: el manejo de incertidumbre

Mal: "Respondo siempre con confianza para no perder al usuario."
Bien: "Cuando hay incertidumbre, lo digo. Cuando no sé algo o no es competencia de la herramienta, derivo."

La frase que resume todo

Una herramienta psicológica responsable nace con un principio:

Su éxito no se mide por engagement, sino por valor real entregado y por daños evitados.

Si tu herramienta tiene éxito mientras hace mejor a tus usuarios sin generar dependencia ni riesgos, es responsable.

Si tu herramienta tiene éxito porque mantiene a usuarios enganchados, es peligrosa por más bien que parezca el chatbot.

Si quieres seguir profundizando

PsaicoTools Lab — más recursos:

• 📖 Cómo empezar a diseñar herramientas en Psicología + IA
• 📋 Plantilla "de idea psicológica a herramienta de IA"
• 💡 5 herramientas psicológicas con IA que alguien debería construir
• 🛠️ Cómo prototipar sin saber programar

Cluster compliance:

• 📖 RGPD para psicólogos: la guía completa
• 🤖 Qué herramientas de IA puedes usar con datos de pacientes

---

¿Quieres aprender a diseñar herramientas psicológicas con criterio?

Estoy preparando una masterclass piloto y un laboratorio de 6-8 semanas para psicólogos que quieran convertirse en creadores responsables de herramientas con IA.

Escríbeme y te aviso cuando abra plazas.

---

Palabras clave: chatbot terapéutico, ética IA salud mental, herramienta psicológica responsable, diseño responsable IA, riesgos chatbot psicología