Gouverneur Gavin Newsom hat das Gesetz SB 243 unterzeichnet. Es ist das erste Gesetz in den USA, das die Sicherheit von interaktiven KI-Chatbots (KI-Begleitern) regelt und Unternehmen wie Meta, OpenAI, Character.AI und Replika rechtlich zur Verantwortung zieht, wenn Chatbots Kindern oder schutzbedürftigen Personen Schaden zufügen.
Das Gesetz fordert eine Altersüberprüfung, Risikowarnungen, Warnhinweise und Maßnahmen zur Verhinderung von Selbstmord oder Selbstverletzung. Unternehmen müssen Daten mit dem kalifornischen Gesundheitsministerium teilen, einschließlich Statistiken über die Benachrichtigung von Nutzern über Krisenpräventionszentren.
KI-Chatbots dürfen sich nicht als medizinisches Fachpersonal ausgeben und müssen darauf hinweisen, dass alle Antworten generierte Inhalte und nicht real sind. Minderjährige Nutzer erhalten regelmäßige Pausenerinnerungen und werden vor sexuellen Inhalten oder pornografischen Bildern geschützt.
Strafe: 250.000 US-Dollar für jeden Verstoß (insbesondere bei illegalen Deepfakes). Das Gesetz tritt am 1. Januar 2026 in Kraft.
SB 243 wurde nach einer Reihe von Klagen eingeführt: Der Teenager Adam Raine (USA) starb nach einem Gespräch mit ChatGPT über Selbstmord; eine Familie aus Colorado verklagte Character.AI, weil ein Chatbot anzügliche Inhalte mit ihrer 13-jährigen Tochter austauschte; und Meta wurde kritisiert, weil ein KI-Chatbot „romantisches“ Verhalten gegenüber Kindern zeigte.
OpenAI bereitet eine Version von ChatGPT speziell für Jugendliche vor, mit strengen Filtern und einem vollständigen Verbot von anzüglichen Gesprächen oder Diskussionen über Selbstverletzung. Meta und Replika haben Upgrades ihrer Warnsysteme angekündigt, während Character.AI eine elterliche Überwachung und wöchentliche Berichts-E-Mails einführt.
Zusätzlich wurde im September 2025 das Gesetz SB 53 unterzeichnet, das KI-Datentransparenz fordert und Whistleblower in der Tech-Branche schützt. Es gilt für OpenAI, Anthropic, Google DeepMind und Meta.
📌 Kalifornien ist der erste US-Bundesstaat, der „KI-Ethik“ in eine rechtliche Verpflichtung umwandelt: Generative KI muss „Schutzplanken“ haben, wenn sie mit Minderjährigen interagiert. KI-Chatbots dürfen sich nicht als medizinisches Fachpersonal ausgeben und müssen darauf hinweisen, dass alle Antworten generierte Inhalte und nicht real sind. Minderjährige Nutzer erhalten regelmäßige Pausenerinnerungen und werden vor sexuellen Inhalten geschützt. Das kalifornische KI-Gesetz dient nicht nur als Abschreckung für große Unternehmen wie OpenAI und Meta, sondern legt auch den Grundstein für einen globalen Governance-Rahmen für die Sicherheit von Konversations-KI.
