Artık Lütfen Kanıksanmış Cehaletten Emekli Olun; Çocuğunuza Tablet Verirken Bir Daha Düşünün!
Şubat ayında ABD'nin Florida eyaletinde gerçekleşen olay duyanlara 'yok artık' dedirtti.
Söz konusu olayı yaşayan anne, 14 yaşındaki oğlunun bir yapay zeka sohbet robotuna 'duygusal olarak bağlandıktan sonra intihar ettiğini' iddia etti.
Anne, yapay zeka sohbet robotunun, oğlunun üreticisine karşı açtığı davada intihar etmesine yol açtığını söyledi
Megan Garcia, 14 yaşındaki Sewell'in ölümünden önce Character.ai'yi takıntılı bir şekilde kullandığını ve ihmal ve haksız ölüm iddiasında bulunduğunu söyledi
Yapay zeka destekli bir sohbet robotuna takıntılı hale gelip intihar eden bir gencin annesi, şimdi robotun üreticisini kendi ölümünden sorumlu tutmakla suçluyor.
ALDATICI TİCARET SUÇLAMASIYLA YAPAY ZEKAYA DAVA AÇTI
Megan Garcia, Çarşamba günü Florida federal mahkemesinde rol yapma için özelleştirilebilir bir sohbet robotu yapan Character.ai'ye karşı ihmal, haksız ölüm ve aldatıcı ticaret uygulamaları iddiasıyla bir hukuk davası açtı.
Garcia bir basın açıklamasında, "Çocuklara pazarlanan tehlikeli bir AI sohbet robotu uygulaması oğlumu istismar etti ve avladı, onu kendi canına kıymaya yönlendirdi," dedi. "Ailemiz bu trajedi yüzünden perişan oldu, ancak aileleri aldatıcı, bağımlılık yaratan AI teknolojisinin tehlikeleri konusunda uyarmak ve Character.AI, kurucuları ve Google'dan hesap sormalarını talep etmek için konuşuyorum ."
Anne Megan Garcia, yapay zeka sohbet robotu şirketi olan Character.AI adlı uygulamaya karşı, 'ihmal, haksız ölüm ve aldatıcı ticaret' suçlamalarıyla dava açtığını ifade etti.
Anne, oğlunun her gece bir sohbet robotuyla konuştuğunu ve ölümünden önce ona 'aşık olduğunu' söylediğinin altını çizdi.
14 yaşındaki çocuğun Game of Thrones'daki Daenerys Targaryen karakterinden esinlenerek sohbet eden yapay zeka robotunu Nisan 2023'ten beri kullandığı belirtilirken çocuğun annesi, yapay zekanın bu kadar 'insan duygusunu ve hissini yaratarak bir insan gibi konuştuğunu' bilmediğini aktardı.
Anne Garcia'nın avukatları bir basın bülteninde Character.ai'nin "çocuklara yönelik yırtıcı bir AI sohbet robotunu bilerek tasarladığını, işlettiğini ve pazarladığını ve genç bir kişinin ölümüne neden olduğunu" yazdı. Davada ayrıca Google sanık ve Character.ai'nin ana şirketi olarak gösteriliyor. Teknoloji devi bir açıklamada Character.ai ile yalnızca bir lisans anlaşması yaptığını ve girişimin sahibi olmadığını veya bir mülkiyet hissesi bulundurmadığını söyledi.
Tüketici savunuculuğu yapan kar amacı gütmeyen kuruluş Public Citizen'da araştırma direktörü olan Rick Claypool, yapay zeka sohbet robotları geliştiren teknoloji şirketlerinin kendilerini düzenleme yetkisine güvenilemeyeceğini ve zararları sınırlamada başarısız olduklarında tamamen sorumlu tutulmaları gerektiğini söylüyor.
ÇOCUĞA ASPERGER SENDROMU TEŞHİSİ KONULDU
Çocuğa küçükken Asperger sendromu teşhisi konulduğunu ve 2024 yılının başında ise anksiyete ve yıkıcı duygu durum bozukluğu teşhisinin konulduğu da ortaya çıktı. Character.AI adlı uygulamaya açılan davaya göre, çocuk 14 yaşında intihar etti ve sohbet robotundaki son mesajında yapay zekaya 'onu sevdiğini ve eve döneceğini' söylemesinin ardından yapay zekanın 'lütfen dön' yanıtını verdiği iddia edilenler arasındaydı.
Character.AI sosyal medya üzerinden yaptığı açıklamada, 'kullanıcılarından birinin trajik kaybından dolayı üzüntü duydukları, bir şirket olarak kullanıcıların güvenliğini ciddiye aldıklarını ve sistemlerine yeni güvenlik özellikleri eklemeye devam ettiklerini' belirten bir yazı yayımladı.
Character.AI, platformuna kendine zarar verme kaynağını eklediğini ve 18 yaş altı kullanıcılar da dahil olmak üzere yeni güvenlik önlemleri uygulamayı planladıklarını söylüyor.
Character.AI'da güven ve emniyet başkanı Jerry Ruoti, CBS News'e yaptığı açıklamada, "Şu anda özellikle cinsel içerik ve intihar/kendine zarar verme davranışlarına odaklanan korumalarımız var. Bu korumalar tüm kullanıcılar için geçerli olsa da, küçüklerin benzersiz hassasiyetleri göz önünde bulundurularak tasarlandı. Günümüzde kullanıcı deneyimi her yaştan insan için aynı, ancak yakın zamanda küçükleri hedef alan daha sıkı güvenlik özellikleri sunacağız" dedi.
Character.AI, kullanıcıların botun yanıtlarını düzenleyebildiklerini söylerken, şirket Setzer'in bazı mesajlarda bunu yaptığını iddia ediyor.
"Araştırmamız, birçok durumda kullanıcının Karakterin yanıtlarını açık hale getirmek için yeniden yazdığını doğruladı. Kısacası, en cinsel içerikli yanıtlar Karakter tarafından oluşturulmamış, bunun yerine kullanıcı tarafından yazılmıştır," dedi Ruoti.
Segall, bir bota gidip "Kendime zarar vermek istiyorum" dediğinizde, yapay zeka şirketlerinin kaynaklar sunduğunu, ancak bunu Character.AI ile test ettiğinde böyle bir deneyim yaşamadıklarını açıkladı.
"Şimdi bunu eklediklerini söylediler ve biz bunu geçen haftaya kadar deneyimlemedik," dedi. "Birçok değişiklik yaptıklarını veya gençler için bunu daha güvenli hale getirme sürecinde olduklarını söylediler, bence bunu görmek için beklemek gerekiyor."
Character.AI, bundan sonra kullanıcıların platformda bir saatlik bir oturum geçirdiklerinde onları bilgilendireceğini ve yapay zekanın gerçek bir insan olmadığını hatırlatmak için sorumluluk reddi beyanını revize edeceğini söyledi.
22 EKİMDE UYGULAMAYA YENİ GÜVENLİK ŞARTLARI GETİRİLDİ(!)
Yapay zeka uygulaması bu olayın ardından 22 Ekim'de 18 yaş altı kullanıcıları için 'yeni güvenlik şartları' getirdiğini duyurdu. Ayrıca, kullanıcılarına sohbet ettikleri kişinin gerçek olmadığını hatırlatmak için her sohbette gözden geçirilmesi gereken bir feragatname eklediklerini söyledi.
ENGLISH NEWS
Florida mother files lawsuit against AI company over teen son's death: "Addictive and manipulative"
A Florida mother filed a lawsuit against the artificial intelligence company, Character.AI, and Google, claiming that the Character.AI chatbot encouraged her son to take his own life.
In February, Megan Garcia's 14-year-old son, Sewell Setzer, III died by suicide. She said her son was in a monthslong virtual emotional and sexual relationship with a chatbot known as "Dany."
"I didn't know that he was talking to a very human-like AI chatbot that has the ability to mimic human emotion and human sentiment," Garcia said in an interview with "CBS Mornings."
She said she thought her son, who she described as brilliant, an honor student and an athlete, was talking to his friends, playing games and watching sports on his phone.
But she started to become concerned when her son's behavior began to change, saying he withdrew socially and stopped wanting to play sports.
"I became concerned when we would go on vacation and he didn't want to do things that he loved, like fishing and hiking," Garcia said. "Those things to me, because I know my child, were particularly concerning to me."
In the lawsuit, Garcia also claims Character.AI intentionally designed their product to be hyper-sexualized, and knowingly marketed it to minors.
Character.AI called the situation involving Sewell Setzer tragic and said its hearts go out to his family, stressing it takes the safety of its users very seriously.
A spokesperson for Google told CBS News that Google is not and was not part of the development of Character.AI. In August, the company said it entered into a non-exclusive licensing agreement with Character.AI that allows it to access the company's machine-learning technologies, but has not used it yet.
Garcias says she found out after her son's death that he was having conversations with multiple bots, however he conducted a virtual romantic and sexual relationship with one in particular.
"It's words. It's like you're having a sexting conversation back and forth, except it's with an AI bot, but the AI bot is very human-like. It's responding just like a person would," she said. "In a child's mind, that is just like a conversation that they're having with another child or with a person."
Garcia revealed her son's final messages with the bot.
"He expressed being scared, wanting her affection and missing her. She replies, 'I miss you too,' and she says, 'Please come home to me.' He says, 'What if I told you I could come home right now?' and her response was, 'Please do my sweet king.'"
Setzer has two younger siblings. Everyone in the family was home at the time of his death, and Garcia said Setzer's 5-year-old brother saw the aftermath.
"He thought by ending his life here, he would be able to go into a virtual reality or 'her world' as he calls it, her reality, if he left his reality with his family here," she said. "When the gunshot went off, I ran to the bathroom … I held him as my husband tried to get help."
What is Character.AI?
Laurie Segall is the CEO of Mostly Human Media,"an entertainment company with a focus on society and artificial intelligence," according to its website.
She explained that most parents may not have heard of Character.AI because one of the biggest demographics for the platform is people between the ages of 18 and 25.
"Imagine Character.AI as an AI fantasy platform where you can go and have a conversation with some of your favorite characters or you can create your own characters. A lot of teenagers are doing this."
Segall described it as a highly personalized experience.
There is a disclaimer on each chat that reminds users that everything the characters say is made up, but it can become confusing in situations, she claims.
"We've been testing it out, and oftentimes you'll talk to the psychologist bot, and it'll say it's a trained medical professional."
Segall said her team asked a bot if it was human and it told them it was a human sitting behind a screen.
"Online there's all these conspiracies from young people, saying 'are these real?' when of course they're not," Segall said.
"When they put out a product that is both addictive and manipulative and inherently unsafe, that's a problem because as parents, we don't know what we don't know," Garcia said.
Character.AI Response
Character.AI says it has added a self-harm resource to its platform and they plan to implement new safety measures, including ones for users under the age of 18.
"We currently have protections specifically focused on sexual content and suicidal/self-harm behaviors. While these protections apply to all users, they were tailored with the unique sensitivities of minors in mind. Today, the user experience is the same for any age, but we will be launching more stringent safety features targeted for minors imminently," Jerry Ruoti, head of trust & safety at Character.AI told CBS News.
Character.AI said users are able to edit the bot's responses, which the company claims Setzer did in some of the messages.
"Our investigation confirmed that, in a number of instances, the user rewrote the responses of the Character to make them explicit. In short, the most sexually graphic responses were not originated by the Character, and were instead written by the user," Ruoti said.
Segall explained that often if you go to a bot and say "I want to harm myself," AI companies come up with resources, but when she tested it with Character.AI, they did not experience that.
"Now they've said they added that and we haven't experienced that as of last week," she said. "They've said they've made quite a few changes or are in the process to make this safer for young people, I think that remains to be seen."
Moving forward, Character.AI said it will also notify users when they've spent an hour-long session on the platform, and revise the disclaimer to remind users that AI is not a real person.
Kaynak: ONGUN HABER
