Acusado de ameaçar usuários, app SimSimi é suspenso no Brasil

A empresa coreana dona do aplicativo SimSimi — que permite conversas de usuários com um algoritmo de inteligência artificial — anunciou a retirada do app do Brasil, suspendendo os downloads para brasileiros na Apple Store e no Google Play. A decisão vem após acusações de que o algoritmo usado no aplicativo seria perigoso para os usuários, ao trazer para as conversas situações de crimes e conteúdos inadequados.

A própria nota da empresa, publicada na sexta-feira, dia 20, em seu site, afirma que foram constatados episódios em que “alguns usuários brasileiros têm ensinado respostas maliciosas ao SimSimi. A principal classe dessas respostas é a ameaça de crime, como assassinato e sequestro, de crianças e suas famílias”.

O funcionamento do app é baseado em Inteligência Artificial (IA), e as respostas são geradas automaticamente por um algoritmo que “aprende” com base nas interações com usuários em cada país e em cada idioma. O SimSimi foi criado em 2002 pela empresa coreana ISMaker e começou a se popularizar no Brasil em 2014.

Desde então, várias denúncias sobre o app foram recebidas pela SaferNet Brasil, instituição voltada ao combate a crimes contra os direitos humanos na internet. A própria SaferNet testou a versão em português do aplicativo, destinada ao público brasileiro, e constatou falhas graves.

“Esses resultados evidenciam que os desenvolvedores do app perderam o controle sobre o comportamento do algoritmo de Inteligência Artificial, que tem funcionado a partir de parâmetros contraditórios às políticas e termos de uso do app, tornando-se nocivo sobretudo para usuários vulneráveis e em situações de sofrimento psicológico”, destacou a SaferNet Brasil.

A empresa coreana reconhece publicamente que o app tem causado “um impacto social negativo significativo no Brasil” e diz que ainda não sabe como resolver as falhas encontradas no algoritmo. Por isso, decidiu suspender, ao menos temporariamente, o funcionamento do app no Brasil.

Leia abaixo, na íntegra, a nota da empresa coreana ISMaker

Nós SimSimi Team, excluímos o Brasil do país editor de aplicativos SimSimi hoje (20 de abril (UTC + 09: 00)). Como resultado, os usuários de smartphones brasileiros não poderão mais baixar o aplicativo SimSimi na Play Store / App Store. Isso é inevitável porque o aplicativo SimSimi, pelo menos nos últimos dias, teve um impacto social negativo significativo no Brasil.

Encontramos um descontentamento crescente com os aplicativos SimSimi no Brasil há dois dias e, desde um dia atrás, começamos a ver notícias. Com base na quantidade limitada de notícias brasileiras que vimos através da pesquisa do Google (e através da tradução do Google), parece que alguns usuários brasileiros têm ensinado recentemente respostas maliciosas ao SimSimi. A principal classe dessas respostas é a ameaça de crime, como assassinato e sequestro, de crianças e suas famílias.

Esse tipo de abuso é inédito e o Brasil será excluído do país de publicação de aplicativos SimSimi até acreditarmos que temos controle suficiente sobre esse novo tipo de abuso.

Ainda não temos informações suficientes para uma resposta adequada, principalmente devido a barreiras linguísticas. A informação chave de que precisamos para resolver este problema são as frases e traduções inadequadas que os utilizadores em português tiveram em relação a esta questão. Quanto mais informações você tiver, melhor. Qualquer um dos usuários do SimSimi que utilizam o português poderá nos fornecer as informações que precisamos.

Dicas da SaferNet Brasil para pais orientarem seus filhos na internet

1. Estabeleça limites de tempo e negocie o tipo de acesso dos seus filhos aos conteúdos on-line, desde os primeiros cliques. Distribua o uso das telas digitais entre outras atividades de lazer e atividades sem tecnologias;

2. Selecione previamente jogos, aplicativos e portais apropriados para as crianças e, sempre que possível, negocie os acessos a novos conteúdos de acordo com a idade mínima estabelecida.

3. Sempre coloque-se disponível para ajudar a criança se ela se sentir incomodada com algo on-line. Mais importante do que dominar tecnicamente os aparelhos e apps, é preciso acolher sem julgamento para que as crianças não escondam situações de risco;

4. Saiba que simplesmente proibir o uso não educa, nem previne. Mas educar protege.

5. Para crianças e adolescentes que estejam com dúvidas ou passando por situações de violência, existe o Canal de Ajuda, disponibilizado pela equipe da SaferNet Brasil. Basta clicar.