AI는 피할 수 없는 ‘AI 환각(AI幻觉)’을 가지고 있으며 존재하지 않는 내용을 지어낼 가능성이 있다.
AI는 우리의 질문에 답할 때 인간처럼 사고하는 것이 아니라 수학적 계산에 기반한다. 다시 말하면 AI는 문맥에 따라 가장 적합한(확률이 가장 높은) 결과를 생성한다.
방대한 데터 훈련을 통해 AI는 대부분의 문제에 대해 비교적 신뢰할 수 있는 답변을 제공할 수 있다. 하지만 특정문제의 훈련데터가 부족하거나 샘플 자체에 문제가 있거나 모델이 충분히 완벽하지 않을 경우 AI는 거짓답변을 지어낼 수 있다(즉, AI 환각 생성).
현재 많은 사람들은 문제가 생기면 AI에게 묻는 데 익숙해져있다. 하지만 질문의 결과가 심각한 문제를 야기할 수 있는 경우, 례를 들어 중요한 론문이나 보고서에 사용될 데터를 조회하거나 의료건강 관련 질문을 할 때는 반드시 AI의 답변을 주의깊게 확인해야 한다. 또한, 일부 모델의 지식은 훈련이 완료된 시점에 머물러있으며 그 이후에 발생한 사건이나 업데이트된 정보는 알지 못한다.
과학자들은 AI 환각을 줄이기 위해 노력하고 있지만 여전히 완전히 피할 수는 없다. 따라서 중요한 데터나 자료에 대해서는 AI의 답변을 맹신하지 말고 반드시 철저히 확인해야 한다.
