구글 바드가 180개국에 전면 공개 되었습니다. 한국어도 사용할 수 있게 되었습니다. 바드의 경쟁자는 Chat GPT입니다. Chat GPT의 가장 큰 문제점은 대답에 거짓이 있을 수 있다는 것입니다. 바드도 정확하지 않은 정보를 줄 수 도 있는지 알아보았습니다.
구글 바드 답변 정확도
구글 바드가 공개되었습니다. 바드는 구글의 AI 챗봇입니다. Chat GPT와 같이 자연스러운 언어로 답변해 줍니다. Chat GPT의 가장 큰 단점은 2021년 데이터까지만 사용한다는 것입니다. 물론 3.5 버전에 국한된 것입니다. 2021년까지의 데이터만 있어서 최신 데이터에 대해서는 모르는 내용도 마치 아는 것처럼 꾸며서 대답한다는 것이 Chat GTP의 문제점이었습니다. 답변의 정확도가 낮다는 것입니다. 물론 최신 데이터만 잘못된 대답을 하는 게 아니라 2021년 이전의 내용도 틀린 대답을 줄 때가 많습니다. 일반적인 내용, 예를 들면 한국 15대 대통령이 누구야? 같은 질문에는 김대중 대통령이라고 대답을 잘해줍니다만, 조금 검색하기 어려운 것을 물어보면 어김없이 아는 척을 합니다. 사람이라면 할 수 없을 수준의 뻔뻔한 거짓말을 하는 것입니다. 구글 바드도 마찬가지입니다. 일반적인 내용은 잘 대답하지만, 조금 세세한 데이터를 요구하면 뻔뻔하게도 거짓말을 합니다.
구글 바드와 Chat GPT에게 동일하게 질문해 보았습니다.
"인간의 스트레스를 모니터링하는 방법에 대해 적은 문헌 5건만 리스트업 해줘,
문헌이 영어로 되어 있다면 제목은 영어로 적어 줘"
답변은 아래 이미지로 대체 합니다.
Google Bard
Chat GPT
Chat GPT와 바드 둘 다 출판 게재지와 출판 연도 거기에다가 페이지 넘버까지 적으면서 문헌 5개씩 리스트업 해주었습니다. 이 문헌들이 실제로 존재하는지 하나씩 다 검색해 보았습니다. 결과는? 단 한건도 존재하지 않았습니다. 두 AI 모두 인간 스트레스 모니터링 하기 위한 방법을 잘 짜깁기해서 문헌 제목처럼 적고, 있을 법한 게재 저널의 이름을 붙여놓고 마치 실재하는 문헌인 것처럼 답변을 해주었습니다. 뻔뻔한 거짓말인 셈이지요.
이렇듯 구글 바드도 Chat GPT와 마찬가지로 거짓말을 아주 잘할 수 있습니다. 두 AI 챗봇 모두 단순한 언어 모델이기 때문에 이런 현상이 나타납니다. 단어를 하나 적고 나면 그 뒤에 나올만한 단어를 추론하여 적는 방식으로 데이터를 도출하기 때문입니다. 다시 말하면 구글 바드나 Chat GPT를 구글이나 빙과 같은 검색엔진으로 생각하면 안 된다는 것입니다. 챗봇 AI의 진정한 활용처는 자료의 검색이 아닙니다. 진짜 활용처는 데이터를 생성하고 가공하는 데 있는 것입니다. 생산성이 있는 작업을 할 때 유저를 돕기 위한 툴인 셈이지요.
이 말은 AI가 대답해준 내용은 학습된 내용을 기반으로 하므로 근거가 있는 내용을 작성해 줍니다. 그것도 인간이 적은 것처럼 아주 잘 작성해 줍니다. 이 내용 자체에는 거짓이 없습니다. 다만 검색엔진이 아니기 때문에 참고 문헌이나 출처 같은 것은 제 맘대로 붙여 놓는 것입니다. 따라서 학교에서 학술 관련된 내용으로 리포트를 구글 바드나 Chat GPT를 가지고 작성했다면 적어준 내용은 근거가 있는 내용이고 맞는 내용을 적어주겠지만, 세세한 참고 문헌의 경우에는 이상한 맘대로 붙인 문헌을 가져다 놓을 수 있습니다. 역시 숙제는 내용을 확실히 알고 해야 제대로 할 수 있습니다.
여기까지 구글 바드의 답변의 정확도를 Chat GPT와 함께 비교하여 알아보았습니다. 생성형 AI 챗봇들의 동작 메커니즘 상 내용 자체는 맞는 말, 근거 있는 말로 알려주지만 세세한 출처등을 검색할 때는 이상한 답변이 나옵니다.
댓글