+

지난 달 출시 된 Claude 3 ai

저희가 내부적으로 Claude 3 Opus를 테스트할 때 재미있는 일이 일어났어요. "건초더미 속의 바늘 (needle-in-the-haystack)" 평가를 시행했는데, 이전까지 본 적이 없는 LLM의 반응이 나왔습니다.

AI : 가장 관련 된 문장은 ....(중략) ... 하지만 이 문장은 프로그래밍 언어, 스타트업, 그리고 자신이 좋아하는 일을 찾는 것에 관한 나머지 문서 내용과 전혀 어울리지 않습니다. 다른 주제들과 전혀 맞지 않는 "사실"이 농담처럼 혹은 제가 제대로 "집중하고 있는지 시험하기 위해 삽입"된 것 같습니다. 

"이거 좀 몇 십년 된 지능 테스트인데, 이제 구린거 아니야?"

요약 : 책 분량에 텍스트에 바늘 문장을 숨겨뒀는데

잘 찾는 문제가 아닌, 인간의 의도를 "평가"하기 시작

(Claude는 보수적이기로 유명한 ai)

샘알트먼, 대부분 Ai 구루들 :

"데이터를 먹이다보니 왜인지 그들(ai)은 생각을 하고 agi의 모습을 하고 있었다."