카카오 개발자 특강에서 브런치를 개발하신 시니어 개발자 분이 해주셨던 이야기가 인상 깊었다.
"내가 만든 서비스를 내가 제일 많이 써보고 이해하고 있어야 더 좋은 결과물을 만들 수 있다는 것"
그것에 감명받고 카나나를 실제로 사용해보기로 다짐했다!
(다양한 AI를 사용하고 AI와 대화하는 걸로 하루에 몇시간씩 투자하는 나에겐 새로운 AI를 써보는 것은 식은 죽 먹기 ㅎㅎ)
근데 난 주로 피시랑 모바일 사용 빈도가 반반인 거 같은데 피시에서는 일정 등록이 안된다는 것이였다... 모바일로 해야한다는데
여기서 너무 아쉬움을 느꼈다. 언젠간 개발 될 문제인 거 같지만 ㅜㅜ 한 번 모바일에서 테스트를 해보았다.
프롬프트를 공부하면서 알게 된 내용인데 이렇게 두 가지 조건을 같이 쓰면 LLM이 제대로 이해 못하는 경우가 많다고 했다.
근데 혹시나 했는데 앞에 있는 7월 2일 오전 9시 (목요일) 만 등록됐다...
여기서 나도 모를 문제가 생긴 거 같다.
다시 등록해달라고 했는데 계속 일정을 리마인더에 넣을 수 없다는 대답만 돌아왔다.
그래서 조금 확인을 해봤는데
왜 안되냐고 물어보니까 정리된 일정에는 7월 2일 저녁7시에 카테캠 실강이 들어가 있었음
근데 지금까지 일정 조회해달라고 물어보면 일정은 7월 2일 오전 9시 만 내 눈에 보였고
리마인더에 들어가 확인해봐도 오후 7시 일정이 등록되어 있는 건 확인해볼 수 없었다...
아무튼 다시 해달라고 해서 일정 등록을 성공했다!
리마인더에 잘 등록된 것도 확인했다.
여기서 살짝 아쉬웠던 건 시간 순으로 (일정이 다가오는 순) 으로 위에 있었으면 조금 더 좋지 않았을까 ..? 라는 생각을 해봅니다!
클로드와 이 복합 조건에 대해서 이야기를 해보았다.
카나나 자체는 블랙박스기 때문에 내가 알 수 없는 문제이지만 클로드가 내가 카카오테크캠퍼스에서 나나 에이전트를 만들때 확인해볼 수 있는 몇 가지 문제점을 설명해줬다.
문제 1 — 파싱 실패 (프롬프트 이해 못함)
"9시, 7시 두 개 다 등록해줘" 했는데 하나만 등록된 거. 이건 순수하게 LLM이 요청을 잘못 이해한 거예요. 프롬프트 자체의 한계.
문제 2 — 상태 불일치 (이건 좀 다른 얘기)
AI가 "7시 일정 이미 있어요"라고 말했는데 실제 조회/리마인더엔 안 보인 거. 이건 사실 "LLM이 정신 못차린" 게 아니라, 더 구체적으로 이렇게 나눠볼 수 있어요:
- 가능성 A: LLM이 그냥 있지도 않은 일정을 "있다"고 지어낸 것 (순수 환각) — 대화 문맥상 앞서 등록 시도를 했으니까, 실제로 성공했는지 실패했는지 확인 안 하고 "성공했다고 치고" 답을 지어냈을 가능성
- 가능성 B: 실제로는 DB에 등록이 됐는데, 조회 tool이 최신 데이터를 못 가져온 것 (동기화/캐시 문제) — 이건 LLM 문제가 아니라 tool 구현/백엔드 문제
- 가능성 C: 등록 tool과 조회 tool이 서로 다른 캘린더 소스를 보고 있는 것 (예: 등록은 로컬 세션에, 조회는 실제 서버 DB에서)
이 세 가지는 원인이 완전히 다른데, 사용자 입장에선 다 "AI가 이상하다"로 보일 수 있다고 했다.
나나를 만들 거라는 입장에서는 이 구분이 중요하다고 말해줬다.
"A라면 프롬프트를 다듬어야 하고, B/C라면 tool 코드나 아키텍처를 고쳐야 한다."
이런 정보들을 알고 있다면, 앞으로 나나를 개발하면서 더 좋은 인사이트가 될 수 있을 거라고 생각해서 서비스를 이용해보면서 또 좋은 지식을 알게된 거 같다!