AI Agent 시대, 왜 AI Guardrail이 중요할까?

카카오톡 선물하기 사례로 생각해본 AI Safety UX

요즘 AI Agent 기술이 빠르게 발전하면서 AI는 점점 ‘개인비서’에 가까워지고 있다는 생각이 든다.

처음에는 단순히 질문에 답해주는 챗봇에 가까웠다면, 이제는 사용자의 상황을 이해하고, 필요한 정보를 먼저 제안하고, 때로는 특정 행동까지 대신 수행하는 방향으로 발전하고 있다. 쉽게 말하면 AI가 단순한 도구를 넘어 나와 계속 함께하는 비서가 되는 것이다.

그런데 여기서 한 가지 중요한 질문이 생긴다.

이 비서가 나와 계속 함께하면서 나의 정보를 점점 더 많이 알게 된다면, 어떤 문제가 생길 수 있을까?

가장 먼저 떠오르는 것은 개인정보 유출이다.
또 사생활 침해, 민감정보 활용, 사용자가 원하지 않는 추천, 잘못된 판단으로 인한 불쾌감 같은 문제도 생각해볼 수 있다.

AI가 똑똑해질수록 사용자는 더 편리해질 수 있지만, 반대로 AI가 너무 많은 정보를 알고 있다는 느낌을 받으면 불안함도 커질 수 있다. 그래서 최근 AI 서비스에서 중요하게 다뤄지는 개념이 바로 AI Guardrail이다.

AI Guardrail은 쉽게 말하면 AI가 위험하거나 부적절한 방향으로 작동하지 않도록 잡아주는 안전장치라고 볼 수 있다. 하지만 나는 이것이 단순히 “AI가 위험한 말을 하지 않게 막는 기술”만은 아니라고 생각한다.

AI 서비스가 실제 사용자에게 받아들여지려면 기술적인 안전장치뿐만 아니라, 사용자가 “내 정보가 안전하게 쓰이고 있다”고 느낄 수 있는 서비스 경험까지 함께 설계되어야 한다.

이 지점에서 중요한 개념이 AI Safety UX라고 생각한다.

---

카카오톡 선물하기에 AI가 들어간다면?

카카오톡 선물하기 기능에 AI Agent가 들어간 상황을 생각해보면 AI Guardrail이 왜 필요한지 더 쉽게 이해할 수 있다.

예를 들어 친구가 카카오톡 대화에서 이런 말을 했다고 해보자.

“요즘 잠을 못 자서 너무 힘들다.”
“생일인데 아무것도 하기 싫다.”
“돈이 없어서 부담된다.”

이런 대화 맥락을 AI가 읽고 선물을 추천해준다면, 기능적으로는 꽤 편리할 수 있다. 친구의 상황을 고려해서 더 적절한 선물을 추천해줄 수 있기 때문이다.

하지만 여기서 문제가 생길 수 있다.

만약 카나나 같은 AI Agent가 갑자기 이렇게 추천한다면 어떨까?

“수면제 선물 어때요?”
“우울할 때 좋은 상담권을 선물해보세요.”
“비싼 건강기능식품을 추천할게요.”

겉으로 보면 대화 맥락을 기반으로 한 개인화 추천처럼 보일 수 있다. 하지만 사용자 입장에서는 굉장히 불편하게 느껴질 수 있다.

“내 대화를 AI가 이렇게 깊게 보고 있었나?”
“친구의 민감한 상황을 선물 추천에 활용해도 되는 건가?”
“이 정보가 광고나 추천에 쓰이는 건 아닌가?”

이런 불안이 생길 수 있기 때문이다.

특히 카카오톡은 사람들이 거의 매일 사용하는 사적인 공간이다. 가족, 친구, 연인, 동료와의 대화가 모두 오가는 공간이기 때문에 AI가 이 안에서 작동할 때는 훨씬 더 조심스러운 설계가 필요하다.

단순히 추천 정확도를 높이는 것만으로는 부족하다.
사용자가 불안하지 않게, 그리고 자신의 정보가 안전하게 사용되고 있다고 느끼게 만드는 설계가 필요하다.

---

AI Safety UX란 무엇일까?

내가 생각하는 AI Safety UX는 AI가 위험한 답변을 하지 않도록 막는 기술만을 의미하지 않는다.

기획자 관점에서 AI Safety UX는 사용자가 AI를 안전하다고 느낄 수 있도록 만드는 화면, 문구, 동의 절차, 예외 처리, 추천 기준, 수정·신고 플로우를 설계하는 것에 가깝다.

즉, AI가 무엇을 할 수 있는지만 고민하는 것이 아니라, AI가 어디까지 하면 안 되는지, 사용자가 어떤 정보를 확인할 수 있어야 하는지, 잘못 추천했을 때 어떻게 수정할 수 있어야 하는지를 함께 설계하는 것이다.

카카오톡 선물하기 사례로 보면, AI Safety UX는 이런 방식으로 설계될 수 있다.

---

1. AI가 어떤 정보를 보고 추천했는지 알려주기

AI가 단순히 “이 선물을 추천해요”라고 말하면 사용자는 추천의 근거를 알 수 없다.
특히 카카오톡처럼 사적인 대화가 많은 서비스에서는 사용자가 “내 대화를 보고 추천한 건가?”라는 불안감을 느낄 수 있다.

그래서 AI가 어떤 정보를 기준으로 추천했는지 알려주는 것이 중요하다.

예를 들어 이렇게 안내할 수 있다.

“최근 대화 내용이 아니라, 친구의 생일 정보와 선물하기 인기 데이터를 기준으로 추천했어요.”

이 문구 하나만으로도 사용자는 AI가 어떤 정보를 활용했는지 이해할 수 있다. 그리고 자신의 민감한 대화가 함부로 사용되지 않았다는 느낌을 받을 수 있다.

즉, 추천 결과 자체만큼이나 추천 근거를 투명하게 보여주는 것이 중요하다.

---

2. 민감한 대화는 추천에 사용하지 않기

AI가 대화 맥락을 이해한다고 해서 모든 대화를 추천에 활용해도 되는 것은 아니다.

건강, 돈 문제, 연애 갈등, 가족 문제, 우울감, 종교, 정치 성향 같은 정보는 매우 민감한 정보다. 이런 내용은 선물 추천에 직접적으로 사용하지 않도록 제한할 필요가 있다.

예를 들어 친구가 “요즘 우울하다”고 말했다고 해서 AI가 “우울증 관련 상품”이나 “상담권”을 추천하면 안 된다고 생각한다. 사용자는 이것을 세심한 추천이 아니라 민감한 정보를 건드린 불편한 추천으로 받아들일 수 있다.

대신 이런 방식으로 바꿀 수 있다.

“부담 없는 위로 선물”
“따뜻한 음료”
“가벼운 간식”
“응원 메시지 카드”

즉, 민감한 정보를 직접 드러내지 않으면서도 사용자의 의도를 부드럽게 반영하는 방식이 필요하다.

AI가 똑똑하게 추천하는 것도 중요하지만, 때로는 일부 정보를 모르는 척하거나 사용하지 않는 것이 더 안전한 경험을 만들 수 있다.

---

3. 사용자 동의를 받기

AI가 대화 맥락을 활용하려면 사용자는 그 사실을 알고 있어야 한다.

사용자가 모르는 상태에서 AI가 대화를 분석하고 추천을 제공한다면, 아무리 추천이 정확하더라도 불쾌하게 느껴질 수 있다. 그래서 대화 맥락을 활용하기 전에는 명확한 동의 과정이 필요하다.

예를 들어 이런 선택지를 줄 수 있다.

“대화 맥락을 참고해 선물을 추천받을까요?”

그리고 사용자가 직접 선택할 수 있도록 한다.

“대화 맥락 사용하기”
“인기 선물 기준으로 보기”
“직접 조건 입력하기”

이렇게 하면 사용자는 AI에게 끌려가는 느낌이 아니라, 자신이 직접 정보 활용 범위를 선택하고 있다는 통제감을 느낄 수 있다.

AI 서비스에서 중요한 것은 단순한 자동화가 아니라, 사용자가 원할 때 AI의 도움을 받을 수 있도록 하는 것이다.

---

4. 추천 이유를 설명하기

AI가 “이걸 사세요”라고만 말하면 사용자는 그것을 광고처럼 느낄 수 있다.
특히 선물하기처럼 구매로 이어지는 서비스에서는 추천 이유가 더 중요하다.

예를 들어 이런 설명이 붙는다면 사용자는 추천을 더 신뢰할 수 있다.

“가격 부담이 낮고, 생일 선물로 많이 선택된 상품이에요.”
“친구와의 관계가 ‘동기/친구’일 때 많이 선택되는 선물이에요.”
“최근 대화의 민감한 내용은 추천에 사용하지 않았어요.”

이런 설명은 단순히 친절한 문구가 아니다. 사용자가 AI 추천을 이해하고, 납득하고, 신뢰하게 만드는 장치다.

AI 추천이 많아질수록 사용자는 “왜 이걸 추천하지?”라는 질문을 하게 된다.
그래서 추천 이유를 설명하는 것은 AI 서비스에서 중요한 UX 요소라고 생각한다.

---

5. 틀렸을 때 수정할 수 있게 하기

AI 추천이 항상 맞을 수는 없다.
친구에게 어울리지 않는 선물을 추천할 수도 있고, 관계의 깊이를 잘못 판단할 수도 있고, 가격대가 맞지 않을 수도 있다.

그래서 사용자가 바로 수정할 수 있는 흐름이 필요하다.

예를 들어 추천 결과 옆에 이런 버튼을 둘 수 있다.

“너무 비싸요”
“친하지 않은 사이예요”
“건강 관련 선물은 제외해줘요”
“더 가벼운 선물로 추천해줘요”

이런 버튼은 단순한 필터 기능이 아니다. 사용자가 AI 추천을 조정하고 통제할 수 있게 해주는 UX다.

AI가 틀렸을 때 사용자가 다시 처음부터 검색해야 한다면 불편함이 커진다. 반대로 사용자가 쉽게 수정할 수 있다면 AI 추천은 점점 더 유용한 경험이 될 수 있다.

---

결국 가드레일은 AI를 막는 장치가 아니다

처음에는 AI Guardrail을 단순히 AI를 제한하는 장치라고 생각할 수 있다.
하지만 카카오톡 선물하기 사례로 생각해보면, 가드레일은 AI를 막기 위한 장치라기보다 사용자가 AI를 계속 믿고 사용할 수 있게 만드는 신뢰 장치에 가깝다.

카나나 같은 AI Agent가 아무리 좋은 추천을 해도 사용자가 불안함을 느끼면 서비스는 오래 쓰이기 어렵다.

“내 대화를 AI가 보고 있었나?”
“내 개인정보가 광고에 쓰이는 건가?”
“친구의 민감한 상황을 내가 이용하는 것처럼 보이면 어떡하지?”
“이 추천을 믿어도 되나?”

이런 불안이 생기면 사용자는 AI 기능을 끄거나, 아예 사용하지 않게 될 수 있다.

결국 AI 서비스 기획에서 중요한 것은 AI가 얼마나 똑똑한지가 전부가 아니다.
AI가 어떤 정보를 어디까지 활용하고, 어떤 정보는 사용하지 않으며, 사용자에게 어떻게 설명하고, 틀렸을 때 어떻게 수정할 수 있게 할 것인지가 중요하다.

---

기획자로서 이 주제를 어떻게 볼 수 있을까?

기획자 관점에서 이 주제의 핵심은 “카나나가 선물을 잘 추천하는 것”이 아니다.

더 중요한 것은 다음 질문에 답하는 것이다.

카나나가 어떤 정보를 어디까지 활용해도 되는가?
민감한 정보는 어떻게 감지하고 제외할 것인가?
사용자에게 정보 활용 범위를 어떻게 설명할 것인가?
추천이 부적절할 때 사용자는 어떻게 수정할 수 있는가?
AI가 멈춰야 하는 순간은 언제인가?

이런 질문에 답하는 과정이 곧 AI Safety UX 기획이라고 생각한다.

그래서 만약 이 주제를 포트폴리오로 발전시킨다면, 문제 정의는 이렇게 잡을 수 있을 것 같다.

문제 정의
카카오톡 기반 AI Agent가 대화 맥락을 활용해 선물을 추천할 경우, 개인화 수준이 높아질수록 사용자는 편리함과 동시에 개인정보 침해 우려를 느낄 수 있다.

목표
사용자가 불안하지 않게 AI 추천을 사용할 수 있도록 정보 활용 범위, 동의 방식, 민감정보 제외, 추천 이유 설명, 수정·신고 플로우를 설계한다.

기획 결과물
카나나 선물 추천 플로우, 개인정보 동의 화면, 추천 이유 UI, 민감정보 필터링 정책, 예외 케이스 대응 화면, 성공 지표까지 설계한다.

---

마무리

AI Agent 시대에는 AI가 무엇을 할 수 있는지보다, AI가 무엇을 해도 되는지를 설계하는 일이 더 중요해질 것 같다.

특히 카카오톡처럼 많은 사람들이 일상적으로 사용하는 서비스에서는 AI의 편리함만큼이나 신뢰가 중요하다. 사용자는 똑똑한 AI를 원하는 동시에, 자신의 정보가 안전하게 다뤄지고 있다는 확신도 원하기 때문이다.

그래서 나는 AI Guardrail과 AI Safety UX가 앞으로 AI 서비스 기획에서 중요한 주제가 될 것이라고 생각한다.

결국 좋은 AI 서비스는 단순히 사용자의 정보를 많이 아는 서비스가 아니라,
사용자의 정보를 조심스럽게 다루고, 사용자가 안심하고 맡길 수 있는 서비스가 아닐까.