AI가 실제로 하는 것과 못 하는 것: 강점, 약점, 현실
어느 순간, 거의 마법처럼 느껴지는 일이 일어난다. 40페이지짜리 보고서를 30초 만에 핵심만 정리해준다. 어설프게 쓴 문단을 깔끔하게 다듬어준다. 복잡한 계약 조항을 일상 언어로 풀어준다.
AI가 실제로 하는 것과 못 하는 것: 강점, 약점, 현실
"AI로 만들기" 시리즈 2편
AI를 처음 써본 사람들이 대부분 비슷한 경험을 한다.
어느 순간, 거의 마법처럼 느껴지는 일이 일어난다. 40페이지짜리 보고서를 30초 만에 핵심만 정리해준다. 어설프게 쓴 문단을 깔끔하게 다듬어준다. 복잡한 계약 조항을 일상 언어로 풀어준다.
그런데 바로 다음 세션에서, 아무렇지도 않게 틀린 말을 한다. 어떤 회사가 1987년에 설립됐다고 자신 있게 말하는데, 실제로는 2003년이다. 완벽해 보이는 코드를 짜줬는데, 실행하면 바로 오류가 난다. 논문 인용 목록을 줬는데, 그 논문들이 존재하지 않는다.
같은 도구다. 둘 다 오류가 아니다.
이게 AI를 쓰기 헷갈리게 만드는 핵심이다. AI는 동시에 두 극단에서 작동한다 — 어떤 영역에선 숨막히게 뛰어나고, 다른 영역에선 놀랍도록 취약하다. 그리고 어느 쪽인지 알려주는 신호가 없다.
대부분의 AI 답답함은 이 선을 모르는 데서 온다. 너무 믿어서 낭패를 보거나, 너무 안 믿어서 엄청난 가치를 놓치거나. AI가 진짜 잘하는 것과 구조적으로 실패하는 것을 이해하는 것 — 이건 단순한 지식이 아니라, 실제 결과를 얻기 위한 기본기다.
AI가 탁월하게 잘하는 것
1. 언어를 대규모로 다루는 것
이건 AI의 홈그라운드다. 요약, 재작성, 번역, 재구성, 핵심 추출, 톤 조정, 다른 독자를 위한 콘텐츠 변형 — 텍스트를 한 형태에서 다른 형태로 바꾸는 모든 것. AI는 이걸 어떤 사람보다 빠르고 일관되게, 어떤 분량에서도 해낸다.
고객 문의 이메일 50개를 받았는데 주요 패턴 다섯 가지를 찾아야 한다면? AI가 몇 초 안에 정리해준다. 같은 내용을 기술 독자용과 비기술 독자용으로 각각 써야 한다면? 동시에 해준다. 거친 초안을 다듬어야 한다면? AI는 탁월한 첫 번째 편집자다.
처음부터 쓰는 걸 멈춰라. AI로 초안을 만들고, 그걸 다듬어라. 어설픈 초안이라도 빈 페이지보다 훨씬 빠르게 완성된다.
2. 패턴 인식과 종합
AI는 사람이 수천 년을 읽어도 다 못 볼 분량의 텍스트를 학습했다. 그 덕분에 패턴을 발견하고, 서로 다른 분야를 연결하고, 여러 출처의 정보를 하나의 흐름으로 종합하는 능력이 뛰어나다.
어떤 문제에 대한 다섯 가지 접근 방식을 비교해달라고 해보라. 성공 사례들의 공통점을 찾아달라고 해보라. 주장 속의 구조적 모순을 짚어달라고 해보라. 이런 종합 작업 — 방대한 지식 안에서 점들을 연결하는 것 — 이 AI가 진짜 가치를 내는 영역이다.
리서치 종합에 AI를 써라. 여러 출처나 관점을 주고, 공통 흐름, 모순, 빠진 부분을 찾아달라고 요청해라.
3. 구조화된 시작점 만들기
빈 페이지 앞에서 굳어버리는 경험, 누구나 해봤을 것이다. AI는 여기서 탁월한 도구다. 프로젝트 계획, 회의 안건, 제안서 개요, 인터뷰 질문 목록, 의사결정 프레임워크 — AI는 사람이 30분 걸려 만들 구조화된 시작점을 몇 초 안에 만들어낸다.
핵심 단어는 "시작점"이다. 복잡한 작업에서 AI의 첫 번째 결과물이 최종 답인 경우는 드물다. 하지만 유용한 발판은 거의 항상 된다.
어디서 시작해야 할지 막힐 때, 먼저 구조를 요청해라. "X를 위한 개요를 줘" → 그 다음에 "X를 써줘" 순서로.
4. 복잡한 것을 쉽게 설명하기
AI는 놀랍도록 인내심 있는 선생님이다. 같은 개념을 다른 수준으로 설명해달라고 해보라. "호기심 많은 초등학생에게 설명하듯이"와 "MBA 수료자에게 설명하듯이"를 구분해서 정확하게 맞춰준다. 기술 개념을 요리 비유로 설명해달라고 해도 된다. 이해할 때까지 단계별로 설명해달라고 해도 된다. 짜증 안 내고, 질문을 판단하지 않는다.
중요한 미팅이나 결정 전에 AI로 예습해라. 모르는 분야를 빠르게 파악하는 데 이것보다 좋은 도구는 없다.
5. 명확한 규칙이 있는 데이터 처리
컴퓨터는 원래 규칙을 정확하고 대규모로 따르는 데 뛰어났다. AI는 그 강점을 물려받으면서, 데이터 주변의 맥락까지 이해하는 능력을 더했다. 논리가 명확하게 정의된 작업에서 AI는 진짜 신뢰할 수 있다. 세금 시나리오 계산, 재무 데이터 분석, 수천 개 행에 일관된 서식 규칙 적용, 특정 기준을 위반하는 항목 플래그 처리, 구조화된 비교 실행 같은 것들이다.
핵심 표현은 "명확한 규칙"이다. 논리가 애매하지 않을 때 — X면 항상 Y — AI는 피로 없이 일관되게 처리한다. 회계사가 500개 항목을 한 시간 동안 검증할 세금 계산을 AI는 몇 초 안에 한다. 동일한 규칙을 1만 개 레코드에 적용해야 하는 데이터 품질 검사? 마찬가지다.
규칙을 명확하게 적을 수 있는 작업 — 정밀한 로봇이 따를 수 있을 만큼 — 은 AI가 대규모로 처리할 수 있는 작업이다. 데이터 검증, 수식 적용, 구조화된 분류, 컴플라이언스 체크를 생각해보라.
6. 방대한 정보에서 원하는 것 찾기
사람은 대량의 텍스트를 검색하는 데 서툴다. 훑어보고, 놓치고, 지치고, 처음에 찾은 것에 고착된다. AI는 이런 한계가 없다. 방대한 문서, 레코드 데이터베이스, 긴 이메일 스레드, 보고서 모음이 주어지면 — AI는 특정 정보를 찾고, 관련 구절을 꺼내고, 빠진 것을 파악하고, 불일치를 발견한다. 눈에 띄는 것만이 아니라 전체 내용을 대상으로.
이건 요약과 다르다. 요약은 압축한다. 찾기는 특정 것을 표면으로 끌어낸다. "이 200페이지 계약서에 우리 표준 약관과 충돌하는 방식으로 책임을 제한하는 조항이 있나요?"는 찾기 작업이다 — 그리고 AI는 이걸 탁월하게 해낸다.
AI를 문서 위의 검색 및 추출 레이어로 써라. 긴 계약서, 리서치 보고서, 회의 녹취록, 메모 모음을 주고, 요약이 아니라 찾기를 요청해라.
AI가 여전히 부족한 것 — 그리고 무엇이 달라졌나
한계를 살펴보기 전에 중요한 전제가 하나 있다. AI가 못 하는 것의 경계가 빠르게 이동하고 있다.
현대 AI 시스템은 이제 MCP(Model Context Protocol) 같은 프레임워크를 통해 외부 도구에 연결할 수 있다. 웹 검색, 실시간 데이터베이스 쿼리, 실시간 재무 데이터 조회, 파일 읽기, 외부 서비스와의 상호작용이 가능하다. 먼 미래의 이야기가 아니다. 제대로 구성됐을 때 Claude, ChatGPT 같은 도구들이 오늘 실제로 작동하는 방식이다.
이것이 의미하는 것: 1년 전엔 절대적 한계처럼 느껴졌던 것들 중 일부가 이제는 부드러운 한계이거나 올바른 설정으로 해결 가능한 것이 됐다. 어떤 것이 달라졌고, 어떤 것이 그대로인지 짚어보겠다.
1. 실시간 및 구체적 사실 정보 — 도구 연결로 크게 개선됨
AI의 고전적 한계: 학습 데이터에서 응답을 생성하지, 실시간 검색을 하지 않는다. 그래서 틀린 날짜, 조작된 통계, 오래된 정보를 완전한 자신감으로 내놓곤 했다.
이건 도구 없이 단독으로 사용하는 기본 AI 모델에서는 여전히 사실이다. 하지만 웹 검색이나 실시간 데이터 소스에 도구로 연결되면, AI는 응답하기 전에 정확하고 최신 정보를 가져올 수 있다. 도구가 연결된 AI에게 오늘 환율, 특정 회사의 최신 실적, 최근 뉴스를 물어보면 — 추측이 아니라 실제 답을 가져올 수 있다.
달라지지 않은 것: 도구가 있어도, AI는 찾아봐야 한다는 걸 인식하지 못할 때 또는 접근할 수 있는 소스에 정보가 없을 때 여전히 환각을 일으킬 수 있다. 자신감 문제가 완전히 사라진 건 아니다.
구체적이고 검증 가능한 사실 — 특히 최근 것 — 은 검색이나 도구 접근이 활성화된 AI 시스템을 써라. 그리고 중요한 것은 여전히 1차 출처에서 확인해라.
2. 새롭고 다단계적인 논리 추론 — 개선됐지만, 인간의 추론과는 여전히 다르다
이건 솔직하게 업데이트가 필요한 부분이다. 추론은 AI에서 가장 빠르게 발전한 영역 중 하나이기 때문이다.
OpenAI의 o1/o3, Google의 Gemini, Claude의 확장 사고 모드 같은 현대 "추론 모델"들은 사고의 연쇄(Chain of Thought, CoT) 라는 기법을 사용한다. 최종 답을 내기 전에 중간 단계를 생성하며, 말 그대로 "소리 내어 생각"한다. 수학, 논리, 코딩, 구조화된 다단계 문제에서 이건 진짜 도약이었다. 이전 모델들이 완전히 막혔을 복잡성을 이제 다룰 수 있다.
그러니 "AI는 추론을 못 한다"는 말은 더 이상 정확하지 않다. 인식 가능한 패턴과 정의된 구조가 있는 문제에서 AI 추론은 이제 인상적으로 신뢰할 수 있다.
하지만 몇 가지 중요한 간극은 여전히 남아 있다. 그리고 이건 더 많은 학습 데이터의 문제가 아니라 구조적인 차이이기 때문에 이해할 가치가 있다.
AI는 한 방향으로만 추론한다. 인간은 되돌아간다. 인간의 추론은 재귀적이다. 가설을 세우고, 머릿속으로 검증하고, 뭔가 어긋나는 느낌이 들면 되돌아가서 전제를 수정하고, 다시 시도한다 — 종종 의식적으로 결정하지 않고도. AI의 사고 연쇄는 대체로 한 번의 전진 생성이다. 각 단계는 이전 것을 기반으로 쌓인다. "재고하는" 것처럼 보여도, 인간이 이전 믿음을 진짜로 재방문하는 것이 아니라 다음으로 가장 그럴듯한 토큰을 생성하는 것이다. 그래서 AI가 틀린 방향으로 자신 있게 나아가다 한 번도 방향을 수정하지 않을 수 있다.
AI는 맞아야 한다는 이해관계가 없다. 인간의 추론은 결과에 의해 형성된다. 책임을 져야 할 때, 틀렸을 때 실제 비용이 있을 때 우리는 더 신중하게 추론한다. AI에게는 그런 마찰이 없다. 오류에 대한 두려움도, 자존심 투자도 없다. 이게 AI를 일관되게 만들지만, 동시에 인간이라면 중간에 느꼈을 내부 저항 없이 틀린 결론으로 자신 있게 걸어 들어갈 수 있다는 뜻이기도 하다.
자신감이 정확성을 의미하지 않는다. 이게 실용적으로 가장 위험한 간극이다. 추론 모델은 길고 상세한 사고 연쇄를 생성하고, 완전히 틀린 결론에 도달하면서 — 완전히 맞을 때와 정확히 같은 자신감 있는 말투를 쓸 수 있다. 추론의 길이와 겉보기 철저함이 답이 맞는지를 신뢰할 수 있게 나타내지 않는다. 인간 전문가라면 깊은 추론과 높은 자신감이 어느 정도 상관관계가 있다. AI에서는 그렇지 않다.
선례 없는 새로운 상황에서는 여전히 흔들린다. AI 추론은 이전에 본 것과 유사한 문제에서 빛난다. 진짜 새로운 상황 — 이례적인 엣지 케이스, 물리적 직관이 필요한 결정, 명확한 선례가 없는 사회적 역학 — 에서는 여전히 어려워한다. 인간의 추론은 몸으로 체득되고 적응적이다. AI의 추론은 패턴 완성이고, 완성할 패턴이 없으면 발판이 흔들린다.
구조화되고 잘 정의된 문제에서는 추론 모델을 자유롭게 써라, 진짜 잘한다. 새롭고 중요하거나 결과가 큰 추론에서는 AI를 고려사항을 표면화하는 사고 파트너로 다뤄라, 최종 권위자가 아니라. 논리는 항상 스스로 검토해라. 그리고 AI가 가장 자신감 있게 들릴 때 특히 주의해라: 바로 그때가 "자신 있게 틀린" 실패 모드를 잡아내기 가장 어려운 순간이다.
3. 자신이 모른다는 것을 모르는 것 — 여전히 가장 위험한 한계
AI는 불확실성에 대한 신뢰할 수 있는 내부 신호가 없다. 사람 전문가는 지식 범위 밖의 질문을 받으면 보통 주저하거나 "잘 모르겠다"고 한다. AI는 종종 그러지 않는다. 빈 곳을 그럴듯하게 들리는 내용으로 채운다 — 완전히 만들어낸 것일 수 있고, 맞는 내용을 말할 때와 정확히 같은 자신감 있는 말투로.
이게 AI 커뮤니티에서 말하는 "환각(hallucination)"이다. 도구 접근은 사실 질문에서 환각을 줄여준다. 찾아볼 수 있기 때문이다. 하지만 근본적인 경향을 없애지는 못한다 — 특히 틈새 주제, 복잡한 세부사항, 어떤 소스도 답하기 어려운 경계 질문에서.
질문이 구체적이고 틈새적일수록, 자신 있는 답변에 더 의심해야 한다. 낯선 영역에서 AI 결과물은 결론이 아닌 시작 가설로 다뤄라.
4. 실제 이해관계가 있는 판단 — 도구가 도움이 안 되는 영역
이건 달라지지 않았고, 도구도 바꾸지 못한다. AI는 결과에 직접적인 이해관계가 없다. 회사를 운영해본 적도, 어려운 클라이언트 관계를 헤쳐나가본 적도, 틀렸을 때 진짜 결과가 따르는 결정의 무게를 느껴본 적도 없다. 프레임워크를 제시하고, 고려사항을 나열하고, 반론을 펼칠 수 있다 — 하지만 실제 경험이 있는 사람의 판단을 대체할 수 없다.
"이 사람을 해고해야 하나?", "이 파트너십을 추진할 가치가 있나?", "이 투자자의 돈을 받아야 하나?" — 이건 정보 문제가 아니다. 살아있는 맥락, 관계 이력, 진짜 책임감이 필요한 판단이다.
AI를 놓친 고려사항을 발견하는 데 써라. 결정을 내리는 데 쓰지 마라. "이것의 찬반 논거는 뭐야?"가 "어떻게 해야 해?"보다 나은 질문이다.
신뢰 단계
이 패턴을 이해하면, 언제 AI를 믿고 언제 검증할지에 대한 실용적 감각이 생긴다.
자유롭게 신뢰해도 되는 영역 — 언어 변환(요약, 재작성, 번역), 브레인스토밍, 구조와 개요 생성, 개념 설명, 커뮤니케이션 초안 작성. 여기서 작은 오류의 비용은 낮고, 효율 이득은 크다.
신뢰하되 검증해야 하는 영역 — 리서치 종합, 전략 프레임워크, 기술 설명, 코드 생성. AI가 진짜 유용하지만, 결과물을 실행하기 전에 항상 검토해라.
주의하며 사용해야 하는 영역 — 구체적 사실, 통계, 인용, 법적/의학적 세부사항, 정확한 역사적 정보. 이 영역에서 AI 결과물은 결론이 아닌 리서치의 출발점으로 다뤄라.
의존하지 말아야 하는 영역 — 중요한 결정에 대한 최종 판단, 각 단계가 중요한 복잡한 새로운 추론, 틀렸을 때 심각한 결과가 있는 모든 것.
지금 바로 해볼 테스트
최근에 AI를 쓴 것 하나를 골라, 스스로에게 물어보라: 그 작업은 어떤 단계에 해당했나?
AI에게 요약이나 재작성을 요청했다면 — 안전한 영역이었다.
AI에게 구체적인 사실이나 데이터를 요청했다면 — 검증했는가? 그렇지 않다면, 다시 확인해봐라.
AI에게 중요한 결정을 도와달라고 했다면 — 그 결과물을 여러 입력 중 하나로 다뤘는가, 아니면 답으로 다뤘는가? 후자라면, 다시 생각해볼 필요가 있다.
대부분의 사람들은 생각해보면, 세 번째 영역에서 AI를 지나치게 믿거나, 첫 번째 영역에서 AI를 충분히 활용하지 못하고 있다는 걸 깨닫는다. 이 인식만으로 이미 일하는 방식이 달라진다.
AI의 한계가 뜻하는 것
AI의 한계는 AI의 가치를 줄이지 않는다. 그냥 게임의 규칙을 정의할 뿐이다.
계산기는 엄청나게 유용하다 — 하지만 전략 메모를 써달라고 하진 않을 것이다. GPS는 없어서는 안 될 도구다 — 하지만 제안하는 경로가 말이 안 될 때는 알아차린다. AI도 마찬가지다. AI가 잘하는 것과 못 하는 것을 이해하는 건 비관주의가 아니다. AI를 제대로 쓰기 위한 전제 조건이다.
AI에서 놀라운 결과를 얻는 사람들은 AI의 약점을 무시하는 게 아니다. 맞는 작업을 맡기고, 판단은 자신이 하는 법을 익혔다.
이것만 기억하자
AI는 동시에 두 극단에서 작동한다. 어떤 영역에선 놀랍도록 뛰어나고, 다른 영역에선 놀랍도록 취약하다. 어느 쪽인지 아는 것이 기술이다.
AI의 홈그라운드는 언어 변환이다. 요약, 재작성, 재구성, 설명, 종합 — 텍스트를 한 형태에서 다른 형태로 바꾸는 것. 여기서 진짜 가치가 나온다.
AI는 자신이 모른다는 것을 모른다. 틀린 사실을 맞는 사실과 같은 자신감 있는 말투로 내놓는다. 질문이 구체적일수록 더 의심해야 한다.
신뢰 단계 프레임워크를 써라. 언어 작업은 자유롭게 신뢰. 종합과 코드는 신뢰하되 검증. 구체적 사실은 주의. 중요한 판단은 의존하지 말 것.
AI를 가장 잘 쓰는 사람은 가장 낙관적인 사람이 아니다. 어디에 배치할지, 어디서 직접 운전할지를 정확히 아는 사람이다.
더 깊이 배우고 싶다면
이 글은 AI가 실제로 어떻게 작동하는지 — 솔직한 버전을 다뤘다. 송재희의 AI Development Guide는 이 기반 위에서, 프롬프팅과 데이터부터 에이전트, 바이브 코딩, 프로덕션 배포까지 AI로 만드는 전체 여정을 보여준다.
📱 Apple Books ▶️ Google Play Books 🌐 전 플랫폼 구매 (Books2Read)
다음 편: "AI 레고 스택" — 현대 AI 도구들이 어떻게 맞물려 작동하는지, 그리고 만들고 싶은 것에 맞는 조합을 어떻게 고르는지를 다룹니다.