최근 미디어에서는 연일 “AI가 직원을 대체하고 있다”는 자극적인 헤드라인을 쏟아내기 바쁘고, 그만큼 사람들의 AI에 대한 불안감 역시 높아지고 있다. 그에 더불어 여기저기서 들리는 대규모 구조조정 소식은 이런 불안감을 더 자극한다. 일부 언론에서는 ‘AI로 인한 대량 해고’에 대한 이야기도 한다.
요즘에 여러 강의와 패널 토크 등의 기회가 있어 AI에 대해서 여러 자료를 살펴보았다. 그 중 MIT NANDA의 ‘STATE OF AI IN BUSINESS 2025’ 보고서도 살펴보게 되었다. 이 보고서에서는 기업의 GenAI 투자액이 300억~400억 달러에 달했음에도 불구하고, 놀랍게도 95%의 조직이 측정 가능한 수익(P&L)을 전혀 얻지 못하고 있다고 말한다.
이처럼 성공과 실패가 극명하게 갈리는 현상을 연구진은 GenAI 격차(GenAI Divide)라고 명명한다. 이 격차의 원인과 현상을 살펴보면, 현재 AI 도입이 광범위한 구조조정을 초래하고 있다고 보기는 어렵다. 물론 조직이 현재의 한계를 극복하고 학습하는 시스템을 체계적으로 도입하기 시작하면, 미래에는 필연적으로 구조적 변화가 발생할 가능성이 높을 것이다.
신뢰성 있는 기관의 리서치기도 해서 여기저기서 인용하고 있기도 하고 꽤 최근의 보고서니만큼 내용을 한 번 정리해서 공유해 보고자 했다.
GenAI 격차의 구조적 문제
GenAI 격차는 높은 채택률과 낮은 변혁률의 역설에서 가장 명확하게 드러난다.
1. 파일럿-운영 전환의 거대한 간극
ChatGPT나 Copilot 같은 일반 목적의 LLM 도구는 조직의 80% 이상이 탐색/파일럿을 진행했고 40% 가까이 배포되었다. 하지만 이러한 도구들은 주로 개인의 생산성을 높이는 데 기여할 뿐, 조직의 P&L 성과에 직접적인 영향을 미치지 못한다. (물론 이는 도입한 지 기간이 충분하지 않아서 직접적인 수익에 영향을 미치지 못했을 가능성도 있다. )
(이전부터 그랬듯이) 눈에 띄는 변화를 가져올 것이라고 생각했을 기업용 맞춤형 솔루션의 성공률은 더욱 저조하다. 60%의 조직이 이를 검토했지만, 파일럿 단계에 도달한 비율은 20%에 불과하며, 실제 운영에 도달한 비율은 단 5%에 불과했다. 이는 실질적으로 95%의 조직은 검토 비용만 들였을 뿐 AI의 실질적인 효과는 얻지 못했다고 보는 것이 맞겠다.
2. 학습의 간극
이러한 파일럿의 실패는 인프라, 규제, 인재의 문제라기 보다는 시간과 학습능력의 부재에 있다. 대부분의 GenAI 시스템은 피드백이 지속적으로 반영되지 못했고, 종종 주어진 맥락에서 벗어났으며, 시간이 지나도 스스로 개선하는 능력이 부족했다.
- 신뢰의 상실: 기업 사용자들은 맞춤형 AI 도구가 아직 취약하고, 과도하게 설계되었으며, 실제 워크플로우와 맞지 않는다고 평가했다.
- 기억력 부족: 심지어 유연한 소비자용 LLM도 핵심 업무에서는 실패했다. 한 변호사는 ChatGPT가 클라이언트 선호도를 기억하지 못하고, 반복적인 실수를 저지르며, 매 세션마다 광범위한 맥락 입력을 요구한다는 이유로 중요한 계약 작업에서는 신뢰하고 일을 맡길 수 없었다고 술회했다.
결국, GenAI를 본격적으로 사용하지 못했던 원인은 지능의 문제보다는, 기억, 적응력, 그리고 학습 능력에 있다. 복잡하거나 장기적인 고위험 업무에서 90%의 사용자가 여전히 인간을 선호한다고 답변했다.
3. 산업 및 규모별 격차
GenAI 격차는 모든 조직에 균일하게 적용되지 않았다.
- 산업별 변혁: GenAI가 유의미한 구조적 변화를 보인 산업은 IT 및 미디어/통신 두 곳뿐이었다. 나머지 7개 산업(헬스케어, 금융, 에너지 등)은 구조적 변혁이 거의 없거나 미미했다.
- 기업 규모에 따른 차이: 대기업(매출 1억 달러 이상)은 파일럿 수와 인력 할당 면에서는 선두를 달리지만, 파일럿에서 규모 확대로의 전환율은 가장 낮았다. 반면, 중견기업은 평균 90일 만에 완전 구현에 도달하며 더 빠르고 확실한 전환이 있었다.
‘외부 대체’에 집중된 구조 조정
AI가 대규모 구조조정의 원인이라는 세간의 인식은 AI가 현재 주로 어디서 가치를 창출하는지에 대한 데이터를 간과하고 있다.
- 외부 비용 절감
보고서에 따르면, AI 투자로 인한 ROI는 내부 인력 감축보다는 외부 비용 절감에서 압도적으로 많이 발생했다.
- 백오피스의 숨겨진 가치: GenAI 예산의 50% 이상이 영업 및 마케팅과 같이 가시성이 높은 부서에 집중되지만, 가장 극적인 비용 절감 효과는 종종 무시되던 백오피스 자동화에서 나왔다.
- 주요 절감 사례: 성공적인 조직은 BPO(Business Process Outsourcing) 계약 해지 (연간 200만~1,000만 달러 절감), 외부 에이전시 비용 감축 (30% 감소) 등의 성과를 보였다.
- 제한적 직원 해고 : AI는 개인의 작업 속도를 높였을 뿐, 팀 구조나 예산을 바꾸지는 못했다. 내부 인력 감축의 경우 선택적으로, 외주화되었거나 비핵심 업무로 취급되던 기능(고객 지원 운영, 관리 처리, 표준화된 개발 작업)에 집중되었다.
2. IT 기업의 구조조정
IT 및 미디어 산업에서 관찰되는 구조조정은 AI 대체 효과가 가장 먼저 나타난 현상일 수 있다. 기술 및 미디어 산업은 GenAI로 인한 구조적 변혁이 유의하게 나타난 분야로, 80% 이상의 경영진이 24개월 이내 채용 규모 감소를 예상하고 있다(다만 실질적으로 AI가 효과를 나타냈기 때문에 구조조정이라고 표명된 것은 없다). 이는 AI가 내부 직원이 아닌 외부 협력업체나 아웃소싱된 기능을 먼저 대체하는 방식으로 진행되고 있음을 시사하는 선행 지표일 수 있다.
AI의 정석적 도입 – Buy & Shadow AI
GenAI 격차를 정석적으로 진행하는 조직들은 AI 기술을 구매하고 구현하는 방식부터 근본적으로 달랐다.
- 자체 구축보다 구매의 성공률이 2배 높다
보고서는 내부 개발이 외부 파트너십보다 두 배 더 자주 실패한다고 지적하고 있다.
- 데이터 기반 결론: 전략적 파트너십(Buy)을 통한 배포 성공률이 약66%인 반면, 자체 구축은 약 33%에 그쳤다.
- Buy의 핵심: 성공적인 구매 기업에서는 AI 스타트업을 단순한 소프트웨어(SaaS) 제공업체가 아닌 비즈니스 서비스 제공업체로 대우했습니다. 이들은 요구사항으로 자세한 커스터마이징와 비즈니스 성과 기반의 벤치마킹을 제시했으며, 시간이 지나면서 개선될 수 있는 능력을 가장 중요한 선택 기준으로 꼽았다.
2. 그림자 AI 경제 (Shadow AI Economy)를 통한 학습
기업의 공식 이니셔티브가 교착 상태에 빠져 있는 동안, 직원들은 개인 도구를 통해 이미 GenAI를 활용하고 있다. 이를 ‘그림자 AI 경제’라고 한다.
- 90%의 직원이 사용: 공식 LLM 구독을 구매했다고 응답한 회사는 40%에 불과했지만, 설문 조사 대상 기업의 90% 이상에서 직원들은 업무에 개인 AI 도구(ChatGPT, Claude 등)를 정기적으로 사용하고 있다고 보고했다.
미래 구조변화의 가능성: 에이전트 AI와 좁아지는 창
현재까지는 AI 도입이 ‘학습의 간극’으로 인해 광범위한 구조조정으로 이어지지 않고 있지만, 미래의 잠재력은 무시할 수 없다. MIT의 Project Iceberg에서는 2.3조 달러 규모의 노동 가치가 잠재적 자동화에 노출되어 있다고 추정하며, 이는 3,900만 개의 일자리에 영향을 미칠 수 있다고 보고했다.
- Agentic AI의 등장: 현재의 한계를 해결할 핵심은 Agentic AI 다. 에이전트 시스템은 지속적인 메모리를 유지하고, 상호 작용에서 학습하며, 복잡한 워크플로우를 자율적으로 조정할 수 있다.
- Agentic Web의 구축: Model Context Protocol (MCP), Agent-to-Agent (A2A), NANDA와 같은 프레임워크는 이러한 에이전트들의 상호 운용성을 가능하게 하여, 모놀리스식 애플리케이션을 동적 조정 계층으로 대체하는 에이전트 웹의 토대가 될 수 있다.
- 경쟁의 창 폐쇄: GenAI 격차를 넘을 수 있는 창이 빠르게 좁아지고 있으며, 조직에서 AI 시스템에 데이터를 투자하여 워크플로우를 훈련시키기 시작하게 되면, 경쟁사에게는 넘어설 수 없는 복합적인 전환 비용이 매달 증가하게 될 것이라고 경고합니다. CIO들은 “우리 프로세스를 가장 잘 학습하고 적응하는 시스템이 결국 비즈니스를 차지할 것”이라고 말한다.
AI는 ‘방아쇠’가 아닌 ‘설계’의 문제
AI는 굉장히 그럴 듯하고, 실제로 AI로 인해 달라진 것들을 여러 가지 목도하기도 했다. 그리고 그만큼 기본적으로 모두가 AI에 대한 경외감과 불안감을 동시에 가지고 있다. 다만 당장의 불안감에 눈 앞의 현실을 왜곡하기보다는 가능성과 현실은 구분해서 생각해야 할 필요가 있다. 현재까지 GenAI는 대부분의 조직에서 직원의 자리를 위협하는 방아쇠라기 보다는, 외부 비용을 효율적으로 대체하는 도구의 가능성을 보여주고 있다고 보는 것이 좋다. 이는 AI의 ‘학습의 간극’ 때문이며, AI가 복잡한 조직의 맥락을 기억하고 적응하는 능력은 아직 부족하다. 현 시점에서 아직 AI로 인해 광범위한 구조조정이 일어났다고 보기는 어렵다.
물론 미래는 다를 것이다. 에이전트 AI와 같이 제대로 학습하는 시스템이 기업의 핵심 워크플로우에 깊이 통합되면, AI의 가치는 단순한 비용 최적화를 넘어 내부 조직 구조를 근본적으로 개편하는 단계로 진입할 수 있을 것이다. GenAI 격차를 넘어설 수 있는 조직들은 이미 Buy 전략과 학습 가능한 시스템의 기반을 마련하고 이런 미래를 준비하고 있다. 우리도 흐린 눈을 씻어내되 안도하지는 말고 이에 대해서 좀 더 생각해 보고 조금이나마 준비할 방향을 고민해 보는 것이 낫지 않을까 생각한다.
Reference
https://www.joongang.co.kr/article/25377415
https://docs.google.com/forms/d/e/1FAIpQLSc8rU8OpQWU44gYDeZyINUZjBFwu–1uTbxixK_PRSVrfaH8Q/viewform
데이터와 AI 관련하여 다양하게 고민하고 일을 해보고 있습니다. 관련해서 이야기를 더 나누고 싶거나, 궁금한 것을 해결해 보고 싶거나, 같이 일을 해보고 싶으신 분은 About 페이지를 참고하셔서 가볍게 연락을 주시면 됩니다.