[경제발언대] 중소기업의 ‘AI 접근성’ 풀어야 혁신이 폭발한다

너무 높은 연산자원·데이터 장벽 AI 전문가 영입할 여력도 태부족 성공사례 확산, 中企인식 바꿔야

2025-11-24     중소기업뉴스
최은수 _ 서울중남부AI사업협동조합 이사장

불과 1년전 중소기업중앙회 조사에서 “AI를 실제 도입해 쓰고 있다”는 중소기업은 5.3%에 불과했다. 도입 의향이 있는 기업도 16.3%에 그쳤다. 같은 시기 대기업의 38%가 이미 생성형 AI를 활용하고 있었다.

1년이 지난 지금도 상황은 비슷하며, 언론은 중소기업을 여전히 “디지털·AI 전환의 사각지대”로 진단한다. 서울중남부AI사업협동조합을 찾아오는 기업들 역시 똑같은 이야기를 한다. “우리도 AI 하고 싶습니다. 그런데 어디서부터, 어떻게 시작해야 하는지 모르겠습니다.”

한 제조기업 대표는 이 상황을 이렇게 말한다. “견적을 받아보니 GPU 한 대가 승용차 한 대 값이더군요. 데이터는 엉켜 있고, AI 인력은 못 뽑고…. 결국 모든 게 ‘접근성’ 문제였습니다.” 이것이 중소기업의 생생한 현실이다.

이 문제를 해결하려면 세 가지 핵심 ‘AI 접근성 장벽’을 허물어야 한다. 첫째, 연산자원(컴퓨팅) 접근성 문제를 풀어야 한다. “AI 하고 싶어도 전기코드 꽂을 자리가 없습니다.” 중소기업이 고성능 GPU 견적을 받아보는 순간, 대부분 바로 포기한다. ‘1개월 GPU 사용료 = 직원 한 명의 월급 두세 달치’인 경우가 허다하다.

서울의 한 철강 유통업체는 재고 자동분류 AI를 도입하려 했지만, GPU 비용 부담, 설치 인력 부재, MLOps(머신 러닝 작업) 환경 구축 불가라는 3중 장벽에 가로막혀 프로젝트 자체를 중단했다.

따라서 정부·지자체·협동조합이 협력해 ‘중소기업 전용 컴퓨팅 허브’를 만들 수 있는 제도적 기반을 마련해야 한다.

둘째, 데이터 접근성을 높여야 한다. 서울의 한 식품 유통업체는 5년치 데이터를 가지고 있다고 했지만, 직접 열어보니 종이 문서 스캔본, 사진으로 찍어둔 거래명세, ERP의 누락된 기록, 엑셀 파일 수십 개가 제각각인 형태여서 AI가 학습할 수 있는 데이터는 사실상 ‘제로’였다.

그래서 필요한 것이 ’중소기업 데이터 컴먼즈(Commons)‘다. 업종별 표준 스키마(도식)를 설정하고, 협동조합 단위로 데이터를 정제·라벨링하며, 안전지대(Secure Enclave)에서만 학습 및 추론이 가능하도록 지원해야 한다.

이제 중소기업이 각자 AI를 개발하는 시대는 지났다. 앞으로는 조합 단위로 공통 AI를 개발해 전체 회원사가 함께 활용하는 구조가 돼야 한다. 예를 들어, 동일 업종 50개사가 공동으로 사용하는 ‘공통 품질검사 AI’나 ‘공통 재고예측 AI’를 만드는 방식이다.

셋째, 인력·컨설팅 접근성을 해결해야 한다. 중소기업은 AI 전문가를 높은 연봉을 주고 뽑을 여력이 없을뿐더러, 설령 뽑아도 현장과 기술 사이에서 명확한 역할 정의를 하지 못해 실효성이 떨어지는 경우가 많다. 한 인쇄소 대표는 “AI 전문가의 연봉이 우리 이사급보다 높더라”며 웃음을 지었다.

마지막으로, 산업별 AI 도입 성공사례를 조기에 확보하고 확산해야 한다. 중소기업이 AI 도입에 가장 주저하는 이유는 ‘우리 업종에서 AI로 실제 성공한 사례가 있는가?’라는 질문에 대한 확신이 없기 때문이다.

따라서 제조·유통·도시서비스 분야를 중심으로 이상·불량 탐지, 에너지 최적화, 수요예측·재고관리, 안전·환경·교통 관제 등의 성공사례가 확산될 수 있도록 해야 한다. 산업AI(비전·언어·에이전트)를 모아 ‘레퍼런스 팩’으로 제공하면 중소기업은 “AI를 도입해 볼 만하다”라고 금방 체감할 것이다.

AI는 기술 문제가 아니라 경영 시스템을 다시 설계하는 문제다. 많은 중소기업이 ‘AI는 먼 나라 이야기’라는 인식을 깨고, “AI는 지금 당장 우리 사업의 미래를 밝혀줄 최고의 도구”라는 확신을 갖도록 ‘AI 접근성’을 높여줄 방책이 시급하다.