AX를 위해 회사의 브레인을 만든다는 것

"그거 어디 있죠?" "이거 누가 제일 잘 알아요?" "저번에 그 단가 얼마였더라?"

회사에서 하루에도 몇 번씩 오가는 말입니다. 그리고 가끔 어떤 임원들은 자신의 성과를 위해서 이런 해결책을 제시하기도 하죠.

"우리 이제 다 한곳에 모읍시다. 시스템 하나 정해서 전부 거기 기록해요."

이 해결책은 꽤 괜찮아보여요. 그런데 한 3주쯤 지나면 흐지부지됩니다.
영업은 여전히 카톡에서 얘기하고, 회계는 엑셀을 열고, 현장은 전화로 정하고, 대표는 머릿속에 담아두는거죠. 한 달 뒤면 그 '단 하나의 시스템'은 또 하나의 빈 폴더가 되어 있게 됩니다.

저는 이 문제를 몇 달째 파고들었습니다. AI 자동화를 어떻게 하면 더 잘 안착시킬 수 있을까? 어떻게 AI 전환(AX)을 완벽히 해낼 수 있을까? 흩어진 회사 정보를 어떻게 하나의 '뇌(브레인)'로 만들 것인가? 에 대한 답을 계속 찾으러 다녔습니다. 그 과정에서 세계 최고 수준의 AI 회사가 자기들 쓰려고 만든 시스템을 공개한 글과 연구들을 살펴보았고, 그 원리를 중소·중견기업 규모로 내려 직접 구현해봤습니다. 이 글은 그 과정에서 얻은 이론과 철학을 정리한 것입니다.

성공적인 AX가 이루어지려면 회사내의 업무 상황을 모두 알 수 있는 **"회사 브레인"**이 필수입니다.
다만 회사의 브레인을 위해서 흩어져있던 데이터를 무작정 하나로 모으지 말고, 현재 업무환경 뒤에서 자연스럽게 녹아들도록 해야합니다.

왜 "다 한곳에 모으자"는 매번 실패할까요?

답은 단순합니다. 사람은 자기가 편한 곳에서 일하기 때문이예요. 
개발자에게 PR (Pull Request) 논의를 워드 문서에서 하라고 하면 아무도 안 하고요.
카톡으로 30초면 끝날 얘기를 굳이 사내 위키에 로그인해서 적으라고 하면, 그 위키는 점점 안쓰게 되고요.
회계직원에게 엑셀 대신 그룹웨어에서 처리하도록 하면, 황당해하기도하고 이런식이면 일 못한다고 컴플레인이 터져나오죠.
각 도구는 각자의 일에 최적화돼 있고, 정보는 그때그때 가장 편한 곳에서 생겨납니다. 전혀 이상한게 아니고 자연스러운거예요.

그러니 우리는 방향을 바꿔야 합니다. 정보를 억지로 한곳에 이사시키는 게 아니라, 정보는 있던 자리에 그대로 두고, 그 위에 '어디에 뭐가 있는지 다 아는 층'을 얹는 것.

비유하자면 이렇습니다. 도서관의 책 수만 권을 한 방에 다시 쌓는 건 불가능합니다. 대신 사서를 두죠. 책은 각 서가에 그대로 있고, 사서는 "그 책은 3층 A서가에 있고, 요점은 이겁니다" 하고 답하는거죠.
회사 브레인은 새 창고가 아니라 이 사서라고 이해해주시면 됩니다.

여기서 중요한 오해 하나를 짚어보죠. 사람들은 "하나로 관리한다"는 말을 들으면 곧장 "그럼 데이터를 다 옮겨서 새 시스템에 넣는 거네"로 알아듣습니다. 아닙니다. 원본은 카톡·엑셀·ERP에 그대로 남습니다. 하나로 모이는 건 원본이 아니라, 사서가 들고 있는 색인(索引) — "어디에 뭐가 있고 무슨 내용인지"를 정리한 카드 뭉치라고 보시면 됩니다.

이 차이가 정말 큽니다. 고객이 가장 겁내는 말이 "시스템 다 바꾸셔야 해요" 입니다. 그런데 정반대로 말할 수 있습니다. "쓰시던 거 하나도 안 바꾸셔도 됩니다. 카톡도 엑셀도 그대로 쓰세요. 저는 그 위에 사서만 얹습니다."AX(업무의 AI 전환)가 무겁고 오래 걸린다는 공포를, 이 한 문장이 정확히 무너뜨리게 되는거죠.

들어오는 정보의 모양은 제각각입니다. 메일은 문장으로 구성되고, 엑셀은 표와 수식들로 이루어져있고, 카톡은 실시간 대화의 흔적이고, 개발자료는 각각의 언어로 표현된 code죠. 이게 정상입니다. 다르게 생긴 걸 억지로 같은 양식에 끼워 넣으려 하면 또 실패하는 겁니다.

대신 나가는 형태를 하나로 만들면 됩니다. 어디서 왔든, 최종적으로는 같은 모양의 카드 하나로 접는거죠. 저는 이 카드를 4칸으로 정리했봤습니다.

메일에서 왔든 카톡에서 왔든, 결과는 이 4 칸입니다. 그래서 무엇이든 똑같이 검색되고, 똑같이 최신으로 유지됩니다.

여기서 두 번째 오해를 짚어 볼까요? 이 카드가 "어디에 있는지"만 담은 지도라고 생각하기 쉬워요. 그런데 아닙니다. 핵심(알맹이) 자체 + 출처(위치)를 함께 담는거죠. 그래서 물어보면 "가격은 견적서에 있어요, 가서 보세요"가 아니라 "단가 3,850원이고 출처는 견적서입니다" 하고 답이 바로 나올 수 있는겁니다. 위치만 아는 사서가 아니라, 요점을 적어둔 카드를 든 사서. 카드만 봐도 대부분 답이 나오고, 더 깊이 필요하면 원본 위치까지 알려주는.

그리고 기준은 '완성된 문서'라는 형식이 아니라 '확정됐다'는 상태입니다. 카톡에 툭 남긴 "납기 7일로 확정할게요" 한 줄은 예쁜 문서가 아니지만 확정된 사실입니다. 반대로 잘 만든 워드 문서라도 초안이면 앞세우지 않는거죠. 형식이 아니라 상태로 관리해야합니다.

여기서부터 조금 더 깊이 들어가볼게요. 흔히 "그냥 대화 원문을 전부 AI에 넣고 검색하면 되지 않나?" 라고 생각합니다. 그런데 실제로 해보면 정확도가 떨어져요.

이유가 있습니다. 원문에는 노이즈가 너무 많아요. "네넵 감사합니다 ㅎㅎ" 같은 메시지와 핵심 결정이 같은 무게로 섞일 수 있는거죠. 그래서 원문을 그대로 넣는 대신, 증류(distillation) 를 해야해요. AI가 긴 대화를 읽고 여기서 4 가지만 뽑습니다 — 진짜 질문 한 줄, 짧은 요약, 해결책, 관련된 시스템·부품. 그리고 이 정제된 결과를 저장합니다.

실제로 이렇게 일관된 형태로 정규화했을 때 검색 정확도가 눈에 띄게 올랐다는 게 여러 곳의 공통된 실험 결과입니다. 원문 전체가 아니라 '핵심을 뽑아 같은 틀에 담은 것'을 저장하는 것 — 이게 브레인이 헛돌지 않는 첫 번째 원리입니다.

이게 어쩌면 가장 중요한 철학입니다.

브레인에 부정확하고 낡은 정보가 섞이면, 그 순간 브레인은 ChatGPT처럼 "아는 척 헛소리"를 하기 시작합니다. 개정 전 도면을 최신인 척 답하고, 반년 전 단가를 지금 단가처럼 말하는거죠. 이 상황들이 반복되면 사람들은 브레인을 안 믿게 되고, 안 믿으면 안 쓰게 되는거죠. 정보의 양이 아니라 정확도가 생사를 가른다고 보시면 됩니다.

그래서 브레인에는 "무엇이 지금 유효한가"를 판단하는 장치가 필요합니다. 이론적으로는 몇겹으로 이루어져있어요.

여기서 마지막 장치, 사람이 핵심입니다. "이게 최종 확정본이다"를 100% 자동으로 판단하는 건 불가능합니다. 단가·사양·계약 같은 중요한 건 담당자가 한 번 도장을 찍어야 합니다. 귀찮아 보이지만, 바로 이 '유지·검증' 작업이 브레인의 진짜 본질이자, 아무나 못 따라오는 해자입니다.

만드는 건 누구나 한 번은 합니다. 브레인이 어려운 이유는 매일 정확한 상태로 유지되느냐에 있습니다. 이 "유지"가 진짜 일이고, 진짜 차이입니다.

정확한 카드를 잘 쌓았다고 끝이 아닙니다. 물었을 때 맞는 카드를 위로 올리는 일이 남는거죠. 여기가 이 시스템에서 가장 정교한 부분이라, 조금 자세히 풀어보겠습니다.

처음엔 다들 이렇게 생각합니다. "요즘 AI는 뜻으로 검색하니까, 문장을 숫자(임베딩)로 바꿔서 비슷한 것끼리 찾으면 되겠네." 절반만 맞습니다. 뜻으로만 찾으면 놓치는 게 많아요.

그래서 여러 검색 방식을 동시에 돌리고, 각자가 서로의 약점을 메우게 하는거죠.

핵심 철학은 이겁니다. 어느 하나의 방식도 단독으로는 신뢰하지 않는다. 각 방식이 각자의 순위표를 내고, 물어보는 순간 그 순위표들을 하나로 합치는거죠. 이때 쓰는 게 '여러 검색기가 공통으로 위에 올린 것을 우대하는' 합산 방식입니다. 한 검색기가 1등이라고 우쭐대는 것보다, 여러 검색기가 두루 위에 올린 것이 더 믿을 만하잖아요. 한 명의 강한 주장보다 여러 명의 합의를 믿는 것 — 사람이 판단하는 방식과 똑같습니다.

그렇게 추린 후보를 마지막으로 한 번 더 점수 매겨(재랭킹) 상위 몇 개만 남깁니다. 그리고 답을 낼 땐 반드시 출처를 함께 붙입니다. 출처 없는 답은, 그럴듯해도 믿을 수 없으니까요.

여기까지는 '읽기'에 포커스 맞춰져있었어요. 그런데 브레인의 진짜 힘은 읽기 + 쓰기에 있습니다.

같은 브레인 위에서 세 주체가 함께 움직입니다.

그래서 브레인은 검색창이 아니라 회사의 신경망이라고 보면 좋을것 같아요. 아침에 출근하면 밤사이 벌어진 일이 이미 정리돼 있어서 자료 찾는 시간이 0분이 되는거죠.

이 지점에서 'AI 팀원'이라는 말의 실체가 드러납니다. 많은 사람이 AI 자동화, AI 직원 같은 말을 들으면 막연해합니다. 저는 이렇게 정의합니다.

같은 AI인데 브레인의 유무가 신입과 동료를 가르는 거죠. 흥미롭게도, 세계적인 산업 데이터 회사들은 이 특화된 AI 에이전트를 대놓고 '가상 직원(virtual employees)' 이라고 불러요. 우리가 막연하게 부르던 'AI 팀원'이 대기업 제품 언어에서 문자 그대로 확인되는 셈인거죠.

그리고 도구는 최대한 단순하게 둡니다. 검색·조회 기능 각각은 그냥 단순한 도구로 노출하고, 그걸 언제 어떤 순서로 쓸지는 AI 에이전트가 판단합니다. 검색 층은 똑똑할 필요가 없습니다. 똑똑함은 오케스트레이션(조율)에 있고, 그건 에이전트의 몫입니다.

여기까지는 이론과 철학에 대한 이야기였어요. 하지만, 실제로 우리 회사에서 되느냐가 다른 문제입니다. 그래서 저는 5개 소스(이메일·카카오톡·채널톡·회의록·문자) 중 가장 어려운 카카오톡부터 직접 붙여봤습니다.

카카오톡이 왜 가장 어렵냐면, 개인 카톡은 읽기 API가 없습니다. 게다가 데스크톱 앱의 로컬 저장소는 암호화돼 있어 직접 못 읽습니다. 방법은 하나뿐 — 사람이 화면을 보듯, 컴퓨터의 접근성(Accessibility) 기능으로 카톡 앱 화면을 그대로 읽는 것. API가 없는 앱을 다루는 방법으로 해봤습니다.

실제로 해보니 카톡 화면의 대화가 구조적으로 읽혔습니다. 누가 말했는지, 언제, 무슨 내용인지. 그걸 앞의 네 칸 카드로 정규화해 브레인에 넣었습니다. 그리고 물어봤습니다. "이 대리점이랑 뭘 약속했고, 아직 확정 안 된 게 뭐야?" 브레인은 대화만 보고 답했습니다 — 확정된 단가와 납기, 아직 미결인 사항, 담당자가 다음 주에 해야 할 일까지. 출처(카톡)를 명시하면서. 흩어진 대화 한 뭉치가, 물어볼 것도 없이 정리된 업무가 되어 나왔습니다.

여기서 두 가지 현실을 정직하게 짚어야 합니다.

첫째, 이건 1인 기업이라 특히 잘 맞는 그림이예요. 제 경우엔 모든 대화와 데이터가 제 계정, 제 PC와 기기에 모여 있습니다. 하지만 여러 사람이 있는 회사는 다르죠. 이때 "직원 각자 PC에 뭔가 깔아야 하나?"가 핵심 질문인데 — 답은 대부분 아닙니다. ERP·CRM·채널톡·그룹웨어 같은 중앙 시스템은 회사 차원에서 한 번 연결하면 전 직원 데이터가 들어옵니다. 개인 기기의 데이터(개인 카톡·로컬 엑셀)만 예외적인 경우이고, 그것도 필요한 핵심 인물 몇 명이 자발적으로 참여하는 방식이지, 전 직원을 감시하는 게 아닙니다. 중앙은 회사가 연결, 개인 기기는 본인이 자발적으로. 이 선을 지키는 게 중요합니다.

둘째, 접근성 권한은 무겁습니다. 그 권한은 카톡만이 아니라 컴퓨터의 모든 앱을 읽고 제어할 수 있게 합니다. 저 조차도 접근성권한을 줄때 걱정이 많이 됐어요. 개인 메시지엔 제3자(고객·지인)도 섞여 있고, 회사가 직원 개인 카톡을 중앙에서 싹 긁는 건 법적·윤리적으로 엄청 어려운 일이니까요. 그래서 저는 수집한 실제 대화는 로컬에만 두고 원격에는 올리지 않도록 경계를 코드로 그었습니다. "선택한 방만, 선택한 것만 공유." 기술이 되는 것과 해도 되는 것은 다르다고 생각해요.

정리하면, 회사 브레인의 철학은 이렇게 요약됩니다.

가장 중요한 마지막 하나. 브레인은 한 번 만들고 끝나는 물건이 아니라, 매일 기르는 것입니다. 그래서 성공의 기준도 "와, 신기하다"는 감탄이 아닙니다. 진짜 기준은 딱 하나입니다.

매일 쓰게 되는가.

세계 최고의 AI 회사가 자기들 쓰려고 만든 그 시스템의 원리는, 놀랄 만큼 단순했습니다. 마법이 아니라 정직한 파이프라인 — AI가 제안하고, 검증이 거르고, 사람이 못 미더운 것만 확인하는. 그 단순함을 우리 회사 크기로 내려서, 매일 쓰게 만드는 것. 그게 제가 하는 일입니다.