데이터브릭스의 대주주인 a16z가 바라보는 데이터브릭스
AI 시대의 조직을 고민해보기에 좋은 참고 자료가 될 것 같다.
모"든 회사에는 온톨로지가 있다. 무엇이 존재하는지, 그것들이 어떻게 연결되는지, 회사에서 쓰는 말이 무엇을 뜻하는지, 두 출처가 충돌할 때 어느 쪽을 기준으로 삼는지를 보여 주는 실무상의 모델이다. 일부는 데이터베이스, 대시보드, 정책, 문서에 존재한다. 하지만 상당 부분은 경험 많은 직원들의 머릿속에만 있다. 그리고 이것은 결코 완성되지 않는다. 계약이 바뀌고, 임시방편이 정식 절차가 되고, 예외가 규칙이 되며, 공식 기록은 실제 업무 방식과 점차 어긋난다. 누가 무엇을 결정하는지, 어떤 결정이 옳았는지를 기억하는 일도 마찬가지다. 권한과 평가 역시 온톨로지만큼이나 문서화되어 있지 않다. 사람들은 거의 눈에 띄지 않게 이 모든 틈을 메운다. 영업 부사장이라면, 성사될 것으로 확신했던 최대 규모 거래가 고객사 내부 핵심 지지자의 은밀한 이직 면접 때문에 멈춰 있다는 사실, 어떤 영업사원이 말하는 ‘90%’가 실제로는 50%를 뜻한다는 사실을 알아야 한다. 그리고 그 전망이 CEO에게 올라가기 전에 수치를 낮추는 것이 그의 일이다."
"에이전트가 자율적으로 행동하려면, 현재 사람들의 머릿속에 있는 온톨로지, 권한, 평가의 상당 부분이 기업의 기준 기록 시스템으로 옮겨가야 한다. Databricks는 레이크하우스가 이들이 자리 잡을 자연스러운 장소라고 보고 있다. 회사의 나머지 데이터가 저장되고 관리되는 곳이기 때문이다."
---
"20세기의 전형적인 기업이 피라미드 형태였던 이유는 위계 자체가 정보처리 시스템이었기 때문이다. 사실은 보고서와 회의를 통해 위로 올라갔고, 결정은 다시 아래로 내려왔다. 정보 흐름의 지도는 조직도를 그대로 닮아 있었다. 어떤 데이터를 수집하거나 공유할 가치가 있는지는 경영진이 결정했다. 따라서 회사가 자신을 얼마나 잘 이해하는지는 관리자들이 무엇을 수집하기로 선택했는지에 달려 있었다."
"데이터베이스는 이 구조를 바꾸었지만, 부분적인 변화에 그쳤다. 공유 기록 덕분에 사람들이 정보에 직접 접근하고 더 독립적으로 행동할 수 있게 되었지만, 대개는 다른 누군가가 이미 설계한 절차 안에서였다. 컴퓨터 시대의 상당 기간 동안 비교적 소수의 관리자, 운영팀, 엔지니어가 회사의 스키마, 지표, 애플리케이션, 업무 흐름을 정의했다. 그리고 이 시스템의 설계에 참여하는 직원보다 사용하는 직원이 훨씬 많았다."
"이것은 사람들이 할 수 있는 일뿐 아니라 조직이 알 수 있는 것까지 제약했다. 예를 들어 고객지원 담당자가 일주일에 몇 번씩 같은 불만을 듣는다고 하자. 관리자가 그 내용을 담은 보고서를 작성하지 않는다면, 그녀는 회사가 모르는 무언가를 알고 있는 셈이다. 그리고 그 문제를 해결하는 것은 또 전혀 다른 문제다."
"이제 아는 것과 행동하는 것, 두 가지를 가로막던 기술적 장벽이 동시에 낮아지고 있다."
---
"마크 앤드리슨은 Databricks처럼 탄탄한 기반 위에 에이전트를 적용하면 새로운 조직 모델을 만들 수 있을지도 모른다고 제안한다. 창업자의 활력과 적응력을 유지하면서도, 규모를 키우는 데 필요한 관리 업무를 재구성하는 것이다. 에이전트는 관리 계층을 필요하게 만들었던 정보 전달과 조율 업무 일부를 자동화함으로써 더 많은 창업자가 이러한 운영 방식을 활용할 수 있게 한다. 동시에 기업의 기준 기록 시스템은 일선 사람들에게 행동에 필요한 맥락과 권한을 제공한다."
"소프트웨어 엔지니어들은 오늘날 이 변화를 절실하게 느끼고 있다. 업무가 코드를 장인처럼 직접 작성하는 일에서 코딩 에이전트팀을 관리하는 일로 바뀌고 있기 때문이다. 엔지니어의 하루는 점점 관리자의 하루를 닮아 간다. 문제의 범위를 정하고, 과업으로 나누고, 병렬로 일하는 에이전트에게 위임한 다음, 돌아온 풀 리퀘스트를 검토한다. 일부는 승인하고, 일부는 수정 의견을 달아 돌려보낸다. 에이전트가 더 많은 분야에서 역량을 갖출수록, 더 많은 지식 노동자가 비슷한 전환을 겪을 것이다. 모든 단계를 직접 수행하는 역할에서 업무를 정의하고, 위임하고, 판단하는 역할로 이동하는 것이다."
---
"Databricks는 데이터와 그 위에 구축된 순환 구조가 기업이 통제하는 시스템 안에 있어야 한다는 데 베팅하고 있다. 여기에는 Databricks가 기업 업무에 맞춰 수년간 최적화해 온 자체 특화 모델들도 포함된다. 중요한 것은 데이터만이 아니라 순환 구조다. Databricks는 모두에게 이 점이 명백해지기 전인 2023년부터 여기에 집중해 왔다. 소유권만으로 해자가 생기지는 않는다. 하지만 소유권은 기업의 기억이 특정 공급업체의 기술 체계 안에 갇히는 것을 막는다. 해자는 데이터와 그 데이터를 바탕으로 추론하는 AI가 회사의 의사결정과 제품을 경쟁자보다 빠르게 개선하도록 도울 때에만 생긴다."
"Databricks는 일찍부터 이러한 역량을 길렀다. Spark는 오픈소스였으므로 고객들은 그냥 내려받아 직접 운영할 수 있었다. 하지만 창업자들은 결국 Spark를 더 쉽게 실행할 수 있게 하고, 더 빠르고, 더 안전하며, 기업에 더 유용하게 만들면 고객들이 Databricks에 돈을 낼 것이라는 사실을 배웠다. 살아남으려면 무료 대안이 따라오는 속도보다 더 빠르게 고객 가치를 만들어야 했다. 그리고 에이전트가 대안을 찾고 전환하는 비용을 낮추면서, 더 많은 기업이 비슷한 시험에 직면하게 될 것이다."
https://www.a16z.news/p/databricks-and-the-future-of-the