Devnote
›
ai productivity
Tags
사례/연구
Coding Is No Longer the Constraint: Scaling Developer Experience to Teams and Agents at Spotify (Spotify Engineering, 2026.6)
Spotify 엔지니어의 99% 이상이 매주 AI 코딩 도구를 쓰고, 94%가 생산성 향상을 체감하며, PR 빈도는 76% 증가했다고 소개
Fleet Management/Fleetshift로 250만 개 이상의 자동 유지보수 PR을 처리한 기반 위에, Claude Agent SDK 기반 백그라운드 코딩 에이전트 Honk를 Kubernetes에서 병렬 실행
Backstage, Soundcheck, golden state, 표준 기술 스택 등 DevEx 투자가 사람뿐 아니라 에이전트의 코드 이해·수정 품질에도 직접적인 가드레일이 된다고 설명
코딩 속도가 올라가면서 PR 리뷰 대상도 76% 늘어났고, 새 병목은 구현 자체가 아니라 PR 리뷰, 자동 머지 범위, 우선순위와 의사결정으로 이동한다고 정리
Writing Code vs. Shipping Code: Productivity Effects Across Generations of AI Coding Tools (NBER Working Paper 35275, 2026.5) (PDF )
10만 명 이상의 GitHub 개발자와 AI 사용 텔레메트리 데이터를 결합해 자동완성, 인터랙티브 코딩 에이전트, 자율 코딩 에이전트가 생산성에 미치는 효과를 비교한 연구
AI 도구는 커밋 기준 누적 효과를 각각 40%, 140%, 180% 높였지만, 자율 코딩 에이전트의 180% 효과는 프로젝트 수 50%, 실제 릴리스 30%로 생산 단계가 내려갈수록 크게 약화됨
AI와 인간 노력 사이의 대체탄력성을 0.25로 추정해, 강한 코딩 생산성 향상이 인간 병목과 보완성 때문에 최종 산출물로는 일부만 전이된다고 해석
4대 앱 마켓 분석에서도 신규 앱 수는 완만히 늘었지만 총 사용량 증가는 확인되지 않아, task-level 생산성 향상과 shipped/used software 사이의 간극을 보여줌
국문 기사: 코딩 180% 증가에도 배포는 30%뿐…AI 가로막는 '인간 병목' 현상 (AI타임스, 2026.6.8)
DOI: https://doi.org/10.3386/w35275
https://getdx.com/research/measuring-ai-code-assistants-and-agents/
측정의 3차원: AI 도구의 효과는 조직의 도입 주기에 맞춰 **활용도, 영향력, 비용(및 거버넌스)**의 세 가지 기준으로 평가해야 합니다.속도와 품질의 균형: AI로 인한 단기적인 코딩 속도 향상이 장기적인 코드 유지보수성과 품질을 해치지 않도록 지속적으로 모니터링해야 합니다.팀의 확장으로서의 AI: AI 에이전트는 독립된 작업자가 아닌, 이를 지휘하고 관리하는 개발자와 팀의 역량을 확장하는 도구 로 간주하여 성과를 측정해야 합니다.현실적 목표와 역할 재정의: 과장된 마케팅 수치에 휘둘리지 말고 현실적인 목표를 세우며, AI로 코드를 짜는 비기술 직군까지 포함해 '개발자'의 정의를 넓혀야 합니다.인사 평가 활용 금지: 지표 조작(Gaming)이나 팀의 신뢰 하락을 막기 위해 AI 관련 측정 지표를 개인 성과 평가에 절대 활용해서는 안 됩니다. 종합적인 접근: AI 지표에만 매몰되지 말고, 전반적인 개발자 생산성 지표와 결합 하여 소통 부재 등 조직의 진짜 병목 현상을 종합적으로 파악해야 합니다.
This CTO Says 93% of Developers Use AI, but Productivity Is Still 10%
Looking at about 4.2 million developers between November 2025 and February 2026, AI-authored code now makes up 26.9% of all production code – up from 22% last quarter.
Over Half of Google's Production Code Is Now AI-Generated 2026-01-12 (2026년 2월) Atlassian의 생산성 개선 수치 ( Building world-class engineering teams in the age of AI - The Pragmatic Summit )
엔지니어당 PR 수 89% 증가
이슈 사이클 타임 42% 감소
보안 취약점의 51%를 에이전트가 수정
DORA 메트릭 전반의 개선
Anthropic 2026 Agentic Coding Trends Report : 개발자가 AI에 "완전히 위임" 가능하다고 느끼는 작업은 전체의 0~20%에 불과하며, 감독 없는 완전 자동화는 아직 현실적이지 않다.Google DORA 2025 Report : 1년 만에 배포 처리량·제품 성과가 반전되어 긍정적으로 바뀌었지만, 배포 불안정성·번아웃·업무 마찰은 여전히 해소되지 않은 채로 남아 있다.
METR 2025 RCT 연구 : AI 도구를 사용한 숙련 개발자가 실험 결과로는 19% 느려졌음에도 본인들은 20% 빨라졌다고 느껴, 체감 생산성과 실제 생산성 사이에 큰 괴리가 존재함을 보여준다.
Stack Overflow 2025 Developer Survey (AI 편) : AI 도구가 생산성에 긍정적 영향을 줬다고 답한 개발자는 52%에 불과하고, AI 도구에 대한 호감도도 전년 대비 70%대에서 60%로 하락했다.Daniotti et al., Science (16만 명, 3,000만 커밋 분석) : 미국 내 AI 생성 Python 코드 비율이 2022년 5%에서 2024년 29%로 급증했지만 실제 생산성 향상은 평균 3.6%에 그쳤고, 효과는 숙련 개발자에게만 집중되었다.(2025년 7월)) The AI Productivity Paradox Report 2025 (10,000명 이상 개발자, 1,255개 팀 대상)
완료 태스크 수 21% 증가
머지되는 PR 수 98% 증가
PR 리뷰 소요 시간 91% 증가
개인 산출량 증가가 조직 차원의 검증 부담 증가로 이어졌다.
https://www.coderabbit.ai/blog/state-of-ai-vs-human-code-generation-report
요약 영상 AI가 만든 코드는 1.7배 더 많은 문제를 발생시킴
가드레일 없는 가속은 위험하다
안전하게 사용하기 위해서는 프로젝트의 문맥(Context)을 이해하는 프롬프트 활용, 엄격한 코드 리뷰 프로세스, 보안 스캐닝 강화가 필수적
https://www.gitclear.com/research/ai_tool_impact_on_developer_productive_output_from_2022_to_2025
In 2025, the average developer checked in 75% more code than they did in 2022
(2025년 7월) AI가 개발자 생산성에 미치는 영향 - 스탠포드 연구
같은 자료에 대한 요약 3년간, 600여 개 회사, 10만 명 이상의 소프트웨어 엔지니어, 십억 줄 이상의 코드, 수천만 건의 커밋 대상으로 측정.
단순 커밋/PR 개수, 평균 작업 시간 변화 등은 실제 생산성을 왜곡할 수 있음.
예: AI 사용 직후엔 버그나 재작업(rework)성 커밋이 함께 증가하여 피상적으로만 생산성이 높아진 것처럼 보임.
AI를 쓰면 전체 코드 생산성은 30%-40% 늘어남. 하지만 "Rework" 가 15%-25% 증가, 결과적으로 실제 생산성 증가는 15~20% 수준.
AI가 오픈소스 개발자를 느리게 만든다. Peter Naur가 그 이유를 알려줄 수 있다
Measuring AI Ability to Complete Long Tasks
https://www.darkreading.com/application-security/ai-generated-code-leading-expanded-technical-security-debt https://jellyfish.co/blog/with-copilot-engineers-get-15-more-capacity-without-additional-headcount/
Google DORA 2024 Report : AI 도입 초기(2024년)에는 배포 처리량이 오히려 악화되었고, AI 활용 증가가 배포 불안정성을 높이는 부작용이 나타났다.AI 코딩 시대, 성장이 멈추는 개발자의 뇌에서 일어나는 일 | GeekNews
AI를 잘 쓰는 핵심 역량은 출력물의 품질을 판단·교정하는 능력이며, AI에 의존할수록 오히려 이 능력이 약화되는 역설을 지적
Bjork의 "바람직한 어려움" 이론에 따르면 쉽게 처리한 정보는 장기 기억에 남지 않음
Roediger & Karpicke(2006) 연구에서 인출 연습 그룹의 일주일 후 기억 보존율이 반복 읽기 그룹보다 약 50% 높았음
조직에 Claude Code를 설치한다고 AX가 되지 않는다
코딩은 전체 개발 사이클의 약 43%에 불과해, 도구 설치만으로 전사 AI 전환(AX)이 일어나지 않음
AX를 달성하려면 프로세스·협업 구조·의사결정 방식을 함께 재설계해야 한다는 주장
단순한 Claude Code 보급 캠페인이 아니라 생산성 병목을 식별하고 문화적 변화를 동반해야 함
Scaling Code Reviews: Adapting to a Surge in AI-Generated Code (Salesforce Engineering, 2026.1)
AI 코딩 도구 도입 후 코드량 약 30% 증가, PR이 일상적으로 20개 파일·1,000줄 변경을 초과하면서 'human-in-the-loop' 코드 리뷰 모델이 붕괴(fracture)
리뷰 용량이 제출 물량을 따라가지 못하면 리뷰 품질이 저하 → 핵심 과제가 '생산'에서 '검증'으로 이동
대응으로 코드 리뷰를 IDE·PR 앞단으로 당기는(left-shift) 내부 도구 Prizm 구축. 그룹화·권고·보안 점검을 포함한 전체 분석을 최대 5분 내 수행
Cursor acquires code review startup Graphite (Fortune, 2025.12)
AI 코딩 도구 선두주자 Cursor가 코드 리뷰 스타트업 Graphite를 2.9억 달러 이상에 인수
'코드를 쓰는 회사가 코드를 검토하는 회사를 인수' → 시장의 초점이 생산에서 검증·리뷰로 이동하는 신호
AI Copilot Code Quality: 2025 Data Suggests 4x Growth in Code Clones (GitClear, 2025) (원문 PDF )
2억 1,100만 줄 분석. 2024년은 측정 이래 처음으로 '복사/붙여넣기' 코드(12.3%)가 '이동(리팩터링·재사용)' 코드(9.5%)를 추월한 해
리팩터링 신호인 '이동' 코드 비중이 2021년 25% → 2024년 10% 미만으로 붕괴, 5줄 이상 중복 블록은 한 해 만에 약 8배 증가
(유의) 벤더 자체 발간이며 AI 도입 시기와 겹친 시계열 '상관'일 뿐 인과를 입증한 통제 실험은 아님
2025 GenAI Code Security Report (Veracode, 2025)
LLM 100여 종을 80여 개 과제로 테스트 → AI 생성 코드의 45%가 보안 테스트에 실패하고 OWASP Top 10 취약점을 도입
모델이 더 크거나 최신이어도 보안은 개선되지 않음(기능 정확도는 향상되나 보안 성능은 정체). Java가 72% 실패로 최악
Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions (NYU, IEEE S&P 2022 / CACM)
MITRE Top-25 CWE 기반 89개 시나리오에서 Copilot이 생성한 1,689개 프로그램 중 약 40%가 취약
버그·취약 예제를 포함한 오픈소스로 학습된 이상, 안전하지 않은 제안은 이상 현상이 아니라 예견된 결과라고 결론
Security Weaknesses of Copilot-Generated Code in GitHub Projects (ACM TOSEM, 2025)
실제 GitHub 프로젝트의 AI 생성 스니펫 분석 → Python 스니펫의 29.5%, JavaScript의 24.2%가 보안 약점(43개 CWE)의 영향을 받음
Do Users Write More Insecure Code with AI Assistants? (Stanford, ACM CCS 2023)
AI 어시스턴트를 사용한 참가자가 사용하지 않은 참가자보다 통계적으로 유의하게 덜 안전한 코드를 작성(5개 과제 중 4개에서 유의)
그러면서도 자신이 더 안전하게 짰다고 믿는 '잘못된 안도감(false sense of security)' 효과 → 사람의 자기검증만으로는 신뢰하기 어렵다는 시사점
The AI Verification Bottleneck (SRLabs, 2026.3)
"보안은 텍스트 변환의 파이프라인이 아니라 검증의 파이프라인이며, 그 파이프라인은 인간 능력에 제약된다(human-limited)" → 병목이 발견·생산에서 검증으로 이동
Sonar 개발자 설문(1,100여 명) 인용: AI 출력을 완전히 신뢰하지 않는 비율은 96%인데도 커밋 전 '항상' 검증하는 비율은 48%에 그침. 생성이 검증보다 빨리 확장되면 팀은 '위험 감소'가 아니라 '항목 마감'을 최적화하게 됨
대규모 코드 마이그레이션 작업