Någon gång under det senaste året började en fråga öppna nästan varje samtal vi har med teknikledare: ligger vi efter? Kör alla andra redan parallella agenter? Har någon faktiskt tagit bort hemuppgiften, eller skriver de bara om det? Det ärliga svaret har hittills varit att alla gissar, inklusive de som skriver mest säkert om det.
The Engineering Leader Benchmark öppnade den här veckan.
Upplägget är enkelt. Tjugo frågor om hur ditt team arbetar med AI, hur du rekryterar, hur du verifierar och hur du dimensionerar teamet. Poängen är att se dina svar bredvid svaren från andra tekniska ledare som har fyllt i den. Din egen poäng spelar mindre roll. Du får veta om det du trodde att alla kämpar med bara gäller dig, och var andra team har kommit längre. Vi publicerar resultaten aggregerade och anonymiserade. Alla som bidrar får rapporten och kan se var de placerar sig i benchmarken jämfört med sina kollegor.
De fyra områdena är inte godtyckliga. Det är de fyra platser där vi, under två år av att bygga med dessa verktyg och bedöma de utvecklare som använder dem, har sett arbetssättet halka efter verktygens utveckling mest.
Hur ditt team arbetar med AI är produktivitetsområdet. Vitboken bakom den här benchmarken inleds med tre utvecklare på samma backlog: en som inte använder AI, en som promptar i ett enda fönster och en som rör sig mellan fyra git-workträdträd med en agent i var och en. Vid lunch har den tredje gjort det som den första avslutar på torsdag. Frågorna här fastställer vilket av dessa tre ditt team faktiskt liknar, i motsats till vilket det identifierar sig med.
Hur du rekryterar är gallringsområdet. Varje hemuppgift som lämnas in någonstans är nu modellskriven, så artefakten innehåller ingen information om personen, och mönsteråterkallelsetester mäter exakt det arbete som agenter absorberat. Frågorna här handlar om huruvida din process någonsin ser en kandidat arbeta, med och utan verktygen, eller om den fortfarande utvärderar output.
Hur du verifierar är förtroendeområdet. När merparten av den kod som levereras är genererad är utvecklarens verkliga bidrag validering: att fånga det hallucinerade API:et, den subtilt felaktiga logiken, säkerhetsluckan, innan det levereras snarare än efteråt. Team vet sällan hur mycket av det de mergar som faktiskt har lästs. Frågorna här gör det mätbart, och det här är det område där vi förväntar oss de mest obekväma svaren.
Hur du dimensionerar är planeringsområdet. I våra projekt krävde ett projekt som behövde tio utvecklare 2024 fyra idag. Huruvida ditt eget förhållande har förändrats, och om din personalplan för 2027 återspeglar det, säger mer om din driftsmodell än någon verktygsutvärdering.
Tjugo frågor, fyra områden, några ärliga minuter. Det du får tillbaka är det enda som ingen i den här marknaden har haft: din position i förhållande till kollegor som svarar på samma frågor om samma skifte, snarare än ytterligare en åsikt om vad team "borde" göra.
Den första rapporten sammanställs från tidiga svar nu, och de som bidrar läser den före alla andra. Om du leder ett teknikteam och låser 2027-planer det här kvartalet är detta den billigaste verklighetskontrollen som finns tillgänglig för dig.
Ansök om benchmark-rapporten. Det fullständiga resonemanget bakom frågorna, inklusive båda bedömningar vi genomför på utvecklare, finns i The Next 10X Engineer.
