Den mest kontroversiella timmen i vår rekryteringsprocess innehåller ingen AI alls. En kodbas som kandidaten aldrig sett, ett antal riktiga ärenden, ett av dem ett produktionsfel, sextio minuter med en teknisk ledare och inga agenter tillåtna. Kandidater blir regelbundet förvånade. Några har frågat om vi är efter sin tid.
Tvärtom. Grundsessionen finns på grund av agenterna, inte trots dem.
Här är resonemanget, och det är meningen som hela vitboken vilar på: om du inte kan resonera om systemet utan agenten kan du inte avgöra när agenten har fel. I våra byggen skrivs 80 till 90 procent av produktionskoden av en modell, vilket innebär att en utvecklares verkliga bidrag är allt runtomkring genereringen: att veta vad man ska be om, läsa vad som kommer tillbaka och fånga det säkra misstaget. Allt det vilar på grunderna. Att skriva kod blev enkelt; att förstå hur ett system hänger ihop gjorde det inte. Så innan vi ser på hur någon arbetar med en agent tar vi bort agenten och ser vad som finns kvar.
Sessionen är avsiktligt ordinär. Inga pussel, inget whiteboard, inga binära träd. Kandidaten plockar upp ärendena och sätter igång, och vi ser på hur de arbetar och bedömer sex saker.
Teknisk förståelse kommer först och visar sig snabbast: djup i stacken, i applikationens komplexa flöden och i terminalen. De starkaste kandidaterna startar applikationen och undersöker kodbasen innan de ändrar någonting. De svagaste startar aldrig applikationen alls, vilket låter omöjligt tills du sett det hända, och redigerar kod de inte har läst.
Felsökning är produktionsbuggen. Bra ser ut som att arbeta från symptom till orsak på ett strukturerat sätt och testa lösningen innan man stänger ärendet. Dåligt ser ut som trial and error tills något slutar ge fel, sedan stänga ärendet snabbt och lämna det trasigt. Det här överförs direkt till agentepoken, eftersom felsökning av genererad kod du inte skrev nu är större delen av jobbet.
Prioritering är tyst diagnostisk. Ärendena kommer med angiven brådska, och produktionsbuggen kommer alltid först. En utvecklare som arbetar med det intressanta ärendet före det brinnande berättar hur de kommer att bete sig på ditt roadmap.
Kommunikation bedöms utifrån om de beskriver avvägningar och säger vad de inte hann med, snarare än att bli tysta, och om de frågar när ett ärende är tvetydigt i stället för att gissa. Att bli tyst när man kört fast är en av de tydligaste negativa signalerna vi har. Engelska-nivån ingår: förstådd och förståelig, talad och skriven, tillräckligt för att argumentera för en poäng under en följdfråga snarare än bara upprepa den. När merparten av koden är agent-skriven spelar hur någon delar kontext minst lika stor roll som deras tekniska förmåga, vilket också är varför en kulturintervju och referenstagning följer de tekniska sessionerna.
Och kontextbytes-hygien: att hålla reda på vilka ärenden som är öppna och var vart och ett befinner sig, och plocka upp en uppgift igen utan att läsa om allt. Vi bedömer det här igen i den andra sessionen med agenter igång, eftersom det handlar om utvecklaren snarare än verktygen, och att orkestrera fyra agenter med dålig uppgiftsspårning producerar bara fyra förvirrade arbetsflöden i stället för ett.
Lägg märke till vad det här bedömningskortet egentligen mäter. Ingenting på det är nytt. Varje punkt skulle ha beskrivit en bra utvecklare 2015. Vad som förändrades är vad punkterna är till för: de brukade vara jobbet, och nu är de licensen att utföra jobbet, det som gör en utvecklares verifiering av agentens output värd någonting alls. Det är därför grundsessionen kommer före den AI-native-sessionen och varför det är processens slut att misslyckas med den. Det finns ingenting för den andra sessionen att mäta.
Det här avslutar sex veckors publicering byggd på The Next 10X Engineer: vad jobbet är nu, vad AI-native innebär, varför de gamla filtren gick sönder, AI-native-bedömningskortet, och nu grunderna under allt det. Vitboken innehåller båda sessionerna och båda bedömningskorten i sin helhet, och granskningsstandarden är offentlig.
Så en avslutande fråga, i andan av den inledande. Din intervjuprocess testar nästan säkert fortfarande grunderna. Men om en agent satte sig bredvid din senaste anställning på dag ett, hade din process berättat om de kan granska agentens arbete, eller bara om de kunde ha gjort arbetet själva 2021?
Ladda ned The Next 10X Engineer för båda bedömningar och båda scorecards. Engineering Leader Benchmark är öppen, och bidragsgivare läser rapporten först.
