Het meest eigenzinnige uur in ons selectieproces bevat helemaal geen AI. Een codebase die de kandidaat nog nooit heeft gezien, een handvol echte tickets, waarvan één een productiebug, zestig minuten met een tech lead, en geen agents toegestaan. Kandidaten staan er regelmatig van te kijken. Een paar hebben gevraagd of we niet achter de feiten aanlopen.
Het tegendeel. De fundamentensessie bestaat dankzij de agents, niet ondanks hen.
Dit is de redenering, en het is de zin waar het hele whitepaper op steunt: als je niet over een systeem kunt nadenken zonder de agent, kun je niet zien wanneer de agent het fout heeft. Op onze projecten wordt 80 tot 90 procent van de productiecode geschreven door een model. Dat betekent dat de echte bijdrage van een engineer alles is rondom de generatie: weten wat je moet vragen, lezen wat er terugkomt, de zekere fout opvangen. Dat alles draait op basiskennis. Code schrijven is makkelijk geworden; begrijpen hoe een systeem in elkaar steekt niet. Daarom halen we de agent weg voordat we iemand ermee zien werken, en kijken we wat er overblijft.
De sessie is bewust alledaags. Geen puzzels, geen whiteboard, geen binaire bomen. De kandidaat pakt de tickets op en gaat aan de slag, terwijl wij kijken hoe ze werken en zes dingen scoren.
Technisch begrip komt als eerste en is het snelst zichtbaar: diepgang in de stack, in de complexe flows van de applicatie, en in de terminal. De sterkste kandidaten starten de applicatie en inspecteren de codebase voordat ze iets aanpassen. De zwakste starten de applicatie nooit, wat onmogelijk klinkt totdat je het hebt zien gebeuren, en bewerken code die ze niet hebben gelezen.
Debuggen is de productiebug. Goed ziet eruit als gestructureerd van symptoom naar oorzaak werken en de fix testen voordat je hem afvinkt. Slecht ziet eruit als trial and error totdat iets stopt met foutmeldingen, dan snel het ticket sluiten en het gebroken achterlaten. Dit is direct toepasbaar in het agenttijdperk, want het debuggen van gegenereerde code die je zelf niet hebt geschreven is nu het grootste deel van het werk.
Prioritering is subtiel maar veelzeggend. De tickets zijn voorzien van een urgentie-aanduiding, en de productiebug gaat altijd als eerste. Een engineer die het interessante ticket oppakt voor het brandende, laat je zien hoe ze zich op jouw roadmap zullen gedragen.
Communicatie wordt gescoord op basis van of ze trade-offs benoemen en zeggen wat ze niet hebben gehaald, in plaats van stil te vallen, en of ze vragen stellen als een ticket onduidelijk is in plaats van te gokken. Stilvallen wanneer je vastloopt is een van de duidelijkste negatieve signalen die we hebben. Het niveau van het Engels staat ernaast: begrijpelijk en verstaanbaar, gesproken en geschreven, goed genoeg om een standpunt te verdedigen onder een vervolgvraag in plaats van er alleen één op te kunnen opdreunen. Als het grootste deel van de code door een agent is geschreven, is hoe iemand context deelt minstens net zo belangrijk als technische vaardigheid. Dat is ook waarom na de technische sessies een cultuurinterview en een referentiecheck volgen.
En context-switch hygiene: bijhouden welke tickets open staan en waar elk ticket staat, een taak oppakken zonder alles opnieuw te lezen. We scoren dit opnieuw in de tweede sessie waarbij agents actief zijn, omdat het over de engineer gaat en niet over de tools. Vier agents aansturen met slechte taakregistratie levert vier verwarde werkstromen op in plaats van één.
Let op wat deze scorecard echt meet. Niets erop is nieuw. Elk punt zou een goede engineer in 2015 ook al hebben beschreven. Wat veranderd is, is waarvoor de punten dienen: vroeger wás het het werk, nu zijn het de toegangseis voor het werk, het fundament dat verificatie van agentoutput door een engineer überhaupt iets waard maakt. Daarom komt de fundamentensessie vóór de AI-native sessie, en daarom eindigt het proces als je er niet doorkomt. Er valt dan niets te meten in de tweede sessie.
Hiermee sluiten we zes weken publiceren af, gebouwd op The Next 10X Engineer: wat het werk nu inhoudt, wat AI-native betekent, waarom de oude filters niet meer werken, de AI-native scorecard, en nu de fundamenten daaronder. Het paper bevat beide sessies en beide scorecards volledig, en de vetteringsstandaard is openbaar.
Dus een slotvrаag, in de geest van de openingsvraag. Je sollicitatieproces test vrijwel zeker nog steeds de fundamenten. Maar als er op dag één een agent naast je laatste aanwerving was gaan zitten, had je proces je dan verteld of ze het werk ervan kunnen controleren, of alleen of ze het werk zelf hadden kunnen doen in 2021?
Download The Next 10X Engineer voor beide assessments en beide scorecards. De Engineering Leader Benchmark staat open, en bijdragers ontvangen het rapport als eerste.
