Překvapivé zjištění o umělé inteligenci
Výzkumníci z organizace Model Evaluation & Threat Research (METR) provedli studii, která ukazuje, že AI nástroje zvyšují čas potřebný na dokončení úkolů klidně o 19 %. Paradoxně vývojáři a respondenti původně předpokládali, že je umělá inteligence zrychlí o 24 %.
Výzkum zahrnoval 16 zkušených vývojářů pracujících na velkých open source projektech. Programátoři předložili seznam 246 reálných problémů, které potřebovali vyřešit – opravy chyb, nové funkce a refaktoring kódu. Jednotlivé úkoly byly náhodně rozděleny do dvou skupin: v jedné mohli vývojáři používat AI nástroje, v druhé museli pracovat bez nich.
Při práci s AI nástroji používali vývojáři především Cursor Pro s Claude 3.5 a 3.7 Sonnet, což byly v době studie nejmodernější dostupné modely tohoto výrobce (Anthropic). Výzkum probíhal od února do června letošního roku a každý úkol trval průměrně 2 hodiny.
Mohlo by vás zajímat
Kódování pomocí ChatGPT
Časopis
Proč AI nástroje podle studie zpomalují práci?
Studie identifikovala pět hlavních důvodů, proč AI nástroje místo zrychlení způsobily zpomalení:
- Přílišný optimismus ohledně užitečnosti AI – vývojáři měli nerealistická očekávání od schopností umělé inteligence.
- Velká zkušenost vývojářů s projekty – účastníci studie byli natolik zkušení programátoři, že jim AI nemohla nabídnout nic nového.
- Velké a složité projekty – AI nástroje fungují hůře u rozsáhlých repozitářů s více než milionem řádků kódu.
- Nízká spolehlivost AI – vývojáři přijali méně než 44 procent návrhů generovaných umělou inteligencí a museli trávit čas jejich kontrolou a úpravami.
- Nedostatek kontextu – AI nerozuměla širšímu kontextu, ve kterém operovala.
Mohlo by vás zajímat
Google opět potěší své uživatele: jeden ze silných praktických nástrojů je k dispozici zdarma
Novinky
Není to první případ
Zajímavé je, jak AI nástroje mění způsob, jakým vývojáři tráví svůj čas. Místo aktivního programování a hledání informací tráví více času zadáváním příkazů AI, čekáním na její odpovědi a kontrolou výsledků. Paradoxně to vede k menší produktivitě, i když by se mohlo zdát, že AI převezme část práce.
Autoři studie upozorňují, že jejich zjištění je třeba chápat v kontextu konkrétních podmínek výzkumu. Studie také neznamená, že budoucí verze AI systémů nebudou lepší. Jedná se o snímek stavu technologie v současnosti. Tato studie navíc není jediná, která zpochybňuje přínos AI nástrojů.
Zdroj: METR, AI Experienced OS Devs Study, The Register
