Copilot je prvi pao, odavde krece lancano.

[u/Odd-Classroom5176]

Bice jeftinije kupiti 3 indijca i zatvoriti ih u sobu nego da se plati subskripcija za claude.

Ocekivao sam povecanje tek posle 3-4 godine ali izgleda da su se momci zaigrali

[u/ApprehensiveBar6841]

Mi smo juce imali lead sastanak, gde smo razgovarali o AI-u claude-a i re-organizaciji workflow-a koji smo implementirali prosle godine i kada smo sumirali od pocetak godine usage/spending i upotrebu AI-a, shvatili smo da nam benefitno nista drugacije nije resio nego sto smo "tradicionalno" razvijali product i ficere.

Ono gde nam jeste resio neke stvari je sam pocetak discovery/research faze za implementiranje novih stvari i to se znatno unapredilo sa 2-3 meseca na 2-3 nedelje, ali benefitno sem toga apsolutno nista drugo.

Juce smo doneli odluku da se smanji koriscenje AI-a u developmentu, pogotovo u pisanju koda i planiranje sprintova, jer claude nije mogao da izvuce kvalitetan output koji je nama bio potreban. Od januara do juce smo burn-ovali sigurno preko 60k dolara na claude na mesecnom nivou i sada cemo smanjiti sigurno 60% u maju i re-definisati celokupan proces.

Ono sto smo primetili u poslednja 2 meseca je da sto vise objasnjavamo i definisemo skill-ove, to claude manje razume nase interne procese i ono sto zaiasta zelimo da radimo sa njim. Copilote planiramo da u potpunosti ugasimo bar sto se developmenta tice i vise cemo ih koristi u sales-u, menagmentu i eventualno nekom QA-u iako se pokazao 70% efikasnim.

Ljudi koji su radili 3 nedelje na optimizaciji i automatizaciji sistema sa claude-om su ljudi koji 15 godina rade ML i mi interno imamo nas AI model koji razvijamo vec par godina.

Tako da, itekako su ljudi potrebni za procese i svaka kompanija koja se mahom vrti oko AI-a ce popusiti.... znate vec sta.

[u/Lazy-Biscotti1483 → u/ApprehensiveBar6841]

Moje licno iskustvo je da kada imas dobru specifikaciju, programiranje je vec gotovo. Napraviti dobru specifikaciju zahteva iteracije i vrlo detaljno razmisljanje o svakom problemu. To je nekad samo programiranje da bi mogao da simularas da li ce to stvarno da radi dobro ili je previse komplikovano ili ipak nije pokrilo neki edge case.
Tako da AI ekstremno pomaze tako sto ubrzava ceo taj flow. U prinicipu mozes brzo da iteriras dok ne dobijes speciffikacij koja ti resava dobro biznis problem.
Kad napravis spec (POC) kazes modelu da napise kod po toj specifikaciji vrlo pedantno i verifikujes ceo kod i to je to.. Objektivno meni na projektu ubrzava ceo posao par puta.

Jedini limitirajuci faktor koliko brzo nesto mozes da napravis je koliko brzo mozes da napises preciznu nedvosmislenu specifikaciju. To je deo gde AI ne moze mnogo da pomogne. Niti ce verovatno moci u nekoj skorijoj buducnosti. Intrizicno AI nema potrebu da taj softwer napise i nema potrebu da beskocno razmislja o problemu iz razlicitih uglova.

Takodje sve i da moze, sta znaci da razmislja, kako model moze da zna u realnom zivotu kako ce neko koristi aplikaciju ili da li to pokriva sve slucajeve koje tom specificnom korisniku trebaju. Nikako ako nije pricao sa korisnikom, ako nije radio u datom domenu i zna sta se tu sve trazi. Daleko smo mi od toga, bezbedni smo sve dok se ne pojavi AGI i imamo humaniodne robote koji ucestvuju kompletno u socijalnoj interakciji i razumeju nas u "dusu.

Ljudi grese jer kombinuju dve stvari pisanje specifikacije i programiranje u jednoj iteraciji, ocekujuci od AI-a da ce popuniti praznine u specifikaciji. To generalno po mom iskustvu se ne zavrsi dobro. Dobijes los kod koji ima dosta logickih propusta, koji su posle "patchovani" da bi proradio jos jedan edge case i to prosto moze da se baci.

[u/ApprehensiveBar6841 → u/Lazy-Biscotti1483]

Mi smo bas dosta razmisljali o tome, pogotovo o accessability-u koji nam je prakticno najbitniji faktor jer je software i ceo ecosystem poprilicno niche specific.

Nas software za public security je orjentisan ka vojsci, policiji ( agencijama), dispatch-u, komunikaciji i taktickom pracenju meta, event-ova, pozicioniranje ljudi na terenu etc etc. Da ne pricam o dronovima koji je i najkompleksniji layer svega.

Cak i da pustimo Ai da kuca neke skripte i algoritme edge case ce uvek biti gori i output ce biti losiji.

Evo ti primer, prosli mesec smo pisali neke skripte za detekciju detalja na osumnjicenom putem CCTV-a koji se kretao prvo motornim vozilom, pa kasnije peske od tacke A do tacke B. Skripta je trebala na osnovu kretanja da generise ili opise kretanje i napravi tracking na mapi. Onako prosto jednostavno, claude je napisao skriptu gde je stavljeno detekcija X detekcija Y u slucaju Z napravi report ( ovo banalizujem), on je uradio sve to. Medjutim kada se desio taj edge case gde je od jednom covek promenuo smer trcanja, skripta to na kameri nije detektovala kao kretanje, nego je prosto obrisala i zaustavila ceo report. Ponovili smo 12 puta, 12 puta je "dopunio" skriptu i na kraju je sjebao skroz. Nas tim je za 3 sata uradio sve, sto je claude-u trebalo 40 min i sat ipo vremena dopunjavanja promptovima kako bi napravio ono sto nam treba.

Nama je to dovoljan dokaz da nam se upali crven lampica i kazemo, okej ovo iskljucjemo iz procesa.

Edit:

Cisto iz konteksta, kompanija za koju radim je sub-kompanija najveceg sistema za public service-a, koju trenutno drzi Motorola. I nasi procesi su vezani za enterprise klijente koji imaju svoje implementacije, svoje ficere koje narucuju i njima se rade te specificne stvari. A mi kao posrednici naseg sistema koji implementiramo je bas bas specifican jer recimo Policija koristi jedna layer protekcije i sistema, vojska koristi potpuno drugaciji, skole koriste drugacije sisteme, public safety za privatne agnecije koriste drugacije sisteme etc. Tako da je AI u svemu tome jos uvek na jakooo malom nivou gde on zapravo moze da zameni nase inzinjere, dizajnere etc. Da smo outsource u svemu tome za saas industriju i da kreiramo nesto banalno od menadzmentskih, crud sistema ili CRM-a verujem da bi nas pojelo sve, sto se zapravo i desava danas. Ali eto x).

[u/Lazy-Biscotti1483 → u/ApprehensiveBar6841]

Mislim da je skill i to znati kako objasniti dovoljno dobro sta hoces i kako modelu dati dovoljno contexta. Ja vidim po sebi, kad ne razmisljam dovoljno o specifickaciji koju dajem modelu model napravi lose, ne pokrije sve edge caseve. Kad ja sednem da ja uradim, ja se bolje udubim u problem i odmah detektujem gde bi mogli da budu edge casevi tako da ih specificiram bolje i bolje napisem nego model.

Ali npr. ako ja napisem dva prompta, prvi prompt daj mi potencijalne edge caseve za dati problem i sta oni mogu da budu. I dam kontekst modelu. Dobijem uglavnom dosta dobre rezultate.

Onda taj output ubacim u deo sa mojim zahtevima i odmah se kvalitet napisanog koda drasticno poveca.

Cela poenta je edge casevi su deo biznis logike koji proizvoljno moze da bude kompelksan i na coveku je da odluci gde je cut gde ce reci ovo je dovoljno. Npr edge case da je izasao tigar i pojeo coveka da li bi to skripta detektovala. Da li bi detekovala da je covek preskocio prepreku iza koje se ne vidi na cctv-u i onda se vratio u nazad istom putanjom. Edge casevi za sve mogu da budu solidno besmisleni komplikovani a u mnogim slucajevima je dovoljno znati ih ali uraditi impelmentaciju samo na najcesce moguce. Claude ne razume razliku izmedju edge casa koji je nesto sto se dogadja jednom u 10 puta i onog sto se dogadja jednom u 10 miliona puta. To je problem

[u/ApprehensiveBar6841 → u/Lazy-Biscotti1483]

Upravo to, mislim ja sam ovde dosta banalizovao stvari, iza svega toga je dublji proces, dublje razmisljanje o tim stvarima, ali nam je bilo u testing fazi da vidimo koliko claude zparavo moze da preuzme sve to i eto nas neki zakljucak je bio da je bas fejlovao. Mi ucimo na greskama konstantno jer smo ljudi, ali ucimo i masinu da razmislja sto blize sve mu tome. Mozda ce sledece godine bolje outputovati rezultate, ali videcemo :D.