De opkomst van grote taalmodellen (LLMS) en Foundationational AI -modellen heeft een revolutie teweeggebracht in het softwarelandschap en biedt een enorm potentieel voor productingenieurs om gebruikerservaringen te verbeteren. Maar hoe kunnen bedrijven deze technologie effectief gebruiken?
Ik sprak met Igor Luchenkoveen kunstmatige intelligentie -productingenieur die infrastructuur heeft gebouwd om LLMS op schaal te gebruiken en het Hackathon -platform heeft gemaakt Hackathonparty Om inzicht te krijgen in Applied AI in producttechniek en gebruikers gelukkig maken.
AI definiëren in SaaS -oplossingen
Luchenkov definieert toegepaste AI in de huidige SaaS -context zoals gecentreerd rond fundamentele modellen afgeleid van Llms.
“Een fundamenteel model is een machine-learning-algoritme die is getraind op een enorme hoeveelheid gegevens,” zei Luchenkov. “Deze modellen kunnen tekst, afbeeldingen, geluid en vrijwel elke invoer binnen een specifiek domein begrijpen.”
Hij wijst naar bekende voorbeelden zoals de GPT van Openai en de Claude van Anthropic, evenals open-source alternatieven zoals Deepseek R1, Mistral, Gemma en Lama. De applicaties zijn enorm, variërend van chatbots en het voldoen aan summierisatietools tot het genereren van codes en AI-aangedreven data-analyseplatforms.
“Het spectrum van mogelijke use cases is erg hoog en nog te bepalen,” zei Luchenkov.
Evalueren van de behoefte aan toegepaste AI
Luchenkov adviseert een pragmatische benadering van AI -implementatie.
“Bouw eerst een product dat werkt en waarde biedt aan de klanten. Doe het zonder AI, ‘vertelde Luchenkov me. Dit maakt een basislijn mogelijk om AI -initiatieven te vergelijken. De belangrijkste vraag wordt dan: is er een goede use case voor AI?
“We zijn op zoek naar productmogelijkheden waar mensachtige, doordachte besluitvorming nodig is,” zei Luchenkov. “De focus moet liggen op het automatiseren van taken en het verhogen van de productiviteit van gebruikers.”
Luchenkov illustreert dit met zijn werk bij Verduidelijkenwaar AI de voorbereiding van de voorbereiding, e -mail opstellen en samenvattende summarisatie binnen hun CRM bevordert.
“We hebben een duidelijk probleem genomen dat al tientallen jaren bekend is in de ruimte (klantrelatie is een lang, grondig proces) en maakten het gemakkelijker met AI,” zei Luchenkov. “Bedrijven moeten” het probleem identificeren dat een intelligent systeem nodig heeft om op te lossen te worden en ervoor te zorgen dat dit probleem het oplossen waard is. ”
Hij beveelt ook aan om de regels van ML van Google te raadplegen voor richtlijnen voor het bouwen AI/ML -systemen.
Cruciale overwegingen van infrastructuur
Luchenkov benadrukt dat toegepaste AI -toepassingen in de eerste plaats toepassingen zijn die oplossingen vereisen voor traditionele uitdagingen voor software -engineering, zoals schaalbaarheid, responstijden, monitoring en meldingen. AI introduceert echter zijn eigen overwegingen.
“U moet zoeken naar modelprestaties, gegevensverdelingsverschuivingen en andere dingen die specifiek zijn voor uw specifieke taak,” zei Luchenkov. Observeerbaarheid is cruciaal voor het begrijpen van de impact van systeemveranderingen op de prestaties en zakelijke statistieken. Fundamentele modellen vormen ook unieke uitdagingen, met name bij het evalueren van open antwoorden.
Luchenkov citeert het voorbeeld van een model dat de tekst samenvat: “Hoe weet u of LLM een tekst correct samenvat en niet verzint?” Statistieken zoals AI -rechter en perplexiteit kunnen worden gebruikt, maar de specifieke keuze hangt af van de use case.
“Over het algemeen, evalueer en volgt de statistieken die zinvol zijn voor uw specifieke taak,” zei Luchenkov.
Democratiserend AI -gebruik
Luchenkov is van mening dat Applied AI toegankelijk moet zijn voor iedereen in een organisatie.
“AI is tegenwoordig een handelswaar,” zei Luchenkov. Beperking van de toegang belemmert innovatie. Naast productteams stelt hij voor een toegewijd AI R & D -team op te richten om opkomende modellen en technieken te volgen en nieuwe use -cases te verkennen.
“Het doel van een dergelijk team is om nieuwe use -cases te ontdekken voor het gebruik van AI in het product en in innoveren over verschillende delen van het product,” zei Luchenkov.
Hij beveelt ook de boeken aan “Machine Learning Systems ontwerpen” En “AI Engineering”Door Chip Huyen voor meer informatie over infrastructuur en evaluatie.
Het verminderen van de risico’s van AI
AI, getraind op enorme datasets die vaak vooroordelen en verkeerde informatie bevatten, brengt inherente risico’s met zich mee. Luchenkov benadrukt het potentieel voor AI om schadelijke of ongepaste antwoorden te genereren, onder verwijzing naar een chatbot die zelfmoord suggereerde.
“Elk dergelijke precedent is een tragedie voor mensen en een enorm reputatieverlies voor het bedrijf,” zei Luchenkov.
Zelfs schijnbaar onschadelijke fouten, zoals onjuiste reacties voor klantenondersteuning, kunnen vertrouwen beschadigen en leiden tot negatieve publiciteit. Hij herhaalt het belang van constante monitoring en evaluatie om de prestaties te waarborgen en potentiële problemen te identificeren.
Reputatieproblemen aanpakken
Luchenkov erkent het potentieel voor reputatieschade vanwege de onvoorspelbaarheid van AI. Hij wijst op voorbeelden van AI -assistenten die bizarre verklaringen afleggen of bevooroordeelde antwoorden genereren.
“Daarom is het cruciaal om de juiste waarborgen te hebben, zoals contentfiltering en menselijk toezicht,” zei Luchenkov.
Hij merkt op dat menselijk toezicht essentieel is op gevoelige gebieden zoals gezondheidszorg, financiën en juridische diensten om nauwkeurigheid, naleving en ethische verantwoordelijkheid te waarborgen. Het ultieme doel, concludeert Luchenkov, is om “de voordelen van AI te benutten terwijl de reputatie van uw bedrijf wordt beschermd en het vertrouwen van klanten onderhoudt”.
