Bert is een open source machine learning framework voor natuurlijke taalverwerking (NLP) dat computers helpt dubbelzinnige taal te begrijpen door context uit omringende tekst te gebruiken. Het model was vooraf gerangschikt op tekst uit het Engelse Wikipedia en het Brown Corpus, en het kan worden verfijnd met vraag-en-antwoord gegevenssets. Bert staat voor bidirectionele encoderrepresentaties van transformatoren en is gebaseerd op het transformatormodel, dat elk uitvoerelement dynamisch met elk invoerelement verbindt.
Wat is Bert?
Bert is ontworpen om de uitdagingen van het interpreteren van natuurlijke taal aan te pakken. Traditionele taalmodellen alleen opeenvolgend verwerkte tekst-van links-tot-rechts of van rechts naar links-die contextbegrip beperkt maakte. Bert overwint deze beperking door tekst bidirectioneel te lezen, waardoor het de volledige context van woorden kan vastleggen. Het is de voorraining op enorme, niet-gelabelde tekst en het vermogen om te worden verfijnd bij specifieke taken, maken het een krachtig hulpmiddel in moderne NLP.
Hoe Bert werkt
Bert’s kracht komt van de onderliggende transformatorarchitectuur. In tegenstelling tot eerdere modellen die afhankelijk waren van vaste sequenties, verwerken transformatoren gegevens in elke volgorde, waardoor Bert de invloeden van alle woorden rond een doelwoord kan afwegen. Deze bidirectionele aanpak scherpt zijn begrip van taal.
Transformatorarchitectuur
Het transformatormodel vormt de ruggengraat van Bert. Het zorgt ervoor dat elk uitgangselement dynamisch wordt berekend op basis van elk invoerelement. Dit ontwerp stelt Bert in staat om de context af te handelen door relaties over de hele zin te onderzoeken, niet alleen in een eenrichtingsprogressie.
Gemaskeerde taalmodellering
Bert gebruikt een techniek genaamd Masked Language Modellering (MLM). In MLM zijn bepaalde woorden in een zin verborgen en moet Bert deze gemaskerde woorden voorspellen op basis van de rest van de zin. Dit dwingt het model om een diep begrip van de context te ontwikkelen in plaats van te vertrouwen op statische woordrepresentaties.
Voorspelling van de volgende zin
Volgende zin Voorspelling (NSP) traint Bert om te bepalen of de ene zin logisch een andere volgt. Door de relatie tussen zinsparen te leren – zowel correct als onjuist gepaard – verbetert Bert zijn vermogen om de taalstroom vast te leggen, wat cruciaal is voor taken zoals het beantwoorden van vragen.
Zelfbewust mechanismen
Zelfhoogtes stelt Bert in staat om de relevantie van elk woord ten opzichte van anderen in een zin te wegen. Dit mechanisme is de sleutel wanneer de betekenis van een woord verschuift naarmate de nieuwe context wordt toegevoegd, zodat de interpretatie van Bert nauwkeurig blijft, zelfs wanneer woorden dubbelzinnig zijn.
Achtergrond en geschiedenis
De ontwikkeling van Bert betekende een aanzienlijk afwijking van eerdere taalmodellen. Eerdere modellen, zoals die gebaseerd op recidiverende neurale netwerken (RNN) en convolutionele neurale netwerken (CNN), verwerkte tekst in een vaste, opeenvolgende volgorde. Deze beperking belemmerde hun prestaties op taken die afhankelijk waren van het volledig begrijpen van context.
In 2017 introduceerde Google het transformatormodel, waarbij de weg werd vrijgemaakt voor innovaties zoals Bert. Tegen 2018 heeft Google Bert en open-sourced Bert uitgebracht, en onderzoek toonde aan dat het state-of-the-art resultaten behaalde over 11 natuurlijke taalvermogentaken, waaronder sentimentanalyse, semantische rollabel en tekstclassificatie. In oktober 2019 paste Google Bert toe op zijn Amerikaanse zoekalgoritmen, waardoor het begrip van ongeveer 10% van de Engelse zoekopdrachten wordt verbeterd. Tegen december 2019 was Bert uitgebreid tot meer dan 70 talen, waardoor zowel spraak- als tekstgebaseerde zoekopdracht werd verbeterd.
Toepassingen en toepassingen
Bert heeft een breed scala aan toepassingen in NLP, waardoor zowel algemene als gespecialiseerde taken mogelijk worden gemaakt. Het ontwerp maakt het ideaal voor het verbeteren van de nauwkeurigheid van het begrip en de verwerking van het taalgebruik.
NLP -taken
Bert ondersteunt sequentie-tot-sequentie-taken zoals het beantwoorden van vragen, abstracte samenvatting, zinsvoorspelling en het genereren van conversatie. Het blinkt ook uit in natuurlijke taalbegrip taken zoals woordgevoel Desubriguation, polysemie -resolutie, natuurlijke taalinferentie en sentimentclassificatie.
Gespecialiseerde varianten
Veel aanpassingen van BERT zijn ontwikkeld om prestaties te optimaliseren of specifieke domeinen te richten. Voorbeelden zijn Patentbert voor patentclassificatie, Docbert voor documentclassificatie, Biobert voor biomedische tekstwinning en Scibert voor wetenschappelijke literatuur. Andere versies zoals Tinybert, Distilbert, Albert, Spanbert, Roberta en Electra bieden verbeteringen in snelheid, efficiëntie of taakspecifieke nauwkeurigheid.
Bert vs. GPT
Hoewel zowel Bert als GPT toptaalmodellen zijn, dienen ze verschillende doeleinden. Bert richt zich op het begrijpen van tekst door deze volledig te lezen met behulp van context uit beide richtingen. Dit maakt het ideaal voor taken zoals interpretatie van zoekopdrachten en sentimentanalyse. GPT -modellen zijn daarentegen ontworpen voor het genereren van tekst, excelleren in het maken van originele inhoud en het samenvatten van langdurige teksten.
Impact op AI en zoeken
Google gebruikt Bert om de interpretatie van zoekopdrachten te verbeteren door context beter te begrijpen dan eerdere modellen. Dit heeft geleid tot meer relevante resultaten voor ongeveer 10% van de Amerikaanse Engelse zoekopdrachten. Het vermogen van Bert om context te verwerken, heeft ook een verbeterde spraakzoek- en tekstgebaseerde zoeknauwkeurigheid, vooral omdat het is aangepast voor gebruik in meer dan 70 talen. De invloed ervan strekt zich uit in AI, het vaststellen van nieuwe normen voor het begrijpen van natuurlijke taal en het stimuleren van de ontwikkeling van meer geavanceerde modellen.
