Meta heeft een open implementatie geïntroduceerd van de functie voor het genereren van podcasts die Google aanbiedt op zijn NotebookLM-platform. Dit nieuwe project, genaamd NotebookLlama, maakt voor het grootste deel van de verwerking gebruik van Meta’s eigen Llama-modellen. Vergelijkbaar met NotebookLMMet NotebookLlama kunnen gebruikers samenvattingen in podcaststijl maken van tekstbestanden, zoals pdf’s van artikelen of blogposts.

Hoe NotebookLlama werkt

NotebookLlama begint met het maken van een transcriptie van een bepaald bestand, bijvoorbeeld een PDF. Het systeem voegt vervolgens elementen toe zoals dramatisering en onderbrekingen om de gegenereerde inhoud meer als een gesprek te laten aanvoelen. Daarna gebruikt het open tekst-naar-spraakmodellen om het transcript naar audio om te zetten.

De huidige uitvoerkwaliteit van de door NotebookLlama gegenereerde podcasts is nog steeds ruw vergeleken met NotebookLM van Google. De stemmen hebben een opvallend robotachtig karakter en praten vaak op vreemde momenten door elkaar heen. De onderzoekers van Meta wijzen er echter op dat het verbeteren van deze kwaliteit mogelijk is met sterkere tekst-naar-spraakmodellen. Op de GitHub-pagina van NotebookLlama merken ze op: “Het tekst-naar-spraak-model is de beperking van hoe natuurlijk dit zal klinken.”

Een mogelijke verbetering van het project zou volgens Meta-onderzoekers kunnen inhouden dat twee afzonderlijke agenten over een onderwerp debatteren en de podcast-overzicht maken, in plaats van te vertrouwen op één enkel model om dit aspect af te handelen. NotebookLlama heeft, net als NotebookLM en andere AI-tools, ook te maken met ‘hallucinaties’, wat betekent dat de gegenereerde podcasts soms onjuiste informatie kunnen bevatten.

Gebruik NotebookLlama.

Functies

NotebookLlama streeft ernaar een open-source en toegankelijke versie van NotebookLM te bieden, die verschillende voordelen voor gebruikers biedt:

• NotebookLlama is volledig open-source, waardoor gebruikers het gratis kunnen gebruiken, wijzigen en aanpassen als dat nodig is.
• De gestructureerde aanpak die wordt gebruikt in de Jupyter-notebooks maakt NotebookLlama geschikt voor mensen met beperkte ervaring in het werken met grote taalmodellen (LLM’s), prompting- of audiomodellen.
• Hoewel de kernfunctie het converteren van PDF’s naar podcasts is, kunnen de principes achter NotebookLlama worden aangepast voor andere creatieve tekst-naar-spraak-workflows.

Een podcast bouwen met NotebookLlama

NotebookLlama gebruikt Jupyter-notebooks om gebruikers bij elke stap te begeleiden bij het maken van een podcast op basis van een tekstbestand. Hier is een vereenvoudigde weergave van de betrokken stappen:

• Stap 1: Installeer de vereiste bibliotheken. Gebruikers beginnen met het installeren van de benodigde bibliotheken zoals Optimum, Transformers en andere afhankelijkheden.
• Stap 2: Bibliotheken importeren. De notebooks importeren verschillende Python-bibliotheken voor audioverwerking, zoals onder meer IPython, TQDM en Torch.
• Stap 3: Verwerk gegevens en genereer audio. NotebookLlama genereert audiosegmenten met behulp van twee modellen: Bark en Parler. Deze modellen verwerken tekstprompts en voeren audio uit, die vervolgens kan worden samengevoegd tot een volledige podcast.
• Stap 4: Nutsfuncties. Het proces omvat hulpfuncties om verschillende sprekerstemmen te genereren, waardoor een meer dynamische podcastervaring wordt gegarandeerd.
• Stap 5: Stel de podcast samen. De gegenereerde audiosegmenten worden gecombineerd tot de uiteindelijke podcast, waardoor een compleet, deelbaar audioproduct ontstaat.

NotebookLlama is nog in ontwikkeling en er zijn gebieden waarop het project kan worden verbeterd. Het verbeteren van de kwaliteit van de tekst-naar-spraakmodellen zou het natuurlijke geluid van gegenereerde podcasts aanzienlijk kunnen verbeteren. Toekomstige iteraties zouden ook verschillende benaderingen kunnen verkennen, zoals het gebruik van meerdere agenten om boeiendere inhoud te creëren.

Ondanks deze beperkingen biedt NotebookLlama een unieke, open-source manier om tekst om te zetten in audio-inhoud. De aanpak kan ook toepassingen hebben die verder gaan dan eenvoudige PDF-conversies, en biedt bredere mogelijkheden voor makers die geïnteresseerd zijn in het experimenteren met geautomatiseerde tekst-naar-spraak-workflows.

NotebookLlama zou een waardevol hulpmiddel kunnen worden voor diegenen die het maken van podcasts willen automatiseren of willen experimenteren met nieuwe vormen van tekst-naar-spraak-inhoud.

Uitgelichte afbeeldingscredits: Kerem Gülen/Ideogram