Neuchips, een aanbieder van AI-applicatiespecifieke geïntegreerde circuits (ASIC’s), heeft een partnerschap aangekondigd met Vecow en Golden Smart Home (GSH) Technology Corp.’s Shareguru om een offline generatieve AI-oplossing te ontwikkelen voor eigen gegevensverwerking. De samenwerking heeft tot doel bedrijven in staat te stellen real-time inzichten uit interne databases te extraheren met behulp van natuurlijke taalvragen.
Het partnerschap richt zich op het aanpakken van de uitdagingen van complexe SQL -gegevensverwerking en de noodzaak van gegevensprivacy. De oplossing combineert Vecow’s ECX-3100 Rag Edge AI Inference Workstation, GSH’s Shareguru QA 2.0-oplossing en de Viper-serie Gen AI-kaart van Neuchips.
Belangrijke aspecten van de samenwerkingsoplossing zijn onder meer:
- Offline gegevensverwerking: De Viper Series -kaart van Neuchips maakt lokale verwerking van de Shareguru -oplossing mogelijk, waardoor gegevensprivacy en beveiliging worden verbeterd.
- Natuurlijke taalvragen: Met het systeem kunnen gebruikers SQL -query’s genereren met behulp van de menselijke taal, het vereenvoudigen van de toegang tot de gegevens en het verminderen van de afhankelijkheid van SQL -expertise.
- Krachtefficiëntie: Neuchips benadrukt het vermogen van de Viper -serie om 12 miljard parametermodellen te ondersteunen bij 45W stroomverbruik.
- Rag-Enabled LLM: De oplossing maakt gebruik van het ophalen van het ophalen (RAG) om toegang te bieden tot up-to-date gegevens zonder het omzetten van model te vereisen.
- Hardwarespecificaties: De Neuchips Viper -serie AI Accelerator -kaart heeft 32 GB geheugencapaciteit en native BF16 gestructureerde taalmodelondersteuning.
Agora lanceert conversatie AI-motor om realtime steminteracties te democratiseren
Neuchips benadrukt dat de kaart van de Viper -serie een aanzienlijk deel van de generatieve AI -verwerking van de CPU ontlaadt. Vecow benadrukt de rol van de oplossing bij het voldoen aan de groeiende vraag naar generatieve AI-toepassingen op on-premise en multimodale grote taalmodellen (LLMS). GSH’s Shareguru -platform biedt de SLM -oplossing die interactie heeft met de Neuchips -hardware.
De bedrijven zullen hun samenwerkingsoplossing presenteren op Embedded World 2025 in Neurenberg, Duitsland, bij Vecow’s Booth. Neuchips kondigde ook toekomstplannen aan om zich te concentreren op low-power multimodality ASIC’s tegen 2026.
Uitgelichte afbeeldingskrediet: Google DeepMind/Unsplash
