In de afgelopen twintig jaar zijn data voor bedrijven van onschatbare waarde geworden en concurreren ze met traditionele assets als fysieke infrastructuur, technologie, intellectueel eigendom en menselijk kapitaal. Voor een aantal van de meest waardevolle bedrijven ter wereld vormen data de kern van hun bedrijfsmodel.
De schaal van dataproductie en -transmissie is exponentieel gegroeid. Forbes meldt dat de mondiale dataproductie is gestegen van 2 zettabytes in 2010 naar 44 ZB in 2020, met projecties die de 180 ZB in 2025 zullen overschrijden – een duizelingwekkende groei van 9.000% in slechts 15 jaar, deels gedreven door kunstmatige intelligentie.
Ruwe gegevens alleen staan echter niet gelijk aan bruikbare inzichten. Onverwerkte gegevens kunnen gebruikers overweldigen, waardoor het begrip mogelijk wordt belemmerd. Informatie – gegevens die worden verwerkt, georganiseerd en consumeerbaar – zorgen voor inzichten die leiden tot acties en het genereren van waarde.
Dit artikel deelt mijn ervaring met data-analyse en de implementatie van digitale tools, waarbij de nadruk ligt op het benutten van “Big Data” om bruikbare inzichten te creëren. Deze inzichten hebben gebruikers in staat gesteld commerciële kansen te benutten, kostenbesparende gebieden te identificeren en toegang te krijgen tot nuttige benchmarkinginformatie. Onze projecten omvatten vaak automatisering, wat tijdwinst en efficiëntiewinst opleverde. Ik zal de belangrijkste uitdagingen belichten waarmee we te maken hebben gehad en onze oplossingen, waarbij ik de nadruk leg op de vroege projectfasen waarin beslissingen de grootste impact hebben.
Belangrijke aandachtsgebieden zijn onder meer:
- Kwantificering van de voordelen
- Het risico van scope creep
- Navigeren door uitdagingen met PDF-gegevens
- Ontwerpfase en prestatieoverwegingen
In grote organisaties vormen de beschikbaarheid en toegankelijkheid van gegevens vaak aanzienlijke uitdagingen, vooral wanneer gegevens uit meerdere systemen worden gecombineerd. De meeste van mijn projecten waren gericht op het creëren van een uniforme, geharmoniseerde dataset voor zelfbedieningsanalyses en inzichtelijke dashboards. We hebben agile methodologieën gebruikt om duidelijk toezicht te houden op de voortgang en knelpunten, en zo de verantwoordelijkheid van elk teamlid te garanderen.
De typische levenscyclus van dataprojecten omvat de fasen van scoping, ontwerp, ontwikkeling, implementatie en onderhoud. Tijdens het verkennen werkt de producteigenaar nauw samen met de klant/eindgebruikersorganisatie om de algemene behoeften, gewenste gegevenstypen en inzichten, vereisten en functionaliteit te begrijpen.
Kwantificering van de voordelen
Een cruciaal element van de scopingfase is de batenanalyse, waarin we de potentiële waarde van de oplossing kwantificeren. Mijn ervaring is dat deze stap vaak een uitdaging blijkt te zijn, vooral bij het inschatten van de waarde van analytische inzichten. Ik heb ontdekt dat hoewel het berekenen van automatiseringsvoordelen zoals tijdbesparing relatief eenvoudig is, gebruikers moeite hebben om de waarde van inzichten in te schatten, vooral als ze te maken hebben met voorheen niet-beschikbare gegevens.
In één cruciaal project zijn we deze uitdaging frontaal aangegaan. We waren een datamodel aan het ontwikkelen om dieper inzicht te krijgen in logistieke contracten. Tijdens de verkennende fase hadden we moeite om de potentiële voordelen te kwantificeren. Pas toen we een recent incident ontdekten, vonden we ons antwoord.
Een paar maanden eerder had de klant ontdekt dat hij te veel betaalde voor een specifieke pijpleiding. De structuur van het contract, waarbij verschillende volumestromen verschillende tarieven tot gevolg hadden, had geleid tot suboptimaal gebruik en buitensporige kosten. Door de volumestromen aan te passen, wisten ze de eenheidskosten aanzienlijk te verlagen. Dit praktijkvoorbeeld bleek van onschatbare waarde in ons proces voor het kwantificeren van voordelen.
We hebben dit incident gebruikt om aan te tonen hoe ons datamodel:
- Ik heb het probleem eerder geïdentificeerd, waardoor mogelijk maanden aan te hoge betalingen worden bespaard
- Er wordt voortdurend toezicht gehouden om soortgelijke problemen in de toekomst te voorkomen
- Biedt inzichten voor het optimaliseren van de stroomsnelheden voor alle contracten
Dit concrete voorbeeld hielp ons niet alleen de voordelen te kwantificeren, maar verhoogde ook de prioriteit van het project bij het senior management, waardoor we de financiering veiligstelden die we nodig hadden. Het was een cruciale les in de kracht van het gebruik van tastbare, recente gebeurtenissen om potentiële waarde te illustreren.
Niet alle projecten hebben echter zulke duidelijke voorbeelden. In deze gevallen heb ik alternatieve benaderingen ontwikkeld:
- Benchmarking: We vergelijken de prestaties van afdelingen met andere afdelingen of concurrenten, identificeren de beste prestaties in hun klasse en kwantificeren de waarde van het bereiken van dat niveau.
- Percentageverbetering: We schatten een conservatieve procentuele verbetering van de totale afdelingsinkomsten of -kosten als gevolg van het model. Zelfs een klein percentage kan zich vertalen in aanzienlijke waarde in grote organisaties.
Ongeacht de methode heb ik geleerd hoe belangrijk het is om duidelijke, meetbare succescriteria te definiëren. We leggen nu altijd vast hoe de voordelen na de implementatie worden gemeten. Deze praktijk vergemakkelijkt niet alleen een eenvoudigere herbeoordeling, maar zorgt ook voor verantwoording voor de implementatiebeslissing van de digitale oplossing.
Een andere waardevolle les kwam uit onverwachte hoek. In verschillende projecten ontdekten we ‘zijklanten’: afdelingen of teams die konden profiteren van ons datamodel, maar die geen deel uitmaakten van de oorspronkelijke scope. In één geval bleek een model ontworpen voor het logistieke team van onschatbare waarde voor de financiële afdeling bij het budgetteren en voorspellen.
Deze ervaring heeft mij geleerd om een breder netwerk uit te werpen bij het definiëren van het klantenbestand. Tijdens de scopingfase kijken we nu routinematig verder dan de vragende afdeling. Deze aanpak heeft vaak de algehele projectvoordelen en -prioriteit vergroot, waardoor een marginaal project soms een must-have-initiatief werd.
Deze ervaringen onderstrepen een cruciaal inzicht: in grote organisaties worstelen meerdere gebruikers op verschillende gebieden vaak met soortgelijke problemen zonder het te beseffen. Door deze synergieën vroegtijdig te identificeren, kunnen we uitgebreidere, waardevollere oplossingen creëren en sterkere cases voor implementatie opbouwen.
Het risico van scope creep
Hoewel het verbreden van het klantenbestand de impact van het model vergroot, vergroot het ook het risico op reikwijdte. Dit gebeurt wanneer een project te veel belanghebbenden probeert te huisvesten, waardoor buitensporige of te complexe functionaliteit wordt beloofd, wat mogelijk het budget en de tijdlijn in gevaar brengt. De producteigenaar en het team moeten hun middelen en realistische leveringsmogelijkheden binnen het afgesproken tijdsbestek duidelijk begrijpen.
Om dit risico te beperken:
- Anticipeer op ontwerpwerk tijdens de scopingfase.
- Beoordeel of aan nieuwe eisen kan worden voldaan met bestaande gegevensbronnen of dat het noodzakelijk is nieuwe te verwerven.
- Stel duidelijke, realistische verwachtingen bij het klantmanagement over reikwijdte en haalbaarheid.
- Maak tijdens de scoping een handmatige mockup van het eindproduct om de vereisten voor de gegevensbron te verduidelijken en eindgebruikers een tastbaar voorbeeld van het resultaat te geven.
- Gebruik daadwerkelijke gegevenssubsets in mockups in plaats van dummygegevens, omdat gebruikers zich beter kunnen identificeren met vertrouwde informatie.
De uitdagingen met betrekking tot PDF-gegevens
Verschillende projecten brachten uitdagingen aan het licht bij het vastleggen van PDF-gegevens. Gebruikers vroegen vaak om details van facturen en overzichten van externe leveranciers die niet beschikbaar waren in onze financiële systemen. Terwijl boekhoudteams doorgaans samengevatte versies boeken, hadden gebruikers regelitemdetails nodig voor analyses.
Het extraheren van gegevens uit PDF’s vereist het vaststellen van regels en logica voor elk gegevenselement, een aanzienlijke inspanning die alleen de moeite waard is voor meerdere PDF’s met vergelijkbare structuren. Als je echter te maken hebt met documenten van duizenden leveranciers met verschillende formaten die in de loop van de tijd kunnen veranderen, wordt het ontwikkelen van mappingregels een immense taak.
Voordat ik PDF-extractie in een projectomvang kan opnemen, heb ik nu een grondig inzicht nodig in de betrokken documenten en moet ik ervoor zorgen dat de eindgebruikersorganisatie de bijbehorende uitdagingen volledig begrijpt. Deze aanpak heeft vaak geleid tot een herdefinitie van de reikwijdte van het project, omdat de voordelen de kosten mogelijk niet rechtvaardigen en er alternatieve manieren kunnen bestaan om de gewenste inzichten te bereiken.
Ontwerpfase en prestatieoverwegingen
De ontwerpfase omvat het analyseren van specifieke elementen, het identificeren van gegevensbronnen, het beoordelen van optimale gegevensinterfacemethoden, het definiëren van curatie- en berekeningsstappen en het documenteren van het algehele gegevensmodel. Het omvat ook beslissingen over het hosten van datamodellen, softwaretoepassingen voor gegevensoverdracht en -visualisatie, beveiligingsmodellen en de frequentie van de gegevensstroom. De belangrijkste ontwerpvereisten omvatten doorgaans gegevensgranulariteit, betrouwbaarheid, flexibiliteit, toegankelijkheid, automatisering en prestaties/snelheid.
Prestaties zijn cruciaal, omdat gebruikers vrijwel realtime reacties verwachten. Langzame modellen zien, ongeacht hun inzichten, vaak een beperkt nut. Veel voorkomende methoden voor prestatieverbetering zijn onder meer het materialiseren van de uiteindelijke dataset om op cache gebaseerde berekeningen te voorkomen. De keuze voor visualisatietools heeft ook een aanzienlijke invloed op de prestaties. Het testen van verschillende tools tijdens de ontwerpfase en het timen van elke modelstap helpt bij het selecteren van de tools. De gereedschapskeuze kan het ontwerp beïnvloeden, aangezien elk gereedschap de voorkeur geeft aan datastructuren, hoewel bedrijfsstrategie en kostenoverwegingen uiteindelijk de beslissing kunnen bepalen.
Toekomstige trends
Opkomende trends veranderen het data-analyselandschap opnieuw. Met tools voor gegevensvoorbereiding en -analyse kunnen niet-ontwikkelaars nu datamodellen maken met behulp van intuïtieve grafische interfaces met drag-and-drop-functionaliteit. Gebruikers kunnen elke stap simuleren en visualiseren, waardoor probleemoplossing direct kan worden opgelost. Deze democratisering van datamodellering breidt de trend van zelfbedieningsanalyse uit, waardoor gebruikers hun eigen datamodellen kunnen bouwen.
Hoewel er grenzen bestaan aan de complexiteit van door eindgebruikers gemaakte dataproducten, en organisaties misschien nog steeds de voorkeur geven aan centraal beheerde bedrijfsdatasets voor veelgebruikte data, breiden deze tools de mogelijkheden voor datamodellering uit tot buiten IT-professionals.
Een persoonlijke ervaring illustreert de impact van deze trend: tijdens de scopingfase van een project, waarbij we geconfronteerd werden met het potentiële verlies van een ontwikkelaar, schakelden we over van een SQL-geprogrammeerd model naar Alteryx. De producteigenaar creëerde met succes het datamodel met minimale IT-ondersteuning, waardoor zowel zijn technische vaardigheden als zijn werktevredenheid werden vergroot.
De socialisatie van het maken van complexe analytische tools biedt aanzienlijke voordelen. Bedrijven zouden moeten overwegen om trainingsprogramma’s aan te bieden om de waarde van deze toepassingen te maximaliseren. Bovendien kunnen AI-assistenten code voorstellen of debuggen, waardoor de adoptie van deze tools verder wordt versneld. Deze verschuiving kan van iedere medewerker een dataprofessional maken, die maximale waarde uit bedrijfsdata kan halen zonder uitgebreide IT-ondersteuning.
Ontgrendel de waarde van data
Datagedreven besluitvorming kent een snelle groei in alle sectoren. Om de waarde van data te ontsluiten, moet deze worden omgezet in gestructureerde, bruikbare informatie. Data-analyseprojecten zijn bedoeld om gegevens uit verschillende bronnen te consolideren in een gecentraliseerde, geharmoniseerde dataset die klaar is voor gebruik door de eindgebruiker.
Deze projecten omvatten verschillende fasen – scoping, ontwerp, bouw, implementatie en onderhoud – elk met unieke uitdagingen en kansen. De scopingfase is bijzonder cruciaal, omdat de beslissingen die hier worden genomen een diepgaande invloed hebben op de gehele levenscyclus van het project.
Het traditionele model van vertrouwen op toegewijde IT-ontwikkelaars evolueert met de komst van gebruiksvriendelijke tools voor gegevensvoorbereiding en -analyse, aangevuld met AI-assistenten. Deze evolutie verlaagt de drempel voor het bouwen van analytische modellen, waardoor een breder scala aan eindgebruikers aan het proces kan deelnemen. Uiteindelijk zal deze democratisering van data-analyse de impact ervan op de besluitvorming van bedrijven verder vergroten, waardoor innovatie en efficiëntie binnen organisaties worden gestimuleerd.
