Hoe goed zijn de betalende vertaalmachines?

Google Translate, DeepL,  BingChat (nu Microsoft Pilot), ChatGPT,… Het aantal vertaalmachines, al dan niet met artificiële intelligentie, groeit en verbetert zienderogen. Sommigen beweren dat menselijke vertalers al overbodig zijn, anderen zijn ervan overtuigd dat dit in de nabije toekomst zal gebeuren. Maar hoe goed is de professionele, betalende versie? Ik testte er twee voor je uit met een aantal vertalingen Duits-Nederlands.

Ik heb het al meerdere keren gezegd: “Sommige soorten vertalingen vergen een brainstorming die geen enkele machine (tot nog toe) aan kan”. Vertalen is en blijft sowieso nadenken, maar bij het ene soort vertaling geldt dat nog wat meer dan bij de andere. Als je met AGT, de professionele AI-plugin voor MemoQ, marketingmateriaal vertaalt, zie je het meteen: het is extreem letterlijk, de zinsopbouw is vrijwel identiek. Uitdrukkingen, zinsspelingen, verwijzingen naar de actualiteit gaan compleet verloren.

En bij technische vertalingen – productbeschrijvingen van gereedschap bijvoorbeeld – valt op dat vertaalmachines zelfs helemaal niet in staat is om naar de website te gaan kijken welk type product het is (vb. Beschichtung kan afwerking zijn, maar net zo goed een coating of een verzegeling), laat staan dat de tool - zelfs niet de betalende versies - de exacte vertaling van de website overneemt.

Ook doet geen enkele van de door mij geteste tools vooronderzoek:

• Welke zoekwoorden gebruiken potentiële klanten?
• Hoe is hun customer experience?
• Wat is hun koopgedrag?
• Waar letten ze op bij de aankoop van dit soort product?

Kort gezegd: een machine kan niet denken, het kan alleen ‘reproduceren’ uit bestaand materiaal. En dat zeer wisselende resultaten, vind ik persoonlijk.

Voor lichter vertaalwerk bespaart het tijd 

Maar hoe zit het nu met lichtere teksten? Wat bijvoorbeeld met een boek rond de geschiedenis van bouwwerken in Duitsland van voor en rond de wereldoorlogen? (*)

In dit soort teksten blijkt dat AGT zeker zijn nut kan hebben om je typwerk te besparen. Bepaalde eenvoudige zinnen zitten behoorlijk goed. Je moet in 90% van de gevallen weliswaar nog zaken aanpassen, maar je hoeft niet meer alles zelf te typen. Het bespaart je effectief tijd, dus je kan meer vertalen op een dag.

Wat voor fouten maakt AGT?

Zoals bij alle vertaalmachines en AI zit hem de grootste bottleneck in het feit dat – ik heb het al meermaals gezegd - een machine niet kan nadenken:

• De nuance tussen een tegenwoordige en een verleden tijd in geschiedkundige teksten is soms voor menselijke vertalers al een hele opgave, laat staan voor een machine.
• Grammaticastructuur vertaalt hij één op één, bij complexe structuren gaat de tool helemaal de mist in.
• Straatnamen worden plots vertaald, maar Berlin dan weer niet.
• Context, zinsoverschrijdend denken, verbanden leggen lukt nog steeds niet: Kaufhäuser kunnen koophuizen zijn maar net zo goed winkels (zeker geen ‘aankoophuizen’), Familie is niet altijd gezin, een architect heeft geen ‘karweien’ maar wel opdrachten (in het Duits stond er ook ‘Aufträge’ dus waarom hier zo een gekke kronkel?), Änderungsatelier van kledingwinkels is geen ‘atelier voor wijzigingen’ maar een retouche-atelier. Een Atelier is in deze context sowieso geen werkplaats. Dunkel kan donker zijn, maar ook duistere, louche zaakjes, en ga zo maar door.

In deze geschiedkundige publicatie was er een duidelijke definitie van wat het verschil is tussen Kaufhäuser & Warenhäuser, een verschil dat in het Nederlands niet zo één op één over te nemen is.  Het vergt eigenlijk altijd een omschrijving of het moet duidelijk zijn uit de context: Kaufhäuser zijn bijvoorbeeld H&M, C&A; Warenhäuser zijn Galeria Kaufhof, Inno en De Bijenkorf (en ook de voormalige V&D).

Dat ontging AGT compleet: als hij er geen '(aan)koophuizen' van maakte, dan werden beide begrippen gewoon als ‘warenhuizen’ vertaald. Zelfs als ze in combinatie met elkaar werden gebruikt.

Dit is trouwens ook een heel goed voorbeeld van hoe het ook voor menselijke vertalers soms heel wat denkwerk, en zelfs sparring met collega's, vergt. Dit soort zaken heb je in zowat elke tekst.

Stijl blijft een issue

Stijl is en blijft een heikel punt. Zelfs bij dit soort vrij straightforward teksten moest ik de meeste zinnen toch omgooien, omdat de Duitse zinsstructuur er helemaal doorheensijpelde. Het voelde daarom ook heel erg ‘machinaal’ aan.

Nu schrijft uiteraard iedereen anders, maar niemand schrijft zoals een machine. Iedereen heeft wel iets van bagage, in welke vorm dan ook, die doorsijpelt in zijn teksten. Je gaat bijvoorbeeld niet een hele tekst lang spreken over ‘winkel’ maar wisselt eens af met winkelketen, winkelgebouw, winkelpand, bedrijfspand, gebouw, pand of je gebruikt gewoon verwijswoorden of verbindt zinnen met elkaar om het minder ‘stacato’ te maken. Die 1-op-1-vertalingen zie je ook heel duidelijk terug in de interpunctie: als er een punt staat, gaat de vertaalmachine er geen dubbele punt van maken om een verband te leggen tussen zinnen.

Is een vertaalmachine nuttig?

Ja en neen. Ja, als het puur als hulpmiddel wordt gebruikt en er een professionele vertaler én revisor aan het stuur zit die heel kritisch met de voorstellen omgaat. Als de menselijke vertaler heel gefocust blijft. En – ook hééél belangrijk – als het origineel goed geschreven is.

In dit geval was de oorspronkelijk geschiedkundig getinte publicatie duidelijk niet geschreven door een ervaren schrijver: de opbouw van de tekst liep soms heel stroef én dat zag je ook in de eerste vertaling van AGT.

Een ongeschreven wet in de vertaalwereld is trouwens: “Je kan als vertaler weliswaar proberen om het niveau wat op te krikken, maar van een vrij stroeve tekst ga je nooit een supervlotte vertaling kunnen maken.”

Neen, als jij als niet-professionele vertaler of zelfs leek je teksten door de vertaalmachine haalt en that’s it. Het vergt echt heel wat kennis en expertise om een mooie vertaling te maken. 

Een vertaler duikt helemaal in de tekst en geeft niet op tot het resultaat helemaal goed zit.



Wat bepaalt de kwaliteit van de machinevertaling?

Heel veel hangt af van de aard van de tekst, en niet te vergeten, van de talencombinatie. Engels-Nederlandse kan ik zelf niet professioneel beoordelen, maar ik kan me wel voorstellen dat daar de resultaten soms beter zijn, dan in andere talencombinaties. De testen die ik voor Frans-Nederlands heb gedaan (zie mijn blog 'Hoe goed zijn professionele vertaalmachines en AI?'), waren ondermaats voor technische vertalingen, maar wel nuttig voor bijvoorbeeld productetiketten.

Maar ook tussen de betalende vertaalmachines zit er een heel groot verschil. DeepLPro kent iedereen, maar er zijn er ook nog andere. ModernMT bijvoorbeeld. Deze kost ook ongeveer net zo veel als DeepLPro.

De reden waarom ik ModernMT heb uitgeprobeerd, is omdat dit iets meer zou kunnen dan DeepLPro: je kan ModernMT net als DeepLPro koppelen aan je vertaalsysteem (MemoQ, Trados), maar je kan hem ook linken aan je vertaalgeheugens en hij is zelflerend.

Maar de realiteit valt flink tegen:

• Wat ze beweren over vertaalgeheugens, heb ik niets van gemerkt: overal bleef het ‘apparaten’ terwijl het volgens mijn vertaalgeheugen én terminologielijst ‘toestellen' moet zijn, ook bij de echte bedrijfsinterne termen uit de terminologielijst ging ModernMT compleet de mist in.
• Het was daarnaast enorm letterlijk vertaald - zeker niet beter dan DeepLPro - en daarom in de meeste gevallen bij mijn technische vertalingen compleet onbruikbaar. 

Is een licentie zijn geld waard?

Laten we het dan eens hebben over de prijs… ModernMT en DeepLPro kosten ca. 25 €/maand. AGT komt momenteel op 39€/maand. Dat zijn geen grote bedragen en haal je er normaal gezien makkelijk uit: uitgaande van een uurprijs van € 70, wil dat zeggen dat, als je ca. 20 minuten tijd per maand bespaart je het er al uit hebt voor DeepLPro en ModernMT. Bij AGT heb je ongeveer een half uur tijdswinst per maand nodig. Dat zijn cijfers die zeer goed haalbaar zijn. MAAR er is meer dan alleen tijdswinst.

Het moet ook passen bij je werkwijze. Bij AGT kies je geheel zelf of je een PreTranslate doet vooraf of niet. Bij de gewone MT-plugins zoals DeepLPro en ModernMT vult MemoQ segment per segment de machinevoorvertaling in, maar vind ik het bijzonder verwarrend om te weten wat nu uit jouw TM komt of een MT-voorstel is: je moet altijd naar het translation window gaan kijken om het te weten. In mijn testen moest ik ook zowat in 80% de gehele ModernMT-zin weer schrappen en opnieuw beginnen, waardoor ik niet echt lekker in de tekst kwam.

Mijn conclusie:

Toen AGT als testversie op de markt kwam, had ik mij meteen ingeschreven, maar alles wat ik ermee deed voor mijn grootste klant, was nutteloos. Ik gebruikte het dan ook niet meer. Tot dan die geschiedkundige vertaalopdracht.

Hier voelde AGT heel goed aan. Ik had het gevoel dat ik sneller kon werken, dat ik minder typewerk had. Wel viel mij op dat ik in de naleesronde meer verbeterde. Maar de revisietijd en correctieniveau van mijn externe revisor bleven constant. Het was dus een beetje een dubbeltje op zijn kant. Had ik nu wel of niet tijdswinst?

Ik kwam voor deze opdracht, exclusief de finalisatie en de final proof, op 594 woorden per uur. Dat is ietsje meer dan gemiddeld, maar zeker geen spectaculaire tijdswinst, zeker als je weet dat dit zeker geen moeilijke tekst was. Ik had hier meer van verwacht.  Bij mijn vaste klant zit ik meestal ook rond 500-600 woorden per uur en die teksten zijn een heel pak moeilijker.

Als ik deze publicatie bijvoorbeeld met Dragon Naturally Speaking had gedaan, zat ik gegarandeerd rond de 800 woorden of meer (sommige studies zeggen dat je tot wel zes keer sneller kan werken, ik houd het veiligheidshalve op 2x).

Omdat ik voor mijn grootste klant er dus geen voordeel uit haal – deze geschiedkundige vertaling is iets eenmaligs – ben ik niet geneigd om voor AGT – en al helemaal niet voor ModernMT of DeepLPro – te betalen.



Heb jij vertaalwerk vanuit het Frans of het Duits naar het Nederlands nodig, stuur me dan zeker een mailtje en vermeld ook duidelijk of ik machinevertaling en/of AI mag gebruiken. Als je dat wenst, wil ik je gerust achteraf een soort verslag schrijven van mijn bevindingen.

(*) Deze uitgeverij had ook uitdrukkelijk toestemming gegeven dat ik met machinevertaling mocht werken. Bij heel veel van mijn klanten zal ik bijvoorbeeld nooit met MT of AI werken, omdat het om vertrouwelijke informatie gaat of gewoon omdat zij niet willen dat er MT gebruikt wordt voor hun vertaalwerk. Dat is ook een van de redenen waarom ik denk dat dit (voorlopig) de laatste test met AI en vertaalmachines is. Pas als er weer een opdracht komt, die anders is dan wat ik gebruikelijk vertaal, zal ik mij er misschien nog eens aan wagen. Maar voorlopig houd ik het hierbij.