TNO-advies: uitgebreide zwarte doos in zelfrijdende voertuigen

Hoewel zelfrijdende voertuigen veel veiliger kunnen zijn dan voertuigen met menselijke bestuurders, kunnen verkeersongevallen door zelfrijdende voertuigen niet volledig worden uitgesloten. In de nasleep van een ongeval moeten veel vragen worden beantwoord om aansprakelijkheidskwesties te kunnen beantwoorden. Maar het is waarschijnlijk nog belangrijker om van deze situatie te leren om ongevallen in de toekomst te voorkomen. Hiervoor is veel informatie nodig over de omstandigheden en de gevolgde procedures en ‘keuzes’ van het voertuig. Dat alles kan worden vastgelegd in Event Data Recorders (EDR’s), in de volksmond bekend als ‘zwarte dozen’.

Om zeker te stellen dat de benodigde feiten beschikbaar zijn voor alle relevante partijen, moeten het gebruik en de exacte specificatie van EDR’s in wet- en regelgeving worden vastgelegd; bij voorkeur nog voordat zelfrijdende auto’s de weg op gaan. EDR’s, worden al veel gebruikt in voertuigen. In de meeste gevallen wordt echter alleen basale (sensorische) observatie-informatie opgeslagen zoals de snelheid en richting van het voertuig.

Aanvullende eisen aan zwarte doos

TNO heeft voor de Europese Commissie aanbevelingen geformuleerd omtrent welke aanvullende informatie moet worden opgeslagen in EDR’s. Dit met als doel om de volledige keten van gebeurtenissen te kunnen beoordelen, inclusief observatie, verwerking, prestaties en context. Daarnaast moet aanvullende informatie helpen om te achterhalen of het systeem naar behoren is getest en in de juiste omstandigheden is gebruikt;  gedacht kan worden aan informatie als het versienummer van de software en de gebruikte datasets voor het trainen en testen van de AI-gebaseerde componenten.

Ethische kaders van de AI

Zelfrijdende auto’s kunnen met AI razend goed patronen herkennen uit de waargenomen informatie en die aan acties koppelen. Ze moeten daarnaast ook afwegingen kunnen maken over de wereld om hen heen, inclusief onder andere wettelijke en ethische kaders. Ze moeten dus, ook achteraf, over zichzelf kunnen redeneren en hun gedrag kunnen uitleggen. Dit vereist redeneervermogen. De informatie in de huidige EDR’s vertelt ons nog niets over hoe de observaties door het voertuig zijn gebruikt om een ​​beslissing te nemen. Daarnaast is het ook nog van belang om te weten of de besloten actie ook daadwerkelijk en correct is uitgevoerd.

Betere regelgeving

In het advies van TNO komt ook naar voren dat in toekomstige wetgeving van EDR’s rekening moet worden gehouden met de kosteneffectiviteit van de implementatie van EDR’s. Buitengewoon hoge eisen stellen aan de hoeveelheid en het type gegevens dat moet worden verzameld, kan een toekomstige ontwikkeling belemmeren. Ook zijn veel aspecten rond data-eigendom en privacy nog steeds onduidelijk. Betere regelgeving is daarom vereist, waarbij niet alleen de privacy van de eigenaar maar met name ook van de gebruiker en de inzittenden van het voertuig centraal moeten staan.

Als onderdeel van de ‘Study on Safety of non-embedded software’ analyseerde TNO als leider van een Europees consortium met als partners VVA (Italië) en SSSA (Italië), het juridische en zakelijke landschap met betrekking tot nieuwe geavanceerde technologieën in verband met digitalisering en AI met als specifieke cases voor Medische apps, Industriële Robots en zelfrijdende auto’s. TNO heeft onder meer een verkennend onderzoek gedaan naar specificaties van EDR’s in wegvoertuigen en andere op AI-gebaseerde systemen op gebieden zoals industriële robots en autonome scheepvaart.