top of page

Effiziente Reifendatenerkennung

Updated: Feb 14


 

In Kooperation mit dem führenden Online-Reifenhändler in Europa, der Delticom AG, haben wir eine KI-gestützte Reifenerkennung entwickelt. Diese fortschrittliche Technologie erlaubt das Extrahieren von relevanten Reifendaten wie Marke, Dimension, Profil, DOT, Last- und Speedindex, basierend auf lediglich einem einzigen Foto. Unsere innovative Reifenerkennung ist mit jeder Art von Kamera kompatibel, sei es auf Smartphones oder in fest installierten Anlagen.


 

Das Projekt


Die Erkennung von Reifendaten, wie Marke, Profil, Größe (Dimension), Last- und Geschwindigkeitsindex sowie das Herstellungsdatum (DOT), basierend auf einfachen Fotos, ist eine ziemlich knifflige Aufgabe für moderne Texterkennung. Das liegt daran, dass oft wenig Kontrast zwischen der Schrift und dem Hintergrund besteht, die Schriftzüge schmutzig oder abgenutzt sein können und es viele verschiedene Arten von Schriftlayouts und -größen gibt. Außerdem kann die Ausrichtung der Schrift auf einem Reifenbild unterschiedlich sein. Externe Faktoren wie unscharfe Bilder, verschiedene Blickwinkel und Lichtverhältnisse können die Texterkennung zusätzlich erschweren.



Die automatische Erkennung von Reifendaten verspricht in verschiedenen Branchen spannende Verbesserungen. Ob bei der Einlagerung von Reifen, dem Warenausgang von Großhändlern oder dem Onlineverkauf – diese Technologie hat das Potenzial, viele zeitaufwändige Prozesse zu optimieren. Sogar bei Werkstattbesuchen oder automatischen Kontrollen der Reifenabnutzung auf Autobahnauffahrten eröffnen sich völlig neue Anwendungen.


Moderne Softwarelösungen verwenden oft eine teilautomatische Methode, bei der herkömmliche optische Zeichenerkennung (OCR), alte Daten und menschliche Eingriffe kombiniert werden. Hierbei wird häufig ein teures und zeitaufwendiges hochauflösendes Bild durch Laserscans des Reifens genutzt. Das ist nicht nur teuer, sondern dauert auch mehrere Sekunden.


Im Gegensatz dazu bieten moderne Deep Learning Ansätze, wie sie in unserer Forschung zur Erkennung von Fahrzeugscheinen und Arztrezepten entwickelt wurden, völlig neue Möglichkeiten. Unsere Innovation, KTR (Kaitos Tire Recognition), basiert auf Deep Learning Architekturen und ermöglicht die genaue und schnelle Erfassung von Reifendaten durch einfache Handyfotos der gesamten Reifenflanke. Dadurch wird eine kostengünstigere und schnellere vollständige Automatisierung der Reifendatenerkennung ermöglicht.




 

Wie funktioniert unsere Software?


Unsere Reifenscan-Software durchläuft mehrere Schritte, um Informationen von Reifenfotos zu erfassen. Hier ist der Ablauf im Detail:


1. Fotoerstellung: Die Software akzeptiert Reifenfotos, die entweder von einer Anlage stammen, wie sie im Einlagerungsprozess verwendet wird, oder von montierten Reifen am PKW aus verschiedenen Winkeln. Dies dient als Eingabe für den Scanprozess.


2. KI-basierte Reifenerkennung: Ein Segmentierungsnetzwerk innerhalb der Software identifiziert den Reifen zuverlässig auf dem Bild und gibt den relevanten Bereich zurück. Dieser Schritt ist entscheidend, um den Fokus auf den Reifen selbst zu legen und andere Bildinformationen zu eliminieren.


3. Verarbeitung durch KI-Dienst: Das identifizierte Reifenbild wird "glatt gerechnet", wobei eine möglichst hohe Auflösung und minimale Verzerrung angestrebt wird. Das resultierende Bild dient als Input für den KI-basierten OCR (Optical Character Recognition) Prozess.


4. KI-basierte OCR: Die OCR-Technologie verarbeitet das vorverarbeitete Reifenbild und erkennt die Beschriftungen auf dem Reifen. Die erkannten Informationen werden geordnet nach Hersteller, Speedindex usw. ausgegeben. Diese Ausgabe umfasst auch die Fähigkeit, selbst bei dreckigen oder verschlissenen Reifen zuverlässig zu funktionieren.


 

Die Technik dahinter


Ein U-Net lokalisiert und glättet das Reifenbild in zylindrischen Koordinaten. Das geglättete Bild wird dann von unserer OCR-Architektur verarbeitet, bestehend aus einem modifizierten CRNN und vortrainiertem Feature Extractor (EfficientNetv2). Ein selbst entwickelter Beam-Search-Decoder strukturiert die Ausgabe für verschiedene Datentypen.


Für das Training verwenden wir focal-CTC-loss mit Entropy-Regulierung und einen internen Attention-Mechanismus. KTR gibt strukturierte Reifendaten aus, einschließlich Top-Five-Bewertungen für Datentypen wie DOT, mit einer Einschätzung der Genauigkeit. Das Training erfolgte auf Nvidia GeForce RTX 3090 GPUs mit 10.000 Reifenbildern.


KTR ist als Docker-Container bereitstellbar, läuft auf handelsüblichen CPUs in unter 2 Sekunden pro Inferenz und ist optimal für den industriellen Einsatz.


Die DOT (Department of Transportation) auf einem Reifen enthält wichtige Infos wie Hersteller, Produktionsort, Reifendimension und das chiffrierte Herstellungsdatum, üblicherweise als 8- bis 13-stellige Buchstaben- und Zahlenfolge. Besonders die letzten vier Zahlen repräsentieren die Herstellungswoche und sind bei Reifenkontrollen besonders relevant. Aufgrund der kleinen Größe, geringen Kontrasts, und oft verschlissenen oder verschmutzten Darstellung auf dem Reifen, ist die DOT ein anspruchsvoller, aber idealer Testfall für die Leistungsfähigkeit der KTR-Architektur.


Welche Technologien wurden hier benutzt?e : CNN, RNN, Beam Search, REST API, Kubernetes, Google Cloud Deployment, GPU-Multi-Worker Setup


 

Unser Labeling-Tool:


Um unser Modell zu trainieren, sammelten wir über 300.000 Reifenbilder von verschiedenen Seitenwänden, abdeckend eine breite Palette von Reifen. Der Datensatz umfasste insgesamt 3,3 TB an Bilddaten. Die nächste Herausforderung bestand darin, die Daten zu annotieren. Hierfür entwickelten wir ein Labeling-Tool, das Folgendes automatisiert:


  • Bildklassifizierung: Erkennen, ob es sich um einen Teil oder einen ganzen Reifen, mehrere Reifen oder gar keinen Reifen handelt.

  • Maskenvorhersage: Lokalisieren des Reifens auf dem Bild.

  • Effizientes "Glattrechnen" des Reifens.

  • Automatische Vorhersage des aktuellsten KTR-Modells in der Benutzeroberfläche.


Durch unser entwickeltes Labeling-Tool konnten wir die Beschriftungszeit von 4 Minuten pro Reifen auf etwa 30 Sekunden reduzieren. Unser Active Learning Ansatz ermöglichte zusätzlich eine Reduzierung der benötigten Datenmenge um etwa den Faktor 10. Diese Effizienzsteigerungen waren entscheidend, um dieses Projekt mit begrenzten Ressourcen erfolgreich durchzuführen.


 

Das Ergebnis


KTR zeigt signifikante Fortschritte in der Erkennungsgenauigkeit im Vergleich zu unserem vorherigen Blog-Post. In einem Test mit 500 Bildern, vergleichbar mit der vorherigen Testmenge, erreichte unser Modell durchschnittlich über 95% Genauigkeit in nur 1.5 Sekunden auf einer NVIDIA T4 oder einem ähnlichen CPU-basierten Setup.



 

Unsere Bilderkennung im Vergleich


Um die Herausforderungen bei der Auslesung von Reifendaten zu illustrieren, haben wir die KI-basierten OCRs von Google Cloud Vision, AWS Rekognition von Amazon und Azure Machine Vision von Microsoft auf einem Validierungsset mit 100 Reifenbildern getestet. Dabei haben wir den von jeder API zurückgegebenen vollständigen Text nach der korrekten DOT durchsucht. Wir haben bewusst auf regex-Fits verzichtet, um die Leistungsfähigkeit der allgemeinen OCRs zu evaluieren und spezielle DOT-Layouts zu berücksichtigen.


Die Ergebnisse auf dem Datenset waren wie folgt:



Aufgrund der Schwierigkeiten bei den Cloud-OCR-Anbietern haben wir unsere KTR-Architektur auf dem gleichen Datenset getestet. KTR konnte beeindruckende 83% der DOTs korrekt auslesen und war in 93% der Fälle unter den Top 5 Ergebnissen. Dies verdeutlicht die überlegene Leistungsfähigkeit der KTR-Architektur bei der Reifendatenerkennung im Vergleich zu den General Purpose OCRs.




Comments


bottom of page