Billet Punch Mark Identification Using Image Processing and Machine Learning

Traceability is important in any production facility. Alleima, a producer of stainless steel and alloys will also benefit from this by keeping track of its products. In this thesis, a billet punch mark system was developed to identify billets that arrive at an in-transit location and accurately detects and predicts the billet punch mark numbers. The system also includes a simple GUI (Graphical User Interface) which can be used at the facility. The punch marks will be saved along with the corresponding time of prediction, helping Alleima trace and correct any issues that might arise during production. Many steps were developed as part of this study to identify the punch marks: 1) template matching was used to find and crop the billet and billet holder, 2) SAD (Sum of Absolute Differences) was used to find a frame for each billet, 3) Canny filtering along with the Hough transform was applied to crop out the billet, 4) a YOLO (You Only Look Once) object detection model was trained to locate the punch mark region of interest (ROI), 5) the ROI was rotated using two rotation schemes, and 6) the numbers were read by OCR (Optical Character Recognition) software PaddleOCR. For the final evaluation, seven videos were processed. Out of a total of 292 billets, all were found, and the punch mark numbers (or lack thereof) were accurately detected in 92.5% of the cases.
Spårbarhet är en viktig aspekt inom tillverkningsindustrin. Alleima, ett företag som tillverkar rostfritt stål och legeringar, kan också nyttja detta genom att lättare hålla ordning på sina produkter. I detta examensarbete skapades ett system för att finna stålbalkar som anländer till en specifik plats under produktion, för att sedan kunna läsa av deras stansmärken. Systemet har även ett enklare grafiskt användargränssnitt för att programmet lättare ska kunna användas av personal på anläggningen. Siffrorna som läses av kommer att sparas tillsammans med tiden de lästes, detta kan hjälpa Alleima spåra och korrigera eventuella fel som kan uppståt under produktionen. Flertalet steg utvecklades för att läsa dessa stansmärket: 1) mallmatchning för att hitta och segmentera järnbalken och hållaren, 2) SAD (Summan av absoluta skillnader) användes för att hitta en bildruta för varje järnbalk, 3) Canny filtrering användes tillsammans med Hough transformen for att segmentera kortsidan på järnbalken, 4) en YOLO objektidentifiering modell tränades för att hitta stansmärkesområdet, 5) dessa områden roterades korrekt med hjälp av två olika rotationssystem, 6) siffrorna läses av en OCR modell (Optisk igenkänningsmodell) för att identifiera siffrorna. För att evaluera systemet testades detta system på olika MP4 filer. Sju olika videor bearbetades. Alla 272 järnbalkar hittades, dess stansmärkesnummer (eller avsaknaden av sådana) kunde korrekt identifieras i totalt 92.5 % av fallen.