Målet med denne arbeidspakken er å utvikle robuste 2D/3D maskinsynsystemer for kvalitetskontroll og gradering av fisk og fiskeprodukter. Fokuset her er utvalg av kamerateknologi, optimal belysning for å fremheve aktuelle karaktertrekk samt algoritmer for bildeprosessering og analyse. Karaktertrekk som det arbeides med er 2D og 3D form, farge, størrelse, defekter/skader, volum, vekt, overflatestruktur, og andre indre og ytre kvalitetskriterier.
I denne arbeidspakken har FoodScanner blitt utviklet. Dette er en prototyp på et maskinsynsystem som gjør multimodal avbildning av objekter med hensyn til 3D, lys-spredning, farge og polarisering - også med mulighet for avbildning i nær-UV og NIR. Med multimodal avbildning er man i stand til å avbilde flere av de egenskapene som det menneskelige øye og den menneskelige hjerne observerer når den kvalitetsgraderer fisk. I dette prosjektet har FoodScanner blitt benyttet til avbildning av hel sild, hel makrell med og uten skader, hel laks, laksefilet med mer.
Målet med denne arbeidspakken er å utvikle en optimal metodologi for integrasjon av sensor, data og robot anvendt på fisk. I samarbeid med SINTEF IKT er det blitt utviklet et helhetlig programvaresystem i LabVIEW som integrerer robotstyring av 6-akse høyhastighets Denso robot, avbildning ved bruk av SICK ColorRanger kamera i FoodScanner, samt databehandling av bildedata. I tillegg til dette er all informasjon integrert og visualisert i real-time i samme 3D-rom - noe som muliggjør optimalisering og visualisering av prosessen mens den holder på, eller simulering av prosessen i forkant eller etterkant.
Prosjektet har gjennomført integrasjonen av FoodScanner, Denso-robot, databehandling og 3D visualisering på SINTEF Imaging and Automation Lab, som er lokalisert hos SINTEF Fiskeri og havbruk AS i Trondheim. SINTEF Imaging and Automation Lab er tilknyttet ROBOTNOR Centre for Advanced Robotics - et samarbeidssenter mellom NTNU og SINTEF.
Målet med denne arbeidspakken er å utvikle optimale strategier for robotstyring anvendt på håndtering og prosessering av fisk. Dette innbefatter blant annet planlegging av bevegelsesbaner for robotarm og optimalisering med hensyn til hastighet og nøyaktighet.
Tidlig i prosjektet ble et oppsett for individbasert sortering av pelagisk fisk demonstrert, hvor pneumatiske aktuatorer ble benyttet med lovende resultater. Algoritmer og hovedprogram for størrelsessortering av sild og makrell ble utviklet og helhetlig system ble demonstrert for industrien.
Mot slutten av prosjektet, demonstrerte vi bruk av høyhastighetsrobot (Denso) med fleksibelt knivblad for trimming av laksefilet. Med tilstrekkelig optimalisering viste vi at fleksible og lette kniver kan gjennomføre forutsigbare kutt i laksefilet, selv uten detaljert modellering av kniven. Det ble demonstrert at Denso-roboten har tilstrekkelig hastighet til å gjøre gode kutt, selv uten sylskarp kniv. Videreutvikling av denne teknologien åpner mulighet for å erstatte finprosessering og -bearbeiding av filet og andre fiskeprodukter - arbeid som i dag gjøres manuelt med kniv.
I denne arbeidspakken er hovedmålet å utvikle nye konsepter for automatisert prosesskontroll basert på maskinsyn og robotikk. Fleksible automatiserte løsninger for kvalitetskontroll, gradering, håndtering og prosessering av fisk utvikles ved å kombinere roboter, 3D maskinsyn, og optimal verktøyteknologi.
Sammen med SINTEF Raufoss Manufacturing arbeider vi med automatisk fjerning av svarthinne fra torskefileter. FRPERC i Grimsby har fått i oppdrag i å vurdere egnede gripere. De har tidligere arbeidet med å videreutvikle en Bernoulligriper for å håndtere ikke-rigide materialer. Automatisert pakking av klippfisk er også et case som det arbeides med i denne arbeidspakken.
I samarbeid med både SINTEF IKT og SINTEF Raufoss Manufacturing AS, ble det mot slutten av prosjektet bygget og demonstrert ulike deler av et helhetlig automasjonskonsept - kalt "RoboTrim" - for fremtidens filetbearbeiding, som illustrert i bildene på denne siden. Demonstrasjon av dette konseptet viser at maskinsyn og robotikk i fremtiden vil kunne inngå i en mer helhetlig og dypere automatisering av dagens prosesseringslinjer - noe som innebærer å gå inn i dybden og erstatte også finprosessering og -bearbeiding - som i dag fortsatt gjøres manuelt, til tross for stor grad av automatisering ellers i fiskeforedlingsindustrien.
En video som beskriver "RoboTrim"-konseptet er lagt ut på YouTube her.
