SIT Learning wird Constructor LearningMehr dazu

Nach unserer Gründung als Propulsion Academy im Jahr 2016 und der Übernahme durch SIT im letzten Jahr, begrüssen wir heute unseren neuen Markennamen: Constructor Learning. Constructor Learning ist Teil der Constructor Group, die ursprünglich den Namen Schaffhausen Institute of Technology (SIT) trug. Die Organisation wurde 2019 von Dr. Serg Bell gegründet, einem langjährigen Unternehmer und Investor im Bereich Technologie und Bildung. Das Ökosystem, das sich der Schaffung von Wissen durch Wissenschaft, Bildung und Technologie verschrieben hat, kombiniert ein umfassendes Bildungsangebot, das den gesamten Lebenszyklus des Lernens abdeckt, von der Grundschule bis hin zu einer privaten Universität und Führungskursen, Forschungskapazitäten der nächsten Generation und kommerziellen Aktivitäten für technologische Innovationen. SIT mit Hauptsitz in Schaffhausen ist seit der Gründung durch organisches Wachstum und Übernahmen rasch gewachsen. Da es sich zu einer globalen Organisation mit einer Präsenz in mehr als 15 Ländern und einem weltweiten Netzwerk von Forschern, Professoren, Investoren, Kunden und Alumni entwickelt hat, musste die Marke neu überdacht werden, um diese Expansion besser widerzuspiegeln und das gesamte Ökosystem unter einem Namen zu vereinen: Constructor.

Mitteilung schliessen
Bildsegmentierung für Globus

Mit dem Einsatz von KI zur automatischen Vorhersage von Merkmalen aus Produktbildern

Mit dem Einsatz von KI zur automatischen Vorhersage von Merkmalen aus Produktbildern

Projekt von: Valeria Polozun, Seth Dow
Valeria Polozun Seth Dow
Valeria Polozun Seth Dow
 

Einführung

Globus ist ein Modeeinzelhändler, der neben seinen Filialen (wie dem Flagship-Store an der Zürcher Bahnhofstrasse) auch Modeprodukte über seinen Online-Shop verkauft. 
 
Der Online-Shop verfügt über Tausende von Bildern, die die Produkte in der Modeabteilung zusammen mit ihren Beschreibungen darstellen. Vor der Durchführung dieses Projekts wurde die Klassifizierung dieser Bilder nach ihrem Platz in der Warenhierarchie von Globus (z.B. Herren -> Jacken -> echtes Leder) und die Beschreibung ihrer Eigenschaften (z.B. Farbe, Material, etc.) zu einem grossen Teil durch manuelle Arbeit erledigt. Das Ziel dieses Projektes war es, mit Hilfe von Bilderkennung diesen Prozess so weit wie möglich zu automatisieren. Zu diesem Zweck wurden verschiedene Architekturen neuronaler Netze untersucht und abgestimmt. Ein weiteres Ziel war es, herauszufinden, welche Produktkategorien (z.B. Damen- und Herrenbekleidung, Portemonnaies, Schuhe, ...) sich am besten für die Vorhersage von Merkmalen eignen. Dies hing sowohl von einem richtig konzipierten und trainierten Modell als auch von der Qualität und Quantität der entsprechenden Eingabedaten für diese Kategorien ab.
 

Projektdetails

Dieses Projekt war die zweite Iteration eines solchen Bildklassifizierers. Das zuvor von Studenten der SIT Academy entwickelte Modell verwendete eine ResNet-50-Architektur, um ein neuronales Netz mit zwei Ausgängen zu erzeugen. Ein Ausgangszweig sagte die Warenhierarchie eines gegebenen Eingangsbildes voraus und der andere die Wahrscheinlichkeitsverteilung dieses Bildes über alle Produktmerkmale. Das Modell wurde mit einem Datensatz von mehr als 35'000 Bildern trainiert, die von einem von Globus bereitgestellten API-Endpunkt im JSON-Format heruntergeladen wurden. Die JSON-Dateien enthielten sowohl Informationen über die Warenhierarchie als auch über die Produktmerkmale. Im aktuellen Projekt versuchten unsere Studenten, die Genauigkeit des zweiten Ausgabezweigs zu verbessern, mit dem Ziel, die Produktmerkmale vorherzusagen.
 
Der erste Meilenstein, der erreicht wurde, war das Trainieren eines neuronalen Netzwerkmodells unter Verwendung der Produktkategorie (mit der grössten Datenmenge) mit einer Ausgabe und dem Versuch, die Vorhersage der Produktmerkmale so gut wie möglich zu maximieren. Die Ausgabe des Modells wurde auf die Merkmale beschränkt, die für die gewählte Produktkategorie relevant sind. Dieses Modell mit eingeschränktem Output diente als Benchmark.
 
Der zweite Schritt war die Untersuchung eines Modells, das auf mehrere Produktkategorien trainiert wurde und dessen Output nicht eingeschränkt war. Dies bedeutete, dass die Vorhersage der Output-Merkmale über alle möglichen Produktidentifikationen in den Eingabedaten erfolgen würde. Ziel war es, zu überprüfen, ob ein solches Modell mit unbeschränktem Output genaue Produktmerkmale erzeugen kann, die zudem konsistent sind. Konsistenz bedeutet in diesem Zusammenhang, dass Merkmale, die nicht zu dieser Produktkategorie gehören, mit einer Wahrscheinlichkeit von nahezu Null vorhergesagt werden sollten (z.B. sollte eine Herrenjacke keine Merkmale für eine Damenhandtasche aufweisen). Das unconstrained-output Modell (mit unbeschränktem Output) wurde mit dem Benchmark verglichen, um eine Empfehlung abzugeben, ob mehrere constrained-output Modelle (mit eingeschränkten Output), z.B. ein Modell pro Produktkategorie, oder ein einziges unconstrained-output Modell, z.B. ein Modell für alle Produktkategorien, der richtige Weg sind.
 
Als Nächstes wurde ein Post-Processing-Schritt untersucht, bei dem die vorhergesagten Wahrscheinlichkeiten auf Konsistenz geprüft wurden. In einem letzten Schritt wurde untersucht, ob die Verwendung der Warenhierarchie für jedes Bild als Eingabe zusätzlich zum eigentlichen Produktbild zu besseren und konsistenteren Vorhersagen der Merkmale in den eingeschränkten und nicht eingeschränkten Modellen führte.
 

Resultat

Die Ergebnisse umfassten eine detaillierte Dokumentation aller Schritte der Datenvorverarbeitung und aller Modellversionen, die für jeden Projektschritt getestet wurden. Abschliessende Empfehlungen, wie man mit einem trainierten Modell vollständige Merkmalsvorhersagen erreichen kann, wurden ebenfalls gegeben. Abschliessend lässt sich sagen, dass eine sehr hohe Vorhersagerate erreicht wurde. Mit dem Modell unserer Studenten wurden 9 von 10 Merkmale eines Objekts entsprechend empfohlen, was ein hervorragendes Ergebnis ist. Immerhin gibt es alleine 72 verschiedene Weisstöne, die natürlich nicht alle im Trainingsprozess vorkommen konnten.​​​​​​
Student

Student

Valeria Polozun sagt:

Ich habe die Zusammenarbeit mit Globus sehr geschätzt, da es sowohl ein inspirierendes, reales Projekt war als auch die direkte Entwicklung modernster Technologie in der Praxis - vom Klassenzimmer der SIT Academy in die Industrie.

Möchtest du mehr über die finalen Studenten-Projekte erfahren? Dann finde hier weitere spannende Full-Stack und Data Science Projekte.

Mehr Infos
Project work