DynaWeek #6
Hackathon-Woche 2023
Die DynaWeek
Watts UP
Die ganze Story
Die Idee entwickelte sich aus dem Bedarf nach einem effizienten Werkzeug zur Planung von Solardachanlagen. Bestehende Lösungen in diesem Feld waren oft nicht nur teuer, sondern verfügten auch nicht über die gewünschte Funktionalität. Motivation der Team-Mitgliedern war es zudem, dem Engagement für Green Tech treu zu bleiben.
Es entstand ein Open Source Werkzeug zur Planung von Solardachanlagen durch die Analyse von Schattenverläufen auf dem eigenen Grundstück. Dadurch können geeignete Positionen für Solarpaneele identifiziert werden. Zusätzlich wird ein 3D-Modell des Grundstücks angezeigt und einzelne Dächer können markiert werden. Dies ermöglicht es, eine detaillierte Solarplanung für jedes einzelne Dach zu starten, um effiziente Solaranlagen installieren zu können.
Technologien
Tätigkeiten
Your Story
Die ganze Story
Neugierde wurde geweckt, als die Frage aufkam, wie weit die kreativen Fähigkeiten von ChatGPT in einem interaktiven Erlebnis genutzt werden könnten. Die Entwicklung einer Geschichte in einem Browser-Game, in dem der Spieler durch Entscheidungen die Handlung steuert, bot sich als faszinierende Möglichkeit an, die Grenzen von ChatGPT zu erkunden und gleichzeitig ein unterhaltsames Spielerlebnis zu bieten.
In diesem Projekt wurde ein packendes Browser-Game erschaffen, in dem die Spieler mit Hilfe von ChatGPT eine einzigartige Geschichte formen. Auf der Grundlage einer stichpunktartigen Charakterbeschreibung treffen die Spieler nach jedem Kapitel Entscheidungen, die den Verlauf beeinflussen. Das System generiert dabei nicht nur den Fortgang der Handlung, sondern auch ein Avatarbild des Charakters sowie szenische Hintergrund- und Handlungsbilder. Das Ergebnis ist ein interaktives Erlebnis, das Forschungen im Bereich ChatGPT und Prompt Engineering nutzt.
Technologien
Tätigkeiten
ChEK UR DEFENSE
Die ganze Story
Die Leidenschaft für Gamedesign & Entwicklung legt den Grundstein für das Projekt 'ChEK UR DEFENSE'. In diesem Projekt wurde ein kleines Tower Defense Spiel entwickelt, angelehnt an das bekannte Spiel 'Plants vs. Zombies'. Das Ziel des Spielers ist es, durch kluge Platzierung von Türmen die nahenden Gegnerhorden vor dem Erreichen der 'Zielzone' zu hindern. Das durchdachte Generieren und Ausgeben von Gold als zentrale Ressource ist dabei ein Kernelement des Spiels und entscheidet über Sieg oder Niederlage. Innerhalb mehrerer Level kann der Spieler Türme platzieren, die entweder direkten Schaden an Gegnern verursachen, den Gegner verlangsamen oder direkt Gold generieren, aber dafür keinen Schaden verursachen.
Die Entwicklung von 'ChEK UR DEFENSE' ermöglichte es den Beteiligten, vielfältige und tiefgreifende Einblicke in die verschiedenen Bereiche der Spielentwicklung zu erlangen, von der Gestaltung ansprechender skalierbarer Vektorgrafiken und Animationen bis hin zur Entwicklung fortschrittlicher Kollisionserkennungsmethoden. Die spannende Herausforderung, sich mit einer ungewohnten Programmiersprache auseinanderzusetzen und neue Technologien zu erlernen machten das Spiel zur einer willkommenen Herausforderung.
Technologien
Tätigkeiten
pixel poet
Die ganze Story
- Kann man mittels Large Language Model (LLM) eine Online-Shop Bildsuche realisieren, die zuverlässig gute Produktergebnisse liefert?
- Kann man mittels LLM die Artikelbeschreibungen anhand von Produktbilder anreichern?
- Ist die Suche performant genug?
- Mit welchen Kosten muss man rechnen?
Wir haben 4 verschiedene Models untersucht. Dabei kamen wir zu folgenden Ergebnissen:
OpenCLIP image-to-text
- Länge der Bild-Beschreibung reicht nicht aus, um zielgenaue Ergebnisse zu erzielen
- Bild-Beschreibung enthält zu wenige Details
- Gut für image-captions oder alt-Texte
- Nicht geeignet für bildbasierte Suche
OpenCLIP image-to-image
- Sehr schnell (millisekunden?)
- Nicht geeignet für bildbasierte Suche
OpenAI Vision
- Sehr langsam (> 10s)
- Qualität erstaunlich gut und konsistent
- Liefert auch guten JSON-Output
- Kann keine bounding-boxen =/
Qwen-VL (Alibaba)
- Response-Zeiten langsam: ~ 3-8 Sekunden
- Beschreibungen variieren sehr
- Teilweise detailreich - ab und zu chinesische Zeichen in der Beschreibung
- Teilweise sehr kurz und unbrauchbar.
- Bspw: “black boots on white background”
- Gute Ergebnisse für bounding-boxen
- JSON output möglich, aber nicht konsistent (genug?)
clip-ViT-B-32
- Beste Bild zu Bild Suche außerhalb von OpenAi Vision
- Wenig Tokens für Text zu Bild Suche
- Gute Performance