Game Learning
.png "\"Vier Gewinnt\" Spielfeld. Rot ist am Zug, ist unter Zugzwang und verliert. Die Zahlen geben Zustände der sogenannten \"N-tuple\" an.")
(siehe auch: GBG: General Board Games in CIOP und Neue Themenangebote im Bereich Game Learning)
Bei Spielen interessieren mich besonders strategische Aspekte und weiterhin, ob ein Computer erfolgreich lernen kann, ein Spiel zu spielen. D. h. ob er (ohne explizites Programm oder erschöpfende Baumsuche) allein aus Spielen gegen sich selbst eigenständig die richtigen Strategien erlernen kann.
In unserer Arbeitsgruppe befassen wir uns intensiv mit dem Spiel „Vier Gewinnt“ („Connect-4“). Wir haben einen Connect-4-Agenten entwickelt, der allein durch Self-Play das Spiel Vier Gewinnt nahezu perfekt erlernt. Unser Java-basiertes Connect-4 Game Playing Framework (C4GPF) steht nun für interessierte Forscher als Open-Source Projekt auf GitHub zur Verfügung. Mehr…
Das langfristige Ziel ist es, die Erkenntnisse zu Game-Learning-Strategien auch auf andere Spiele (2048, Dots-and-Boxes, Go, Schach, Dame, Abalone, Sim …) zu übertragen.Das zugehörige Forschungsfeld heißt General Game Playing (GGP) und hat zum Ziel, Agenten zu entwickeln, die verschiedenste Spiele erlernen können.
Weiterhin werden im WPF Spiele + Simulation die Grundlagen zu Simulation und Game Physics, der realistischen Kinematik und Dynamik in Spielwelten, vermittelt.
Projektbeteiligte
 | Samineh Bagheri, M. Sc., TH Köln |  | Markus Thill, M.Sc., TH Köln |
 | Dr. Patrick Koch, TH Köln |  | Prof. Dr. Wolfgang Konen, TH Köln |
Publikationen ‚Spiele‘
| 1. | : General Board Game Playing for Education and Research in Generic AI Game Learning. In: Perez, Diego; Mostaghim, Sanaz; Lucas, Simon (Hrsg.): IEEE Conference on Games, London, 2019. |
| 2. | : SACOBRA with Online Whitening for Solving Optimization Problems with High Conditioning. arXiv preprint arXiv:1904.08397 2019. |
| 3. | : Solving Optimization Problems with High Conditioning by Means of Online Whitening. In: Lopez-Ibanez, Manuel (Hrsg.): Genetic and Evolutionary Computation Conference 2019 (GECCO'19), Prague, S. 243-244, ACM, 2019. |
| 4. | : How to Solve the Dilemma of Margin-Based Equality Constraint Handling Methods. In: at-Automatisierungstechnik, submitted , 2019. |
| 5. | : Deep Learning mit Keras und Tensorflow. Vortrag auf DEBRL2019 (Digital Exchange Bergisches Rheinland 2019), 2019. |
| 6. | : The GBG Class Interface Tutorial V2.0: General Board Game Playing and Learning. Research Center CIOP (Computational Intelligence, Optimization and Data Mining) 2019. |
| 7. | : Implementierung und Untersuchung eines Turniersystems für KI-Agenten in Brettspielen. TH Köln -- University of Applied Sciences, 2019, (Master thesis). |
| 8. | : How to Solve the Dilemma of Margin-Based Equality Handling Methods. In: Hoffmann, Frank; Hüllermeier, Eyke; Mikut, Ralf (Hrsg.): Proceedings - 28. Workshop Computational Intelligence, Dortmund, 29. - 30. November 2018, S. 257-270, KIT Scientific Publishing, Karlsruhe, 2018, ISBN: 978-3-7315-0845-8, (**Young Author Award**). |
| 9. | : Online Adaptable Time Series Anomaly Detection with Discrete Wavelet Transforms and Multivariate Gaussian Distributions. Research Center CIOP (Computational Intelligence, Optimization and Data Mining) TH Köln - University of Applied Science, 2018, (submitted to Archives of Data Sciences, Series A (ECDA'2018), preprint available at http://www.gm.fh-koeln.de/ciopwebpub/Thill18a.d/AoDS2018.pdf). |
| 10. | : The TDMR 2.0 Package: Tuned Data Mining in R. Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Science, Faculty of Computer Science and Engineering Science, (02/2018), 2018, (Last update: April 2018 (original version: 2012)). |
| 11. | : The TDMR 2.0 Tutorial: Examples for Tuned Data Mining in R. Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Science, Faculty of Computer Science and Engineering Science, (03/2018), 2018, (Last update: April 2018 (original version: 2012)). |
| 12. | : Comparing Kriging and Radial Basis Function Surrogates. In: Hoffmann, Frank; Hüllermeier, Eyke (Hrsg.): Proceedings 27. Workshop Computational Intelligence, S. 243-259, Universitätsverlag Karlsruhe, 2017. |
| 13. | : Anomaly Detection in Time Series with Discrete Wavelet Transforms and Maximum Likelihood Estimation. In: Hoffmann, Frank; Hüllermeier, Eyke (Hrsg.): Proceedings 27. Workshop Computational Intelligence, S. 67-71, Universitätsverlag Karlsruhe, 2017. |
| 14. | : KI-Agenten fur das Spiel 2048: Untersuchung von Lernalgorithmen für nichtdeterministische Spiele. TH Köln -- University of Applied Sciences, 2017, (Bachelor thesis). |
| 15. | : Selbstlernende Agenten für das skalierbare Spiel Hex: Untersuchung verschiedener KI-Verfahren im GBG-Framework. TH Köln -- University of Applied Sciences, 2017, (Bachelor thesis). |
| 16. | : Time Series Anomaly Detection with Discrete Wavelet Transforms and Maximum Likelihood Estimation. In: Valenzuela, Olga; Rojas, Ignacio; others, (Hrsg.): International Work-Conference on Time Series (ITISE2017), 2017. |
| 17. | : Constraint Handling in Efficient Global Optimization. In: Bosman, Peter A N (Hrsg.): Genetic and Evolutionary Computation Conference 2017 (GECCO'17), Berlin, S. 1, ACM, 2017. |
| 18. | : The GBG Class Interface Tutorial: General Board Game Playing and Learning. Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Science, 2017, (e-print published at http://www.gm.fh-koeln.de/ciopwebpub/Kone17a.d/TR-GBG.pdf). |
| 19. | : Identifizierung von Anomalien in Zeitreihen mit Deep Autoencodern. TH Köln -- University of Applied Sciences, 2017, (Bachelor thesis). |
| 20. | : Self-adjusting parameter control for surrogate-assisted constrained optimization under limited budgets. In: Applied Soft Computing, 61 , S. 377-393, 2017, ISSN: 1568-4946. |
2019 |
General Board Game Playing for Education and Research in Generic AI Game Learning Konferenzbeitrag Perez, Diego; Mostaghim, Sanaz; Lucas, Simon (Hrsg.): IEEE Conference on Games, London, 2019. |
The GBG Class Interface Tutorial V2.0: General Board Game Playing and Learning Forschungsbericht Research Center CIOP (Computational Intelligence, Optimization and Data Mining) 2019. |
Implementierung und Untersuchung eines Turniersystems für KI-Agenten in Brettspielen Abschlussarbeit TH Köln -- University of Applied Sciences, 2019, (Master thesis). |
2017 |
KI-Agenten fur das Spiel 2048: Untersuchung von Lernalgorithmen für nichtdeterministische Spiele Abschlussarbeit TH Köln -- University of Applied Sciences, 2017, (Bachelor thesis). |
Selbstlernende Agenten für das skalierbare Spiel Hex: Untersuchung verschiedener KI-Verfahren im GBG-Framework Abschlussarbeit TH Köln -- University of Applied Sciences, 2017, (Bachelor thesis). |
The GBG Class Interface Tutorial: General Board Game Playing and Learning Forschungsbericht Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Science, 2017, (e-print published at http://www.gm.fh-koeln.de/ciopwebpub/Kone17a.d/TR-GBG.pdf). |
2016 |
Online Adaptable Learning Rates for the Game Connect-4 Artikel IEEE Transactions on Computational Intelligence and AI in Games, 8 (1), S. 33-42, 2016, (accepted 11/2014). |
2015 |
Reinforcement Learning for Board Games: The Temporal Difference Algorithm Forschungsbericht Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Sciences, 2015. |
Reinforcement Learning für Brettspiele: Der Temporal Difference Algorithmus Forschungsbericht Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Science, 2015, (Updated version 2015). |
2014 |
Connect-4 Game Playing Framework (C4GPF) Sonstige 2014. |
Adaptation in Nonlinear Learning Models for Nonstationary Tasks Konferenzbeitrag Bartz-Beielstein, T; Filipic, B (Hrsg.): PPSN'2014: 13th International Conference on Parallel Problem Solving From Nature, Ljubljana, S. 292–301, Springer, Heidelberg, 2014. |
Online Adaptable Learning Rates for the Game Connect-4 Forschungsbericht CIplus (TR 03/2014), 2014, (Preprint version of the article in IEEE Transactions on Computational Intelligence and AI in Games, 2016). |
Temporal Difference Learning with Eligibility Traces for the Game Connect-4 Konferenzbeitrag Preuss, Mike ; Rudolph, Günther (Hrsg.): CIG'2014, International Conference on Computational Intelligence in Games, Dortmund, S. 84 – 91, 2014. |
2012 |
Reinforcement learning with n-tuples on the game Connect-4 Konferenzbeitrag Coello Coello, Carlos ; Cutello, Vincenzo ; others, (Hrsg.): PPSN'2012: 12th International Conference on Parallel Problem Solving From Nature, Taormina, S. 184–194, Springer, Heidelberg, 2012. |
Reinforcement Learning mit N-Tupel-Systemen für Vier Gewinnt Abschlussarbeit TH Köln -- University of Applied Sciences, 2012, (Bachelor thesis, 1st prize in Opitz award 2013, Festo award 2012, Ferchau award 2012). |
2011 |
Self-configuration from a Machine-Learning Perspective Forschungsbericht Research Center CIOP (Computational Intelligence, Optimization and Data Mining) Cologne University of Applied Science, Faculty of Computer Science and Engineering Science, (05/11; arXiv: 1105.1951), 2011, ISSN: 2191-365X, (e-print published at http://arxiv.org/abs/1105.1951 and Dagstuhl Preprint Archive, Workshop 11181 "Organic Computing -- Design of Self-Organizing Systems"). |
2009 |
Reinforcement learning for games: failures and successes -- CMA-ES and TDL in comparision Konferenzbeitrag GECCO '09: Proceedings of the 11th Annual Conference Companion on Genetic and Evolutionary Computation Conference, S. 2641–2648, ACM, Montreal, Québec, Canada, 2009. |
Evolutionsstrategien und Reinforcement Learning für strategische Brettspiele Forschungsbericht Cologne University of Applied Sciences 2009. |
2008 |
Reinforcement Learning: Insights from Interesting Failures in Parameter Selection Konferenzbeitrag Rudolph, Günter ; others, (Hrsg.): PPSN'2008: 10th International Conference on Parallel Problem Solving From Nature, Dortmund, S. 478–487, Springer, Berlin, 2008. |
Reinforcement Learning für Brettspiele: Der Temporal Difference Algorithmus Forschungsbericht Cologne University of Applied Sciences 2008. |
Reinforcement Learning für strategische Brettspiele Forschungsbericht Cologne University of Applied Sciences 2008. |
