Кубическая песочница Minecraft предоставляет множество возможностей для самовыражения. Автор YouTube-канала sammyuri решил собрать небольшую языковую модель.
Параметры его «маленькой» модели CraftGPT 1020 х 260 х 1656 блоков. Он уточнил, что из-за таких размеров для съёмок был вынужден использовать мод Distant Horizons, поэтому некоторые компоненты могут выглядеть странновато (редстоун отображается с более низким уровнем детализации).
Для обучения модели sammyuri воспользовался Python, был взят набор данных «TinyChat», который содержит «базовые разговоры на английском языке».
Модель «имеет словарный запас 1920 токенов и состоит из 6 слоев. Размер контекстного окна составляет 64 токена, чего достаточно для (очень) коротких разговоров».