') + ')', 'gi'); if (regex.test(text)) { found = true; var frag = document.createDocumentFragment(); var parts = text.split(regex); parts.forEach(function(part, i) { if (i % 2 === 0) { frag.appendChild(document.createTextNode(part)); } else { var span = document.createElement('span'); span.className = 'userscript-highlight'; span.textContent = part; frag.appendChild(span); } }); node.parentNode.replaceChild(frag, node); } }); } else if (node.nodeType === 1 && node.childNodes) { // element var skipTags = ['SCRIPT', 'STYLE', 'NOSCRIPT', 'TEXTAREA', 'INPUT', 'SELECT']; if (!skipTags.includes(node.tagName)) { Array.from(node.childNodes).forEach(highlight); } } } highlight(document.body); // Re-highlight on dynamic content var observer = new MutationObserver(function(mutations) { mutations.forEach(function(m) { m.addedNodes.forEach(function(node) { if (node.nodeType === 1 || node.nodeType === 3) highlight(node); }); }); }); observer.observe(document.body, { childList: true, subtree: true }); })(); } } catch(__e) { console.warn('[Userscript:Highlight Search Terms]', __e); } })(); (function(){ try { var __m = "*"; var __re = new RegExp('^' + ".*" + ', 'i'); if (__m === '*' || __re.test(location.href)) { // Strip utm_, fbclid, gclid, etc. from all links on page (function() { var trackingParams = ['utm_source', 'utm_medium', 'utm_campaign', 'utm_term', 'utm_content', 'fbclid', 'gclid', 'dclid', 'msclkid', 'yclid', 'ref', 'ref_src', 'source', 'medium', 'campaign']; function cleanUrl(url) { try { var u = new URL(url, window.location.origin); var changed = false; trackingParams.forEach(function(p) { if (u.searchParams.has(p)) { u.searchParams.delete(p); changed = true; } }); return changed ? u.toString() : url; } catch (e) { return url; } } function cleanLinks() { document.querySelectorAll('a[href]').forEach(function(a) { var clean = cleanUrl(a.href); if (clean !== a.href) a.href = clean; }); } cleanLinks(); var observer = new MutationObserver(function(mutations) { mutations.forEach(function(m) { m.addedNodes.forEach(function(node) { if (node.nodeType === 1) { if (node.tagName === 'A') cleanLinks(); node.querySelectorAll('a[href]').forEach(function(a) { var clean = cleanUrl(a.href); if (clean !== a.href) a.href = clean; }); } }); }); }); observer.observe(document.body, { childList: true, subtree: true }); })(); } } catch(__e) { console.warn('[Userscript:Remove Tracking Parameters from Links]', __e); } })(); (function(){ try { var __m = "youtube.com"; var __re = new RegExp('^' + "youtube\\.com" + ', 'i'); if (__m === '*' || __re.test(location.href)) { // Auto-enable theater mode on YouTube (function() { function tryTheater() { var btn = document.querySelector('button[aria-label="Theater mode"], ytd-player #player button[title="Theater mode"]'); if (btn && !btn.classList.contains('activated')) { btn.click(); } } // Try immediately tryTheater(); // Try after navigation (SPA) var lastUrl = location.href; setInterval(function() { if (location.href !== lastUrl) { lastUrl = location.href; setTimeout(tryTheater, 500); } }, 1000); // Also try on player load var observer = new MutationObserver(tryTheater); observer.observe(document.body, { childList: true, subtree: true }); })(); } } catch(__e) { console.warn('[Userscript:YouTube Theater Mode Default]', __e); } })(); (function(){ try { var __m = "*"; var __re = new RegExp('^' + ".*" + ', 'i'); if (__m === '*' || __re.test(location.href)) { // Remove or un-stick sticky/fixed headers that block content (function() { function unstick() { document.querySelectorAll('header, nav, [role="banner"], .header, .navbar, .sticky, .fixed-top, [style*="position: fixed"], [style*="position:sticky"]').forEach(function(el) { if (el.style.position === 'fixed' || el.style.position === 'sticky' || getComputedStyle(el).position === 'fixed' || getComputedStyle(el).position === 'sticky') { el.style.position = 'static'; el.style.top = 'auto'; el.style.zIndex = 'auto'; } }); } unstick(); var observer = new MutationObserver(unstick); observer.observe(document.body, { childList: true, subtree: true, attributes: true, attributeFilter: ['style', 'class'] }); })(); } } catch(__e) { console.warn('[Userscript:Kill Sticky Headers]', __e); } })(); })(); [外滩大会2026] Luanti Builder — 自然语言 AI 生成 3D 沙盒建筑 · Issue #130 · modelstudioai/modelstudioai.github.io · GitHub
Skip to content

[外滩大会2026] Luanti Builder — 自然语言 AI 生成 3D 沙盒建筑 #130

Closed
Closed
[外滩大会2026] Luanti Builder — 自然语言 AI 生成 3D 沙盒建筑#130
Labels
showcased已收录上线外滩大会2026外滩大会 2026 参赛作品

Description

@cpufreestyle
cpufreestyle
opened on Aug 9, 2026

参赛项目名称

Luanti Builder — 自然语言 AI 生成 3D 沙盒建筑

团队 / 作者

  • GitHub: cpufreestyle (MichaelQiu)
  • 个人开发者

我做了什么

使用 阿里百炼 CLI + 百炼大模型能力，从零搭建了一套「自然语言 → 3D 沙盒游戏建筑」的完整生产链路：

  1. 部署开源 3D 沙盒游戏 Luanti（Minetest） 到本机
  2. 开发跨平台 GUI 工具 luanti_builder_web.py（纯 Python 标准库，零依赖）
    • 输入中文/英文描述 → 自动解析 → 生成 Lua 建筑代码 → 一键安装进游戏
    • 3D 等距实时预览（WebGPU Canvas，拖拽旋转 + 缩放）
    • AI 大模型双模式：① 19 种模板建筑（离线秒出）② 接入百炼大模型生成任意复杂建筑（城堡/金字塔/埃菲尔铁塔/宫殿…）
  3. 开发完整游戏 Mod my_first_mod + nl_builder
    • 饥饿系统、自定义生物、乐高方块、乐高上海城市
    • AI 建筑支持 20 种形状命令（box/cyl/cone/sphere/dome/ring/arch/taper…）
  4. 制作 173 张贴图的乐高纹理包
  5. 解决多个工程难题（见踩坑记录）

使用的工具

  • OpenWork / 百炼 CLI: 阿里百炼 Agent 编程工具
  • 百炼能力 / 模型：通义千问 Qwen（DashScope 百炼平台）
  • Skill 名称：百炼生成类 Skill、调研类 Skill
  • 其他：Python、Lua、Canvas WebGPU、Git

效果展示

Builder 生成器界面

Builder 界面

功能效果
🏗️ 自然语言建建筑输入"建一个红色城堡" → 百炼大模型生成 Lua → 游戏内 /build 生成
🤖 AI 复杂建筑输入"埃菲尔铁塔/比萨斜塔/宫殿" → 通义千问生成 1400+ 方块
🎨 3D 实时预览WebGPU 等距预览，拖拽旋转缩放，先看效果再进游戏
🌈 乐高风格173 张贴图乐高纹理包，12 色积木方块
🏙️ 乐高上海/shanghai 一键生成东方明珠/金茂/外滩
🦸 无敌模式飞行+穿墙+满血，自由探索

Demo 视频

📺 B站视频: https://www.bilibili.com/video/BV1SXum6yEyL/

项目链接

踩坑记录

  1. Luanti 数据路径坑：改名 "Luanti" 后仍用旧路径 ~/Library/Application Support/minetest/（非 luanti/），gameid 是 minetest 而非 minetest_game —— 导致找不到游戏/世界。
  2. Lua API 兼容坑：player:set_fog() 在 5.16 已移除；set_hp() 不支持 type="starve"，否则疯狂刷 Bad type given!。
  3. 实体残留在存档：删除实体类型后，旧世界仍引用会导致崩溃 —— 需注册一个 on_activate=self.object:remove() 的占位实体自动清理。
  4. 像素字上下颠倒：Lua 的 Y 轴向上，像素图要用 (lh-row) 而非 (row-1)。
  5. 建筑罩住玩家：/build 若在玩家坐标生成会把人埋进墙里 —— 改为用 get_look_dir() 生成在玩家前方 15 格。
  6. macOS Caps Lock bug：Luanti 聊天框默认大写，导致 /BUILD 无法执行 —— 在 mod 中 register_on_chatcommand 做大小写不敏感转发。
  7. 服务进程被杀：后台常驻的 Web 服务会被系统回收 —— 用 nohup 保持常驻。

Metadata

Metadata

Assignees

No one assigned

    Labels

    showcased已收录上线外滩大会2026外滩大会 2026 参赛作品

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions