TRELLIS: ระบบสร้างโมเดล 3D ขนาดใหญ่TRELLIS: A Large-Scale 3D Model Generation System
TRELLIS เป็นโมเดลการสร้าง 3D ที่รองรับข้อความและรูปภาพเพื่อสร้างโมเดล 3D คุณภาพสูง
TRELLIS is a 3D generation model that accepts text and images to generate high-quality 3D models.
ไว้ทำอะไร
TRELLIS ถูกออกแบบมาเพื่อแก้ปัญหาความยืดหยุ่นและคุณภาพในการสร้างโมเดล 3D โดยสามารถรับอินพุตเป็นข้อความหรือภาพและสร้าง 3D ในหลาย ๆ รูปแบบ เช่น Radiance Fields, 3D Gaussians และ meshes ด้วยการใช้ SLAT (Structured LATent) representation ซึ่งช่วยให้การถอดรหัสเป็นหลายรูปแบบ 3D สามารถทำได้ง่ายและมีประสิทธิภาพ
ทำงานอย่างไร
TRELLIS ใช้ Rectified Flow Transformers ที่ได้ปรับให้เหมาะสมกับ SLAT ภายใน `app.py` โค้ดจะมีโครงสร้างการแปลงภาพเป็นโมเดล 3D โดยทำผ่านขั้นตอนการเตรียมภาพ การสุ่มค่า seed การบรรจุและส่งกลับข้อมูล Gaussian และ mesh โครงสร้างที่ได้จะถูกแปลงและใช้ประโยชน์จากการเรนเดอร์เพื่อสร้างสื่อที่แสดงให้ผู้ใช้ได้เห็น
ภายใน `trellis` โมดูลต่าง ๆ เช่น `pipelines`, `representations`, และ `renderers` ทำงานร่วมกันเพื่อประมวลผลอินพุตจากผู้ใช้และทำ Transforms ต่อ Gaussian และ meshes ซึ่งตอบสนองต่ออินพุตโดยพื้นฐาน
โครงสร้างโค้ด
- .github/workflows — ไฟล์ของ workflow CI/CD
- app.py — แอปพลิเคชัน Web demo ด้วย Gradio
- configs/vae — การกำหนดค่าการฝึก VAE
- dataset_toolkits — เครื่องมือสำหรับเตรียมข้อมูล
- trellis/models — การกำหนดค่าของโมเดลต่าง ๆ
- train.py — สคริปต์สำหรับเริ่มการฝึกโมเดล
เริ่มใช้งาน
# Clone the repo
git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS
# Install dependencies
. ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
# Run minimal example
python example.pyเหมาะกับงานแบบไหน
- การสร้างโมเดล 3D จากข้อความและภาพ
- การสร้างสื่อ 3D สำหรับเกมหรือภาพยนตร์
- การพัฒนาโมเดลสำหรับความเป็นจริงเสมือนหรือ AR
ข้อควรรู้
- โค้ดยังไม่ถูกทดลองบนระบบ Windows
- ต้องมี NVIDIA GPU อย่างน้อย 16GB
- ใบอนุญาตการใช้งานคือ MIT
What it is for
TRELLIS aims to tackle the challenge of flexibility and quality in generating 3D models by accepting text or image inputs and producing various 3D formats such as Radiance Fields, 3D Gaussians, and meshes. It features a Structured LATent (SLAT) representation for easy and efficient decoding into different 3D formats.
How it works
TRELLIS utilizes Rectified Flow Transformers tailored for SLAT. Within `app.py`, the flow involves converting images to 3D models through image preprocessing, seed handling, packing, and unpacking of Gaussian and mesh data. These structures are then rendered into visual formats using a streamlined pipeline.
Modules within `trellis` like `pipelines`, `representations`, and `renderers` collectively process user inputs, and perform transformations on the Gaussians and meshes, which are essentially responsive to the input data.
Code structure
- .github/workflows — CI/CD workflow files
- app.py — Gradio Web demo application
- configs/vae — VAE training configuration
- dataset_toolkits — Tools for data preparation
- trellis/models — Definitions of various models
- train.py — Script to start model training
Getting started
# Clone the repo
git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS
# Install dependencies
. ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
# Run minimal example
python example.pyGood fit for
- Generating 3D models from text and images
- Creating 3D assets for games or films
- Developing models for VR or AR experiences
Things to know
- The code is not yet tested on Windows systems
- Requires an NVIDIA GPU with at least 16GB
- Licensed under MIT
บทวิเคราะห์นี้สร้างจาก README และโค้ดของ repo โดย AI ของ Oneable — ตรวจสอบ license และเอกสารต้นทางก่อนนำไปใช้งานจริงThis breakdown was generated from the repository's README and code by Oneable's AI — check the license and upstream docs before using it in production.