Cách biến một bức ảnh thành khung cảnh 3D bằng công nghệ AI miễn phí từ Apple

Một người dùng đã biến ba bức ảnh thông thường thành các khung cảnh 3D có thể xoay chuyển trong một ứng dụng trình duyệt web, bằng cách sử dụng một mô hình AI miễn phí của Apple trên chiếc MacBook Air M5 của mình. Quá trình thiết lập mất khoảng 15 phút, và thời gian tạo ra kết quả thậm chí còn ngắn hơn. Đây là một thử nghiệm thú vị để trải nghiệm, dù hiện tại người dùng này vẫn chưa có nhu cầu ứng dụng công nghệ này vào thực tế.

SHARP là mô hình nghiên cứu mã nguồn mở của Apple, cho phép chuyển đổi một bức ảnh duy nhất thành khung cảnh 3D theo kỹ thuật "Gaussian splat". Thay vì sử dụng các cạnh sắc nét và đa giác như những mô hình 3D thông thường, kỹ thuật này xây dựng hình ảnh từ hàng triệu đốm màu nhỏ, mềm mại và bán trong suốt. Các đốm màu này hòa quyện vào nhau tạo nên một hình ảnh chân thực như ảnh chụp, cho phép bạn xoay tầm nhìn từ nhiều góc độ.

Vì kết quả đầu ra có thông số đo lường chính xác theo tỷ lệ thực tế, nên khi xem qua kính thực tế ảo (headset), khung cảnh sẽ hiển thị với kích thước như ngoài đời thực; ngay sau khi SHARP được công bố, nhiều người đã có thể trải nghiệm các khung cảnh này trên thiết bị Vision Pro. Bạn có thể khám phá lại những kỷ niệm yêu thích hoặc xuất dữ liệu ra để chia sẻ thông qua một ứng dụng web. Tất nhiên, cũng có những giải pháp trả phí khác; chẳng hạn như Meshy AI – công cụ này tạo ra mô hình khá ổn, nhưng yêu cầu người dùng phải đăng ký gói trả phí mới có thể tải xuống. Trong khi đó, SHARP hoàn toàn miễn phí và có thể chạy ngoại tuyến, tuy nhiên nó được lưu trữ trên GitHub với phần hướng dẫn khá khó hiểu. Dưới đây là cách SHARP được thiết lập để sử dụng.

SHARP tạo khung cảnh 3D từ một bức ảnh duy nhất trên máy Mac

Các mô hình 3D Gaussian splat thông thường được xây dựng từ nhiều bức ảnh, lưu trữ dưới dạng hàng triệu đốm màu 3D mềm mại và được kết xuất (render) theo thời gian thực. SHARP có khả năng tạo ra kết quả tương tự chỉ từ một bức ảnh duy nhất.

Về cơ bản, đây có thể coi là phiên bản 3D toàn diện của tính năng "Spatial Scenes" trên iOS 26 – tính năng tách chủ thể khỏi hậu cảnh trong ảnh, giúp hình ảnh thay đổi góc nhìn khi bạn nghiêng điện thoại. Trong khi "Spatial Scenes" là một hiệu ứng hiển thị trong ứng dụng Photos hoặc trên màn hình khóa, thì SHARP lại lưu dữ liệu dưới định dạng file .ply tiêu chuẩn, tương thích với các trình xem mô hình 3D dạng "splat" phổ biến hiện nay. Mỗi cảnh bao gồm khoảng 1,2 triệu Gaussian, được sắp xếp thành hai layer với kích thước 768x768. Thanh trạng thái trên SuperSplat trong ví dụ hiển thị chính xác con số 1.179.648 cho cả 3 bức ảnh thử nghiệm.

SHARP có thể chạy trên Mac, Windows và Linux, nhưng Apple chỉ cung cấp tài liệu hướng dẫn cho Mac và Linux. Trên các máy Mac sử dụng chip Apple Silicon, giao diện dòng lệnh (CLI) sẽ tự động sử dụng Metal (MPS); do đó, các bước dưới đây dành riêng cho hệ điều hành Mac. Trên chiếc MacBook Air (chip M5), quá trình suy luận mất lần lượt 12, 47 và 58 giây cho 3 bức ảnh, cộng thêm khoảng 6u giây để load mô hình. Tổng thời gian xử lý cho cả loạt ảnh là khoảng 2 phút.

Cách thiết lập SHARP trên máy Mac

Việc này không quá khó, nhưng đòi hỏi người dùng phải có một chút kiến ​​thức về Terminal.

Bước 1: Cài đặt Miniconda thông qua Homebrew

• Chạy lệnh brew install --cask miniconda (sử dụng cask chính thức từ Homebrew).
• Chạy lệnh conda init "$(basename "${SHELL}")" theo hướng dẫn của cask, sau đó đóng và mở lại Terminal. Nếu thấy tiền tố (base) xuất hiện tại prompt, nghĩa là conda đã được kích hoạt thành công.

Bước 2: Tải code của Apple

• Chạy lệnh git clone https://github.com/apple-aiml-research/ml-sharp.git, sau đó truy cập vào thư mục bằng lệnh cd ml-sharp.
• Hãy giữ nguyên vị trí tại thư mục này để thực hiện Bước 4.

Bước 3: Tạo môi trường Python 3.13

• Chạy lệnh conda create -n sharp python=3.13, sau đó kích hoạt môi trường bằng lệnh conda activate sharp. File README yêu cầu sử dụng Python 3.13; lúc này, tiền tố tại dòng nhắc lệnh sẽ chuyển từ (base) sang (sharp).
• Nếu conda hiển thị lỗi liên quan đến Điều khoản dịch vụ (Terms of Service - TOS), hãy chạy lệnh conda tos accept rồi thực hiện lại lệnh tạo môi trường. Anaconda yêu cầu người dùng chấp nhận TOS để sử dụng các kênh mặc định. Không phải ai cũng gặp phải lỗi này, nhưng một số cấu hình máy có thể sẽ yêu cầu bước xác nhận đó.

Bước 4: Cài đặt SHARP

• Chạy lệnh pip install -r requirements.txt, sau đó kiểm tra bằng lệnh sharp --help. Nếu thấy các tùy chọn predict và render xuất hiện, nghĩa là quá trình cài đặt đã thành công.
• Thư mục này rất quan trọng vì file yêu cầu bắt đầu bằng -e ., lệnh này sẽ cài đặt công cụ sharp từ thư mục hiện tại. Các gói dành cho Nvidia chỉ cài đặt được trên hệ điều hành Linux chạy kiến ​​trúc x86, nên trên máy Mac, các gói này sẽ được bỏ qua.
• Bạn sẽ thấy các gói của Hugging Face xuất hiện trong quá trình cài đặt; đây là các dependency cần thiết, vì vậy bạn không cần phải lo lắng.

Bước 5: Chọn những bức ảnh có chủ thể đơn giản

Qua ba lần thử nghiệm, một quy tắc rõ ràng được rút ra. Một món đồ chơi đặt trên bàn cho kết quả tốt nhất; ảnh chân dung trông khá ổn, dù có những vệt mờ ở những vị trí mà đầu chủ thể che khuất bức tường; còn bức ảnh chụp chú chó chihuahua trên ghế sofa với hậu cảnh lộn xộn thì bị vỡ vụn thành các lớp tách biệt lơ lửng. Tài liệu hướng dẫn cũng lưu ý rằng các bức ảnh chụp cận cảnh (macro), bầu trời đầy sao, hay hình ảnh phản chiếu trên mặt nước thường khiến thuật toán ước tính độ sâu gặp lỗi.

Hãy sử dụng file gốc bất cứ khi nào có thể. SHARP sẽ đọc thông số tiêu cự từ dữ liệu EXIF; nếu thiếu thông tin này, nó sẽ mặc định là 30mm. Bức ảnh selfie trong ví dụ - một bản sao có độ phân giải 720×1280 không chứa dữ liệu ống kính - đã kích hoạt cảnh báo này, dù kết quả cuối cùng vẫn khá tốt; tuy nhiên, sử dụng file gốc vẫn sẽ cho chất lượng tốt hơn.

Sau khi đã chọn xong các file, hãy gom tất cả vào một thư mục: mkdir ~/sharp-in.

Bước 6: Chạy lệnh

Sử dụng lệnh: sharp predict -i ~/sharp-in -o ~/sharp-out. Trong kết quả hiển thị, hãy tìm dòng "Using device mps" – đây là xác nhận rằng GPU trên máy Mac của bạn đang thực hiện quá trình xử lý. Ở lần chạy đầu tiên, hệ thống sẽ tải mô hình về thư mục ~/.cache/torch/hub/checkpoints/. Mô hình này có dung lượng 2,62 GB; với kết nối mạng tốc độ cao, quá trình tải mất khoảng 40 giây. Các lần chạy sau đó sẽ không cần tải lại nữa.

Bạn có thể xử lý hàng loạt cùng lúc, vì giao diện dòng lệnh (CLI) chỉ load mô hình một lần rồi tự động duyệt qua toàn bộ file trong thư mục. Mỗi bức ảnh sẽ được chuyển đổi thành một file .ply với dung lượng khoảng 66 MB.

Bước 7: Mở kết quả trong SuperSplat

• SuperSplat là một trình chỉnh sửa "splat" miễn phí chạy trên trình duyệt, được phát triển bởi PlayCanvas. Bạn có thể truy cập superspl.at/editor để sử dụng.
• Hãy kéo file .ply thả vào cửa sổ trình duyệt hoặc chọn mục File > Import. Sử dụng chuột để xoay góc nhìn (orbit) và con lăn chuột để phóng to/thu nhỏ.
• SHARP sử dụng hệ tọa độ với trục Y hướng xuống dưới, điều này có thể khiến hình ảnh hiển thị bị ngược trong các trình xem khác. Trong thử nghiệm, SuperSplat phiên bản 3.7.0 đã tự động xoay mô hình 180 độ quanh trục Z, giúp khung cảnh hiển thị đúng chiều. Nếu sử dụng trình xem khác, có thể bạn sẽ cần tự điều chỉnh góc xoay này.
• Nếu muốn chia sẻ, bạn có thể xuất ra file HTML độc lập hoặc file PLY đã nén (có dung lượng nhỏ hơn nhiều so với file gốc 66 MB).
• Đối với người dùng Linux sử dụng card đồ họa Nvidia, bạn có thể thêm tham số --render để tự động tạo video mô phỏng chuyển động camera. Lưu ý rằng theo tài liệu hướng dẫn (README), tùy chọn này yêu cầu phải có CUDA.

Một cách miễn phí để "bước vào" những bức ảnh của bạn

Nếu bạn đang tìm kiếm mô hình để in 3D, các công cụ tạo lưới (mesh) trả phí như Meshy sẽ là lựa chọn tối ưu hơn. SHARP chủ yếu phù hợp để tạo ra các khung cảnh phục vụ mục đích quan sát, thay vì tạo mô hình để in ấn.

Dẫu vậy, việc trải nghiệm một bức ảnh cũ ở kích thước thật thông qua kính thực tế ảo (VR), hoặc tạo ra một hình ảnh 3D tương tác dưới dạng file HTML duy nhất để chia sẻ với người khác, cũng là những ứng dụng rất thú vị. Việc nó xuất phát từ một công cụ miễn phí chạy hoàn toàn trên chính laptop của bạn càng làm cho nó trở nên thú vị hơn. Hãy thử trải nghiệm xem nó hoạt động như thế nào đối với bạn nhé.