RoboticsAISmart FactoryFeatured

Robot gắp và phân loại bằng camera 3D

Tích hợp Depth Camera với cánh tay robot để nhận diện phôi cho đối tác của Viện Nghiên cứu Cơ khí (NARIME). Xây dựng logic chuyển đổi tọa độ camera sang robot để phân loại tự động.

PythonROS3D Computer VisionDepth CameraNVIDIA Jetson

Tài liệu Video Demo Mã nguồn

Tài liệu kỹ thuật dự án

Vai tròKỹ sư Cơ điện tử - Phát triển cho đối tác của Trung tâm Robot & Công nghệ cao, Viện Nghiên cứu Cơ khí

Thời gian04/2021 - 10/2021

Trạng tháiĐã bàn giao

Danh mục

RoboticsAISmart Factory

Tổng quan dự án

Dự án phát triển hệ thống robot gắp và phân loại sản phẩm tự động sử dụng camera 3D (3D Pick and Place) cho đối tác của Trung tâm Robot & Công nghệ cao - Viện Nghiên cứu Cơ khí. Mục tiêu là giúp robot nhận diện chính xác vị trí và góc xoay 6 chiều của các phôi sản phẩm xếp hỗn loạn trên băng chuyền thông qua xử lý ảnh đám mây điểm 3D và tự tính toán đường đi gắp thả.

Trải nghiệm Demo tương tác

* Lưu ý: Đây là bản giả lập mô phỏng một tính năng nhỏ thuộc hệ thống lớn của dự án thực tế.

Chọn mẫu đầu vào:

UR10e Robot Arm Simulator

SYSTEM CONSOLE LOGS:

Sơ đồ kiến trúc kỹ thuật

* Lưu ý: Đây là sơ đồ khối rút gọn mô tả luồng xử lý chính của dự án thực tế.

Physical Layer

Thu thập dữ liệu cảm biến & Camera

Modbus / OpenCV / ROS

Processing Layer

Xử lý logic, thuật toán AI & DB

PyTorch / Oracle / FASTApi / Spring

Control & UI

Giao diện WebSocket & Điều khiển PLC

React Web / SignalR / OPC-UA

→ Chuỗi liên kết công nghệ: Tích hợp thiết bị phần cứng cảm biến → Tầng tính toán biên (Jetson/Server) → Bộ điều khiển và Dashboard giám sát

Tính năng chính

Xác định tọa độ 6D: Tính toán chính xác vị trí (X, Y, Z) và hướng (R, P, Y) của vật thể bằng camera chiều sâu.

Chuyển đổi tọa độ (Calibration): Phát triển ma trận chuyển đổi hệ tọa độ mắt camera sang gốc cánh tay robot công nghiệp.

Tránh va chạm (Collision Avoidance): Lập quỹ đạo di chuyển thông qua thư viện ROS 2 tránh va chạm của tay gắp cơ khí.

Xử lý đám mây điểm (PCL): Lọc nhiễu, cắt bỏ mặt phẳng nền và phân đoạn cụm điểm phôi để xác định hình học.

Kiến trúc hệ thống

Sử dụng camera chiều sâu 3D Intel RealSense kết nối với máy tính biên NVIDIA Jetson AGX Orin. Các thuật toán định vị và chuyển đổi hệ tọa độ viết bằng Python trên nền tảng ROS. Lộ trình gắp được truyền trực tiếp đến bộ điều khiển cánh tay robot Universal Robots của đối tác thông qua giao thức TCP/IP.

Thành tựu đạt được

Tăng chu kỳ gắp và thả sản phẩm đạt mức dưới 5.0 giây/sản phẩm.

Tỷ lệ gắp chính xác đạt trên 97% đối với các sản phẩm xếp chồng lộn xộn.

Bàn giao thành công giải pháp tích hợp cho đối tác cơ khí công nghiệp chế tạo máy.

Dự án trướcRobot Palletizing và tự động xuất kho

Dự án tiếp theoAGV vận chuyển hàng