Trộn ảnh trong thiết bị quang điện tử đa kênh cầm tay trên nền hệ thống nhúng
9 lượt xemTừ khóa:
Hệ thống quang điện tử đa kênh cầm tay; Trộn ảnh; System-on-Module.Tóm tắt
Các thiết bị quang điện tử cầm tay đa kênh bao gồm các cảm biến ảnh vùng nhìn thấy (hoặc/và độ nhạy cao) và hồng ngoại (IR) đòi hỏi kỹ thuật trộn ảnh thời gian thực nhằm nâng cao khả năng nhận thức tình huống trong các điều kiện quan sát suy giảm, đồng thời phải đáp ứng các ràng buộc nghiêm ngặt về kích thước, khối lượng, tiêu thụ năng lượng và chi phí. Bài báo này trình bày thiết kế và triển khai một hệ thống trộn ảnh EO/IR thời gian thực dựa trên kiến trúc System-on-Module (SoM) nhúng dành cho một nền tảng đa cảm biến cầm tay. Hệ thống được đề xuất thu nhận đồng bộ dữ liệu từ nhiều camera ở các vùng phổ khác nhau, thực hiện xử lý trộn ảnh song song sử dụng CPU đa lõi kết hợp tăng tốc bằng GPU/NPU. Kết quả thực nghiệm cho thấy hệ thống đạt hiệu năng thời gian thực, với độ trễ xử lý đầu-cuối nhỏ hơn 40 ms và tốc độ khung hình ổn định 25 fps đối với video ảnh trộn đầu ra. Ảnh trộn thể hiện độ tương phản tốt hơn, chi tiết rõ ràng hơn và khả năng phân biệt mục tiêu được cải thiện so với các ảnh đầu vào ban đầu. Như vậy, kiến trúc SoM có thể cung cấp một giải pháp cân bằng và thực tiễn cho việc trộn ảnh EO/IR đa kênh thời gian thực trong các ứng dụng quang điện tử cầm tay
Tài liệu tham khảo
[1]. Zhang, J., "Multi-Source Remote Sensing Data Fusion: Status and Trends", International Journal of Image and Data Fusion, Vol. 1, pp. 5–24, (2010).
[2]. Li, H., Qi, X., and Xie, W., "Fast Infrared and Visible Image Fusion with Structural Decomposition", Knowledge-Based Systems, Vol. 204, p. 106182, (2020).
[3]. Zhang, S., Huang, F., Liu, B., Li, G., Chen, Y., Chen, Y., Zhou, B., and Wu, D., "A Multi-Modal Image Fusion Framework Based on Guided Filter and Sparse Representation", Optics and Lasers in Engineering, Vol. 137, p. 106354, (2021).
[4]. N. A. Tuấn, "Ứng dụng thuật toán tách biên hình ảnh Canny cho thiết bị quan sát trộn ảnh quang học", Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san FEE, tr. 273–280, (2019) (in Vietnamese).
[5]. T. V. Ha et al., "Block Design of Edge Detection and Color Blending of Thermal Video on the Pynq-Z1 Kit Using Vivado HLS for Image Fusion Applications", Journal of Military Science and Technology, No. 77, pp. 128–136, (2022).
[6]. V. N. Le et al., "A Night Vision Color Image Fusion Method Based on Statistical Color Transform Technology in YUV Color Space", Journal of Military Science and Technology, Vol. 93, No. 93, pp. 114–120, (2024).
[7]. A. Boutros and V. Betz, "FPGA Architecture: Principles and Progression", IEEE Circuits and Systems Magazine, Vol. 21, No. 2, pp. 4–29, (2021).
[8]. Ling Zhang, Xuefei Yang, Zhenlong Wan, Dingxin Cao, and Yingcheng Lin, "A Real-Time FPGA Implementation of Infrared and Visible Image Fusion Using Guided Filter and Saliency Detection", Sensors, Vol. 22, p. 8487, (2022).
[9]. Seung-Hun Yoo et al., "Accelerating Multi-Scale Image Fusion Algorithms Using CUDA", IEEE International Conference of Soft Computing and Pattern Recognition, (2009).
[10]. Changqi Sun, Cong Zhang, and Naixue Xiong, "Infrared and Visible Image Fusion Techniques Based on Deep Learning: A Review", Electronics, Vol. 9, p. 2162, (2020).
[11]. Tao Yang, Xinyu Zhang, Qingbo Xu, Shuangxi Zhang, and Tong Wang, "An Embedded-GPU-Based Scheme for Real-Time Imaging Processing of Unmanned Aerial Vehicle Borne Video Synthetic Aperture Radar", Remote Sensing, Vol. 16, No. 1, p. 191, (2024).
[12]. “Rockchip RK3588 Datasheet”, Rockchip Electronics Co., Ltd., (2023).
[13]. Song, Y., Gao, K., Ni, G., and Lu, R., "Implementation of Real-Time Laplacian Pyramid Image Fusion Processing Based on FPGA", Proceedings of the Electronic Imaging and Multimedia Technology V, Beijing, China, (2007).
[14]. Liangliang Li, Yan Shi, Ming Lv, Zhenhong Jia, Minqin Liu, Xiaobin Zhao, Xueyu Zhang, and Hongbing Ma, "Infrared and Visible Image Fusion via Sparse Representation and Guided Filtering in Laplacian Pyramid Domain", Remote Sensing, Vol. 16, p. 3804, (2024).
[15]. Jiayi Ma, Yong Ma, and Chang Li, "Infrared and Visible Image Fusion Methods and Applications: A Survey", Information Fusion, (2018).
