RGBD相机的标定和图像配准

点击上方“小白学视觉 ”,选择加"星标 "或“置顶 ” 重磅干货,第一时间送达 链接 | https://blog.csdn.net/m0_52785249/article/details/124505848 本篇内容为本人观看视频的学习笔记,仅供学术交流 1 kinect2相机简介 1、三种主要相机类型 2、常见的RGB-D相机 3

点击上方“小白学视觉”,选择加"星标"或“置顶

重磅干货,第一时间送达

链接 | https://blog.csdn.net/m0_52785249/article/details/124505848

本篇内容为本人观看视频的学习笔记,仅供学术交流

1

kinect2相机简介

1、三种主要相机类型

4f3f0ab816c6a32502687d8e15607849.png

2、常见的RGB-D相机

abef257a59fafe9fe20bd370c7a71da4.png

3、kinect2 相机

  • 从左到右依次是:彩色摄像头;红外摄像头(深度摄像头),但这个要和再右边的IR Project(红外投射器)一起工作的;底下的长条是麦克风,可以感受到说话人的方向

0d126f8cf5d66a8217556cae193693ba.png

3.1使用RGB-D相机的好处

  • 可以直接通过拍摄的深度图得到物体的空间位置
    3600ceec5a8f31b951c49e908e6dd8e2.png

3.2问题

  • keinect相机 彩色图像是1920x1080的,但深度图是512x414的,因此需要深度校准

3.3实际标定得到的数据

73e91a5e7faf8b9cdd4e6d950fde3f2f.png


2

内外参标定

1、针孔相机投影模型

37864ce7b805ca4a2e651a1cb7163018.png

9f94cf8c21de20c974fdffaec318f2c0.png

相机坐标系 -> 物理成像平面
9a18f3f0a9a1a7d3a43ed3d214afbcc9.png

  • 物理成像平面 -> 像素平面
    2d0d9e68d63518cef082053c97225e93.png

  • 总结一下

    • 整个投影过程都可以通过下面的内参矩阵描述 fx,fy,cx,cy

09378b3c8c3aabc20388f86dc02c7e46.png

主要通过k1,k2,k3三个参数来描述相机的径向畸变(常用k1,k2就够了)
d28d943233d44b6e38e2c34e2986d4d5.png

对于切向畸变,一般使用p1,p2来描述
7dd0f009b33481b11bd7ce0010c96b3d.png

2、工具

2ba9adbc117912d355043bcfd00ca6b1.png

  • 对于 kinect 可以用 iai_kinect2 工具包做标定

3、棋盘标定板

395458e3529abfcab5ced7acd5c6846a.png

4、彩色相机标定

e28d05ba207d16ba28144df3ad240be7.png

5、红外相机标定

cf24d8c04fb0c0e6d536b1037ea2a14b.png

6、彩色相机和红外相机的外参标定

  • 描述深度坐标系下的点如何表示在RGB图中

0bfafdefd17281a9a7c21abf5a67a47d.png7、深度相机的深度校准

bfa0afb12056e50b82e09ef8d740ec31.png

3

图像配准

1、配准原理

  • (配准后的深度图不对)
    d0ff2cd49287ef7bf090d681e3fe62af.png

  • 正确
    4129eb9b73c86b0124144aead469c90a.png

4

总结

340b13af42a86d6ab6bd2e57d0311540.png

版权声明:本文为作者授权转载,仅做学术分享,未经授权请勿二次传播,版权归原作者所有。

本文仅做学术分享,如有侵权,请联系删文。

声明:部分内容来源于网络,仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥,请联系删除。

下载1:OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。


下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~
知秋君
上一篇 2024-08-06 09:48
下一篇 2024-08-06 09:12

相关推荐