一、理论
为什么要进行单相机标定?
广义:畸变矫正和一维和二维测量
畸变矫正: 在几何光学和阴极射线管(CRT)显示中。畸变是对直线投影的一种偏移。简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。那畸变简单来说就是一条直线投影到图片上不能保持为一条直线了。这是一种光学畸变(optical aberration)。畸变是一种相差,可能由于摄像机镜头导致,会对拍摄的物体的形状产生变化,影响测量。 我自己对畸变矫正的理解就是,当相机进行标定时,虽然标定板也产生了畸变,但是标定板(圆形)的准确数据我们已经告诉了halcon,比如,圆的排列方式、直径、中心距等。通过加载多张标定板图片,halcon可以通过函数求出镜头里发生畸变的标定板与未发生畸变的标定板之间的映射关系,也就是相机本身的内参(拍摄有畸变)和矫正之后无畸变内参之间的映射关系,将这种映射关系作用到拍摄时发生畸变的物体当中,就完成了畸变校正.。 步骤: 1)通过标定求出相机内参。 2)通过有畸变的内参求出无畸变的内参。用chage_radial_distortion_cam_par()函数完成。 3)求出有畸变的内参和无畸变的内参之间的映射关系。用 gen_radial_distortion_map()函数 4)将上边的映射关系作用到产生畸变的物体当中,完成畸变校正一维和二维的测量 图片上的尺寸是像素距离,标定后,可以求出像素距离与物理空间距离的换算关系,从而计算出实际的物理尺寸。狭义:求解相机的内参和外参以及畸变参数,得到二维平面像素坐标和三维世界坐标的关系,从而进行三维重建。
相机内参:相机的固有属性,在进行畸变校正时需要用到相机的内参。相机外参:摄像机的外参表示摄像机与测量平面之间的位置关系,因为物体在经过透镜成像之后,实际上是经过了旋转和平移,而外参就是告诉我们物体成像后经过了那种旋转和平移,相机的外参包括平移矢量和旋转矩阵。,也就是说只有知道了摄像机的外参,才能够在测量平面坐标系和摄像机坐标系之间的坐标转换。在HALCON中,测量平面定义为世界坐标系中平面z=0。畸变参数:采用理想针孔模型,由于通过针孔的光线少,摄像机曝光太慢,在实际使用中均采用透镜,可以使图像生成迅速,但代价是引入了畸变。有两种畸变对投影图像影响较大: 径向畸变和切向畸变。相机的畸变和内参是相机本身的固有特性,标定一次即可一直使用。但由于相机本身并非理想的小孔成像模型以及计算误差,采用不同的图片进行标定时得到的结果都有差异。一般重投影误差很小的话,标定结果均可用。
为什么要求解相机的内参和外参?
首先,我们需要知道四个坐标系,即图像像素坐标系 (u,v)、图像物理坐标系(x,y)、相机坐标系(Xc,Yc,Zc)和 世界坐标系(Xw,Yw,Zw)(标定板所在的坐标系)。
一、像素坐标系(u,v)与CCD的图像物理坐标系(x,y)的关系:
像素坐标系不利于坐标变换,因此需要建立图像坐标系XOY,其坐标轴的单位通常为毫米(mm),原点是相机光轴与相面的交点(称为主点),即图像的中心点。X轴、Y轴分别与u轴、v轴平行。故两个坐标系实际是平移关系,即可以通过平移就可得到。
两坐标轴互相垂直此时有: 其中,dX、dY分别为像素在X、Y轴方向上的物理尺寸,u0,v0为主点(图像原点)坐标。
这里引用了齐次矩阵(就是将一个原本是2维的x,y向量用一个3维向量(加个1)来表示),引入齐次矩阵的目的主要是合并矩阵运算中的乘法和加法,表示为x=P*X的形式。即它提供了用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系的有效方法
两坐标轴不互相垂直 此时有 写成矩阵形式:二、相机坐标系(Xc,Yc,Zc)与图像坐标系(x,y)的关系:
根据小孔成像原理: 如图,空间任意一点P与其图像点p之间的关系,P与相机光心o的连线为oP,oP与像面的交点p即为空间点P在图像平面上的投影。
该过程为透视投影,根据三角形相似性原理得如下矩阵: 其中,s为比例因子(s不为0),f为有效焦距(光心到图像平面的距离),(x,y,z,1)T是空间点P在相机坐标系oxyz中的齐次坐标,(X,Y,1)T是像点pp在图像坐标系OXY中的齐次坐标。
三、世界坐标系(Xw,Yw,Zw)至相机坐标系(Xc,Yc,Zc) 其中:R为3* 3的旋转矩阵,T为3*1的平移矩阵,(xc,yc,zc,1)T为相机坐标系的齐次坐标,(xw,yw,zw,1)T为世界坐标系的齐次坐标。
四、世界坐标系转化为像素坐标系 其中,M1称为相机的内部参数矩阵,完全由相机的内部参数ax,ay,uo,vo决定,(uo,vo)为主点坐标,ax,ay分别表示图像u轴和v轴的尺度因子;M2完全由摄像机相对于世界坐标系的方位决定,称为摄像机的外部参数;Xw为空间点在世界坐标系下的齐次坐标;M为一个3*4的矩阵,称为投影矩阵。
总结:其实说白了,我们需要找到世界坐标系和像素坐标系之间的关系,而两者的关系可以通过将世界坐标系转化为相机坐标系,相机坐标系通过投影变换转化为CCD的图像物理坐标系,在通过变换可以把图像物理坐标系的物理单位转化为图像像素坐标系的像素单位[即(x,y)→(u,v)],从而得到世界坐标系和像素坐标系之间的关系,即通过A->B,B->C,C->D之间的关系,找到A->D的关系。 要想找到世界坐标系到像素坐标系之间的转换关系,必须要求出相机内参,外参,而标定就是求相机内外参的过程,通过求得的内外参,达到对成像物体的一、二维测量和畸变矫正的目的。
二、标定流程
实现的原理是根据相机的像元尺寸、焦距和标定板的描述文件(.descr)来找到显示的标定板图像上面的标志点,从而确定标定板实际输入的参数(Distance、Diameter等)和这些参数对应的图像像素大小的关系,完成标定。
这里我用的标定板是7*7圆点标定板,型号:HC070—3.75
标定板数据可参考:
标定步骤:
使用gen_caltab算子生成一个标定文件标定前需要生成一个.descr的描述文件,也就是世界坐标系与像素坐标系的关系,当我们下一次做别的项目时,只需要调用描述文件,即可完成标定过程。生成标记文件的算子:
这里我使用的是7*7的圆形标定板,具体设置参数如下:
gen_caltab(7, 7, 0.0075, 0.5, 'C:/Users/Administrator/Desktop/caltab.descr ', ‘caltab.ps’) 7 x方向黑色标志圆点的数量, 7 y方向黑色标志圆点的数量, 0.0075 两个相邻的黑色圆点之间的圆心距离,单位:米, 0.5 标记点直径与标记点圆心之间距离的比值, ‘C:/Users/Administrator/Desktop/caltab.descr’ 标定板的描述文件的保存路径, ‘caltab.ps’ 标定板图形文件,描述标定板的一些信息,打印标定板时会用到,可以用photoshop打开
打开标定助手,加载标定文件,设置相机参数(选择摄像机模型,我的是面阵相机。镜头是远心镜头就选择远心;像元的宽高填写相机的像元尺寸,如果不知道去问相机厂家或查相机型号。焦距填写镜头的焦距) 实时获取各个角度、位置的标定板图片(9-16张左右),并选择其中一种图片设置参考位姿,然后标定。可以看到相机的参数:
保存相机内、外参,下次使用测量助手直接调用内外参文件。
注:内参后缀名是.dat,halcon标定助手默认的内参后缀为.cal,保存的时候需要更改
----------------------------------------------------------截止到上面,相机标定已经完成了----------------------------------------------------------
得到相机内外参之后就可以根据自己的实际需求对图像进行畸变校正或像素尺寸到实际尺寸的转换来进行实际测量了,方法如下:
1.畸变校正
可以接上面的第三步之后:生成标定数据(相机内、外参)代码,从而进行畸变校正 代码:
*相机内参 CameraParameters := [0.0375147,-270.806,8.30152e-006,8.3e-006,647.48,520.914,1280,960] *相机位姿,即外参(旋转矩阵+平移矢量) CameraPose := [-0.0091626,-0.00625214,0.700967,2.46926,358.933,179.443,0] *1、校正径向畸变,得到新的相机内参 change_radial_distortion_cam_par ('adaptive', CameraParameters, 0, CamParamOut) stop () - Image Acquisition 02: Code generated by Image Acquisition 02 open_framegrabber ('GigEVision', 0, 0, 0, 0, 0, 0, 'default', -1, 'default', -1, 'false', 'default', 'CAMERA_QBY_DM', 0, -1, AcqHandle) grab_image_start (AcqHandle, -1) while (true) grab_image_async (Image, AcqHandle, -1) *2、对发生径向畸变的图像生成投影映射,图像的映射数据存在第一个参数中 gen_radial_distortion_map (Map, CameraParameters, CamParamOut, 'bilinear') *3、对图像进行畸变校正 map_image (Image, Map, ImageMapped) endwhile close_framegrabber (AcqHandle)ImageMapped就是进行了畸变矫正的图像
2.像素坐标系转化成世界坐标系(求实际尺寸)
*相机内参 CameraParameters := [0.0375147,-270.806,8.30152e-006,8.3e-006,647.48,520.914,1280,960] *相机位姿,即外参(旋转矩阵+平移矢量) CameraPose := [-0.0091626,-0.00625214,0.700967,2.46926,358.933,179.443,0] read_image (Image, ImageFiles[Index]) *** *这里省略的是检测得到像素坐标尺寸 *** *将像素坐标尺寸转换成实际坐标尺寸(参考后面实战测量硬币) image_points_to_world_plane (CameraParameters, CameraPose, TmpCtrl_ImageRows, TmpCtrl_ImageColumns, 'mm', TmpCtrl_WorldX, TmpCtrl_WorldY)3.图像坐标系转化成世界坐标系(可选项,图像校正时会用到,也可以仿射变换对图像进行校正)
标定完之后可以插入代码看一下 代码:
*相机内参 CameraParameters := [0.0375147,-270.806,8.30152e-006,8.3e-006,647.48,520.914,1280,960] *相机位姿,即外参(旋转矩阵+平移矢量) CameraPose := [-0.0091626,-0.00625214,0.700967,2.46926,358.933,179.443,0] read_image (Image, ImageFiles[Index]) get_image_size (Image, Width, Height) 相机视野宽度 TmpCtrl_RectificationWidth := 79 转换成米单位 TmpCtrl_RectificationWidth := TmpCtrl_RectificationWidth / 1000.0 生成转换矩阵 gen_image_to_world_plane_map (TmpObj_RectificationMap, CameraParameters, CameraPose, Width, Height, Width, Height, TmpCtrl_RectificationWidth / Width, 'bilinear') 转换 map_image (Image, TmpObj_RectificationMap, TmpObj_RectifiedImage)注意:相机标定之后,相机焦距、上下位置不能再动,否则需要重新标定。
三、实战:以一元硬币为例
1、 打开测量助手,加载上面得到的相机内、外参
2、进行快速测量,可以看到最后测量结果24.1232mm
3、生成代码后,加入上面的畸变校正,即可完成完整的标定过程
open_framegrabber ('GigEVision', 0, 0, 0, 0, 0, 0, 'default', -1, 'default', -1, 'false', 'default', 'CAMERA_QBY_DM', 0, -1, AcqHandle) *加载相机内外参 CameraParameters := [0.0220788,-613.469,6.00309e-006,6e-006,613.491,509.255,1280,960] CameraPose := [-0.00464111,-0.00298404,0.341764,2.05327,359.502,89.9295,0] *1、校正径向畸变,得到新的相机内参 change_radial_distortion_cam_par ('adaptive', CameraParameters, 0, CamParamOut) AmplitudeThreshold := 40 RoiWidthLen2 := 25 set_system ('int_zooming', 'true') *测量矩形尺寸 LineRowStart_Measure_01_0 := 495.5 LineColumnStart_Measure_01_0 := 385.5 LineRowEnd_Measure_01_0 := 498.167 LineColumnEnd_Measure_01_0 := 745.5 TmpCtrl_Row := 0.5*(LineRowStart_Measure_01_0+LineRowEnd_Measure_01_0) TmpCtrl_Column := 0.5*(LineColumnStart_Measure_01_0+LineColumnEnd_Measure_01_0) TmpCtrl_Dr := LineRowStart_Measure_01_0-LineRowEnd_Measure_01_0 TmpCtrl_Dc := LineColumnEnd_Measure_01_0-LineColumnStart_Measure_01_0 TmpCtrl_Phi := atan2(TmpCtrl_Dr, TmpCtrl_Dc) TmpCtrl_Len1 := 0.5*sqrt(TmpCtrl_Dr*TmpCtrl_Dr + TmpCtrl_Dc*TmpCtrl_Dc) TmpCtrl_Len2 := RoiWidthLen2 *生成一个测量矩形 gen_measure_rectangle2 (TmpCtrl_Row, TmpCtrl_Column, TmpCtrl_Phi, TmpCtrl_Len1, TmpCtrl_Len2, 1280, 960, 'nearest_neighbor', MsrHandle_Measure_01_0) while (true) grab_image (Image, AcqHandle) *2、对发生径向畸变的图像生成投影映射,图像的映射数据存在第一个参数中 gen_radial_distortion_map (Map, CameraParameters, CamParamOut, 'bilinear') *3、对图像进行畸变校正 map_image (Image, Map, ImageMapped) measure_pos (ImageMapped, MsrHandle_Measure_01_0, 19.5, 40, 'all', 'all', Row_Measure_01_0, Column_Measure_01_0, Amplitude_Measure_01_0, Distance_Measure_01_0) * 通过image_points_to_world_plane将像素尺寸转换成实际尺寸 image_points_to_world_plane (CameraParameters, CameraPose, Row_Measure_01_0, Column_Measure_01_0, 0.001, Column_World_Measure_01_0, Row_World_Measure_01_0) endif endwhile close_measure (MsrHandle_Measure_01_0)---------------------------------------------------------------------↓疑惑解答↓------------------------------------------------------------------------------------
这里主要回答一下有人问我的问题:
1、halcon是否只能使用halcon专用的标定板?
halcon自带例程中出现的,用halcon定义的标定板 ,如下图 halcon提供了简便、精准的标定算子并且提供了标定助手,这无疑大大方便了广大开发者。但是也不是一定要使用该标定板才能完成标定。用户自定义标定板,用户可以制作任何形状、形式的标定板所以,halcon并非只能使用专用标定板,也可以使用自定义标定板就行标定。
使用halcon定义标定板的优势是可以使用halcon的标定板提取算子,提取标记点,而当使用自己定义的标定板格式则需要自己完成此部分工作。
2、halcon标定板如何摆放,拍照数量有无限制?
halcon建议拍摄数量在9-16张,并非拍的越多越好,并且对摆放位置做了建议,如下图所示 标定板充满标定视野的1/3-1/4,对于标定板成像灰度值亮度应大于128,以便halcon算子能较顺利的提取到标定板
标定时候注意标定图像的倾角需要有变化。若采集的图像里标定板与相机所成角度相近,标定板只在某一个平面平移和旋转,则焦距计算会出现错误。