《A self-calibrating, camera-based eye tracker for the recording of rodent eye movements》论文阅读
时间：2022-12-25 00:30:00
题目：A self-calibrating, camera-based eye tracker for the recording of rodent eye movements
作者：Davide Zoccolan, Brett J. Graham and David D. Cox
来源：Front Neurosci. 2010; 4: 193. Published online 2010 Nov 29. Prepublished online 2010 Aug 16
摘要
许多神经生理学和视觉科学依赖于仔细测量人或动物对象的凝视方向。基于视频的眼动仪已经成为一种特别流行的注视跟踪选择，因为它们易于使用，而且完全是非侵入性的。视频眼动仪通常需要校准程序，对象必须从已知的角度注视一系列点。虽然某些非人类物种可能依赖于固有的定向行为进行校准，但其他物种（如啮齿动物）无法可靠地扫描视觉目标，因此无法以这种形式进行校准。为了克服这一问题，我们开发了一种无需与受试者合作的自动红外视频眼动跟踪系统。该技术依赖于角膜的光学几何形状，并使用计算机控制的电动镜头快速估计相机眼睛的几何形状。我们使用人工眼仔细测量系统的准确性和精度，并通过跟踪头固定鼠标的自发扫描和诱发动眼反射来验证其监测啮齿动物注射的能力（在两种情况下，我们获得的测量值与文献中发现的相同）。总的来说，鉴于其完全自动化的性质和操作员错误的固有鲁棒，我们相信我们的眼跟踪系统增强了现有方法在啮齿动物中的视觉跟踪效用，并代表了一种有效的啮齿动物视觉研究工具。
关键词:眼动跟踪、啮齿动物、大鼠、校准、视觉
系统组成
图如图一 1显示了我们眼动跟踪系统的示意图。选择近红外好（NIR）量子效率千兆以太网（GigE）相机（Prosilica GC660； Sony ExView HAD CCD传感器)成像眼睛。极远摄像头具有电动变焦和聚焦功能（Zoom 6000，Navitar）固定在相机上。相机和镜头用固定在组件上的一般纹理支架固定。截止波长为800 nm的NIR长通滤光片（FEL0800，Thorlabs，Inc.）为了阻挡可见光，挡可见光。将一对2.4 W 880 nm LED照明器（Mightex Systems，0208)连接到摄像头组件，使其与摄像头的水平和垂直轴对齐。这些照明器使用串行4通道LED控制器（SLC-SA04-S，Mightex Systems）进行控制。
图1。眼动跟踪系统的示意图。（A）眼睛跟踪系统的照片显示了安装在电动平台上的摄像头组件(摄像头、镜头和红外线)LED照明平台用于在校准过程中围绕物体的眼睛移动摄像头(请参考材料和方法)。（B）眼动跟踪系统的两个3D渲染(从两个不同的角度)。电动平台(绿色)、相机(黄色)、镜头(蓝色)色)、相机(黄色)、镜头(蓝色)和照明(洋红色)。箭头表示线性和旋转电动平台的运动方向。（C）图片(显示摄像头组件的俯视图)显示了如何将摄像头向右(1)水平移动与摄像头绕其旋转轴(2)左旋组合，以实现伪旋转(红色箭头)绕相机本身任意距离d的点(红色圆圈)。这张照片还显示了相机与伪旋转中心之间的距离在伪旋转后如何从d变为d '。（D）相对于头部固定大鼠成像眼睛的位置，显示摄像头组件。还显示了动物与用于刺激表示的屏幕之间的距离以及大鼠左视觉半场的幅度。
瞳孔角膜反射定位
图2。跟踪瞳孔和角膜反射点算法的图表。（A）鼠眼图像在红外照明下。暗圆点是瞳孔，亮圆点是角膜表面红外光源的反射(即角膜反射)CR）。其它非圆形反射点可以在眼睑边缘看到。（B）颜色图显示根据快速径向对称变换更可能出现圆形特征的图像区域。瞳孔和瞳孔的正确提取CR一般位置。（C）应用快速径向对称变换后(请参见B），瞳孔(蓝十字)和CR（红色斑点）的粗略中心。（D）将Sobel(边缘发现)改变应用于眼睛的图像，以找到瞳孔(灰色环)和CR边界(白环)。请注意，面板中的眼睛以较高的放大倍数显示(与A–C相比）。（E）以前发现的瞳孔粗大中心(请参阅C）用作种子点，将一组光(蓝线)投射到瞳孔本身的边界。沿着每一条射线经过Sobel过滤图像采样，当它们超过给定阈值（与沿射线的标准偏差成比例）时，会发现射线和瞳孔边界之间的交点（交点显示蓝色实心圆）。使用相同的工艺沿CR边界找到一组边缘点。（F）将椭圆拟合到瞳孔(蓝圆)和CR(红准确估计中心的边界点(红色圆圈)。
工作原理
我们的眼睛跟踪系统的目标是估计瞳孔的仰角θ和方位角?（见图Figure3A） 3机图像传感器上瞳孔图像的位置A）。这是通过测量距离Δ实现?瞳孔P(即垂直于图像平面和水平分割眼睛的平面)和距离Δ从赤道平面X光瞳孔投影在眼睛上的赤道从眼睛的子午面平面(即垂直于图像平面和垂直平分眼平面；详情请参考图片Figure3A）。3一种）。赤道和子午线的位置可以通过交替打开水平和垂直对准相机传感器的两个红外光源来可靠测量。事实上，当垂直(侧)光源连接时，它在角膜表面(上反射)CR）标记赤道面(图中位置)（Figure3B）， 3 B），和Δ ?测量之间的距离P和CR（图（Figure3C）。 3 C）。相反，当水平对齐(顶部)光源打开时，角膜表面的反射标志着子午平面的位置(图)（Figure3D） 3 d）和Δ X可以测量距离 P和 CR（图（Figure3 3 E）。
图3。眼部坐标系统及测量。（A）瞳孔（P）在半径为R P 0球体(实心圆)表面移动。这种球体包含在更大的球体中——角膜曲率的延伸(虚线)。假设这两个球有相同的中心(请参见文本)。瞳孔位于极坐标系中，其原点位于角膜曲率的中心。选择参考系统的方向，使z轴与相机的光轴平行（x，y）图像平面构成相机(请参见B中的插图)。眼动跟踪系统的目的是估计瞳孔的仰角（θ）和方位角(）。这是通过测量距离Δ实现?瞳孔从赤道平面(即垂直于图像平面和水平面平分眼睛)和距离Δ X光瞳的投影在赤道平面上从经络平面(即垂直于像平面、垂直于眼睛的平面)。（B）在我们的成像系统中，两个红外线LED分别位于成像相机的侧面。当侧面LED(垂直对齐相机镜头)打开时，在角膜表面（CR）上反射标志着赤道平面的位置。（C） ?Δ ?当侧面LED打开时，测量值P和CR距离。（D）打开顶部的LED(与相机镜头水平对齐)后，在角膜表面（CR）上反射标志着子午面的位置。（E） ?Δ X被测量为P和之间的距离CR，当顶部LED被接通。
校准步骤
相机/眼睛对准
图4。水平和垂直对齐眼睛和相机传感器中心。（A）打开水平对准(顶部)红外LED角膜反射（CR）与相机光轴平行的角膜曲率半径(虚线)的一半出现点(空心圆)。实心圆圈显示瞳孔位置。大虚线圆表示角膜曲率/表面。假设相机的传感器最初与眼睛中心不对齐(例如，位置1)，CR这种对齐可以作为眼睛子午面的界标，通过水平移动摄像头组件来实现。先将摄像机平移几毫米(从位置1到位置2)，确定毫米/像素转换系数，再进行平移(从位置2到位置3)CR对齐水平轴的中心。相机传感器。请注意，因为角膜就像球面镜，所以CR眼睛的子午平面位置(即当相机位于1、2时，空圆位置相同)和3)将在相机组件的所有水平位移中标记。（B）与（A）类似的程序用于将相机的传感器垂直对准眼睛的赤道平面。在这种情况下，垂直对齐(侧)红外LED打开，以便CR标记人眼赤道平面的位置。然后沿着垂直轴重复类似的过程。
首先，摄像机的图像平面在水平方向对准到眼睛的子午面（图（Figure4A）。 4 A）。为了实现这一点，水平排列的(顶部)照明被连接(图)（Figure4A）。 4 A）。由于角膜的几何形状，它会产生在角膜上(反射点)CR与眼睛的子午平面对齐)(见图Figure4 说明细节)。要居中在摄像机的图像平面上CR点，相机(图从位置1到位置2翻译少量Figure4A） 4 A）以及所述位移CR以像素为单位的毫米测量（mm）确定毫米/像素转换因子和相机应移动以获得所需对准的方向。然后用这些测量对相机进行翻译CR与图像平面(最终翻译在水平中心，图像从位置2到位置3对齐Figure4A）。4 A）。类似的过程用于将相机的图像平面垂直对准眼睛的赤道面(图(图7)。 4B）。为此，打开垂直对齐（侧）照明器，并沿垂直轴重复此过程。校准步骤结束时，相机的光轴直接指向角膜曲率的中心。
角膜曲率3D中心的估计
在此步骤中，我们确定了从相机旋转中心到角膜曲率中心的距离。角膜曲率中心的位置由三个维度定义，即距离测量与上一步实现的水平和垂直对齐相结合。为了测量这个量，我们依靠以下事实：角膜类似于球面反射器CR点样(图5中空圈) 5)平行于相机光轴角膜曲率半径的中间(假设相机的传感器和光源在我们的成像系统中水平对齐)。这种安排的结果是，如果我们围绕相机前方空间中的虚拟点旋转相机，则在相机图像中观察到CR光斑的偏移将系统地改变，这取决于虚拟旋转点是否位于相机前方。 （图（Figure5A）， 5 A），后面（图（Figure5B）， 5 B），或与(图对齐（Figure5C） 5C）角膜曲率中心。如果我们旋转相机相关的眼睛(图前的一个点（Figure5A）， 5 A），所述的位置CR将在摄像机图像中旋转(即方向移动，离开左右旋转)。同样，如果我们围绕着眼睛(图后点的摄像头)（Figure5B）， 5 B），则CR在与旋转相反的方向上（向右旋转代表向左旋转等）。之所以会出现这种明显的位移，是因为围绕角膜表面中心以外的点的旋转会相对于固定眼移动相机的视场。仅当照相机的虚拟旋转点叠加在角膜曲率的中心上时，CR点在任何旋转中都将在照相机图像中保持静止。因此，为了估计角膜曲率中心的距离，我们测量的位移Δ CR所述的CR响应一系列候选距离范围内围绕虚拟点的五个+ 15°旋转，以及围绕相同候选距离点上的-15°旋转的点，然后对+ 15°位移和-15°旋转。零截距此行对应的与旋转虚拟点的距离的结果在没有位移CR和揭示了角膜曲率中心（即，在图中示出的条件Figure5C）。5 C）。在此校准步骤结束时，相机与眼睛的水平和垂直中心对齐，并且可以绕角膜曲率中心旋转。
图5。角膜曲率3D中心的估计。（A）在先前的校准步骤的终点（参见图图4）， 4），照相机处于位置1，即，用眼相机的传感器的中心。电动载物台允许摄像机围绕沿其光轴（实线）由一个水平平移与旋转组合远点的伪旋转（见图Figure1C）。1 C）。如果这样的旋转发生在角膜曲率中心前方的一点，则角膜反射（CR由水平对齐（顶部）的红外LED产生的）将在相机起点（黑空圆圈）处出现偏移（红色和蓝色空心圆圈）的位置。具体而言，正（从顶部逆时针，红色）和负（从逆时针，蓝色）伪旋转分别导致CR的向右和向左位移。因此，差（Δ 3-2所述的位移之间）CR产生由正（红色箭头）和负（蓝色箭头）照相机旋转将是正的。（B）当相机绕虚拟点（沿其光轴）背后的角膜曲率中心的CR将内侧和Δ移位3-2将是负面的。（C）如果对准角膜曲率都向右（红色箭头）和左（蓝色箭头）15°旋转的中心大约一个虚拟点摄像机旋转将产生CR和Δ的无位移3-2意愿为空。
瞳孔旋转半径的估计
图6。瞳孔旋转半径的估计。（A）在先前的校准步骤的终点（见图Figures4 4和AND5） 5）照相机处于位置1，即，它的传感器和眼睛对准，并且所述相机可以大约的中心旋转眼睛（黑色小圆圈）。此外，水平对齐的（顶部）红外LED发出的照明会导致角膜反射（CR；蓝色圆圈），标记出眼睛的子午面。通常，瞳孔（P；黑色圆圈）将不会与眼睛的子午面对齐（即，它不会直接指向相机）。该位移可以描述为初始角度ɸ0（黑色箭头）眼睛的子午面和之间- [R P（瞳孔的旋转半径的突起- [R P 0在眼睛上的赤道面;还参见图Figure3） 3）和一初始距离Δ X 0之间瞳孔和眼睛的子午平面。当照相机旋转到一定角度Δɸ 1有关眼（红色箭头）的中心，该距离Δ X 1瞳孔和眼睛的子午面之间将取决于两个Δɸ 1和ɸ瞳孔初始角度0（参见等式。3中的方法）。（B）。一旦拟合出方程就知道了RP。如图3所示（请参见材料和方法），可以通过打开垂直对齐的（侧面）红外LED并测量瞳孔到眼睛赤道平面的距离Δy（由所得的CR点标记；空心圆）来轻松获得RP0 。通常，由于瞳孔距赤道平面的初始高度θ（黑色箭头），该距离不会为零。
讨论
眼动追踪系统是在清醒的受试者中进行视觉实验的重要工具。例如，只有在以合理的准确度实时测量对象的凝视方向的情况下，才能研究皮层视觉区域中的神经元感受野，从而可以在任何给定的视野位置中再现性地呈现视觉刺激。不管使用何种技术（例如，巩膜搜索线圈或基于摄像机的眼动仪），眼动追踪系统的校准通常都是通过要求受试者在已知视野位置的网格上扫视至视觉目标来实现的。显然，这仅在自发感知外部视觉目标的物种（例如灵长类动物）中可行。
局限性和未来
与巩膜搜索线圈相比，我们的系统具有视频跟踪系统中的所有常见限制，例如，无法跟踪眼睛的径向运动分量和通常较低的采样率（尽管可以通过使用更快的摄像头来克服此限制） ）。但是，与搜索线圈方法相反，我们的方法具有非侵入性的重要优势，并且可以规避损坏小啮齿动物的眼睛并干扰正常的眼睛运动的风险。因此，我们的系统可以在相同的啮齿动物对象上重复使用，而对可以从任何给定动物获得的眼动记录次数没有限制。
我们系统的另一个当前限制是它只能跟踪一只眼睛。但是，可以通过使用两个相同的系统（在动物的每一侧各一个）来轻松克服此限制。由于系统在大于25厘米的工作距离下运行，因此在实验装置内布置系统具有很大的灵活性。此外，如果假设两只眼睛的大小相同或相似，则简单地添加第二个固定摄像机就足以获得立体声跟踪功能。
此处描述的系统的另一个缺点是，它需要将对象固定在头部才能进行操作。尽管这在我们当前的实现中是一个严格的要求，但可以想象到，通过同时跟踪大鼠的头部位置并训练动物使其保持给定的工作量，可以至少部分地克服此要求。此外，人们可以想象使用以下方法描述的方法，即使用此处描述的系统估算动物眼睛的几何形状，但使用较小的（例如手机式）头戴式摄像头完成“在线”眼睛跟踪。
竟然有附代码
http://github.com/coxlab/eyetracker
