目前大型集装箱设备自动化升级改造领域普遍处于“机械自动化”阶段，设备严格按照设定好的程序执行，每一个动作都遵循“计划-检测-执行（检测）-校验”的基本逻辑。大量实践表明，在该技术路线的指引下，自动化改造普遍呈现安装元器件多、改造周期长、改造费用高、效率提升缓慢且“瓶颈”明显，针对上述问题，结合近年来AI技术泛化能力的进一步提升，拟开展基于AI的大型集装箱装卸设备智能操控关键技术研究，通过多目视频流感知作业场景与自动姿态，借助全景分割、动力学预测等AI算法，实现对设备自身与环境进行高层次语义级认知，借助强化学习算法直接输出主令手柄的控制指令，达到自动控制的目的。进而实现优化改造方案，达到作业效率持续提升，突破现有技术瓶颈，最终超过人工作业水平的目标。