本发明提供了一种基于孪生神经网络利用模板比对的缺陷检测系统及方法,采用深度学习的检测方案,利用孪生神经网络,通过少量数据与先验知识在短时间内训练出优于人工检测漏检率的神经网络模型,所述模型为已训练完成基于孪生神经网络的深度学习模型,通过将待检产品图像与模板图像输入已训练网络得到缺陷的检测结果。本发明能够解决工业中有模板图像、少数据集、多目标类别的检测任务,同时网络亦可实现传统分类网络的功能,实现高精度的质量检测,有效满足带有模板图像的产品生产中对于视检缺陷的自动化检测的要求。