本发明公开了一种基于增量式关联神经网络和动态视听融合的自主认知发育系统及方法，包括：样本层、符号层和关联层三层网络结构；所述三层网络结构中包含视觉通路和听觉通路；所述视觉通路中：样本层，分别学习物体的原始形状和颜色特征，并进行自主聚类；符号层，接收形状和颜色样本层的自主聚类结果，并抽象为相应的符号；所述听觉通路中：样本层，学习名字的词向量；符号层，接收名字的词向量类别并简化为符号；所述关联层建立视觉通路和听觉通路中符号之间的关联关系，并根据已知的关联关系向低层网络反馈应答信号。基于自组织神经网络，能够自主发育物体概念和实现视听融合。