认知体系作为人（rén）工智能的一个（gè）重要分支，它（tā）的研究（jiū）和应用经过了近40年的发展（zhǎn），已取（qǔ）得（dé）了可见的成果（guǒ）。

关（guān）于认（rèn）知体系的分类，目前相对主流的三大范式是：符号（hào）（也称为认知）、涌现（也称为联（lián）结（jié））和混合（hé）。到底哪一个正确地反映了人（rén）类的认知过程，仍（réng）然是一（yī）个悬而未决的问（wèn）题，在过去的30年（nián）里一直在争（zhēng）论.

符号范（fàn）式通常使用预定义指令集等符号（hào）来表示概念。指令（lìng）通常以（yǐ）if－then的规则形式执行，例如ACT－R， Soar等（děng）产生式体系。这是（shì）一种自然而（ér）直观的表示方式，因（yīn）此（cǐ）符号操作仍然是一种公认的表示方式之一。虽然符号（hào）范式（shì）擅长计划（规划）和推理（lǐ），但不具有处（chù）理环境变化和感知所需（xū）要的灵活（huó）性和鲁棒性。

涌（yǒng）现范（fàn）式（shì）通（tōng）常建立大规模并行模型来解（jiě）决适应性和学习问（wèn）题，例如神经网络模型，其数据来自输入（rù）节点。然而，由于信息或知识不再是一组可解释的符号实体（tǐ），而（ér）往往分布在整个网络中，这导致模型不（bú）再透明（míng）。在涌现模式中（zhōng），传统意义上的逻（luó）辑推理似乎（hū）成为不可能。

自然地（dì），每种（zhǒng）范式都有优缺（quē）点（diǎn）。一方面，任何符（fú）号体系（xì）结（jié）构创建初始知识（shí）库需（xū）要大量工作（zuò），可一旦完成，体（tǐ）系结构（gòu）就完全功能性。另一方（fāng）面，涌现体系结构更易于设计，但它们（men）必须经过大量训练才（cái）能产生（shēng）有用的行为；此外，他们的（de）现有（yǒu）知识（shí）可能随着（zhe）新（xīn）行为的学习而恶化。

由于符号和涌（yǒng）现范式都（dōu）不能解决认知（zhī）的所有（yǒu）问（wèn）题，混合范式试图结（jié）合（hé）符号（hào）和涌现（xiàn）的元素，这样的（de）混合体系在我们选择的架构中（zhōng）是（shì）最常见的。一（yī）般来（lái）说，混（hún）合方式没有限制，而且已经探（tàn）索了许多可能性（xìng）。除了考虑表示，还考虑系（xì）统（tǒng）是单模块还是多模块、异构还是（shì）同质（zhì），或考虑混合的粒度（dù）（粗粒度还是细（xì）粒度）、符号和子（zǐ）符（fú）号组件之间的耦合性。此外（wài），并不是所有的混合架（jià）构都明（míng）确地解决了所谓的符号和次符号元素以（yǐ）及将它们组合起来的（de）问（wèn）题。只（zhī）有少数几个体系（xì）结构，例如ACTR、CLARION、DUAL、CogPrime、CAPS、SiMA、GMU－BICA和（hé）Sigma，认为（wéi）这种（zhǒng）集（jí）成是必要的（de）。我们（men）将重点放在表（biǎo）示和（hé）处理上（shàng）。

图（tú）1显示了分类分组的组（zǔ）织结构。在顶层（céng）分成了：符号的、涌现的和混（hún）合的。关于（yú）这些术语的界定也是模糊的，即使对于最著名的架构（例如（rú）Soar和ACT－R）也不能（néng）达成一致。尽管（guǎn）两者（zhě）都将符号和次符号元素（sù）结合起来，ACT－R的作者明确地表达为混合（hé）模（mó）式，而Soar没有。各位学者的（de）观（guān）点也不一致，Soar和（hé）ACT－R在（zài）［14，15］中（zhōng）都（dōu）被称为符号主义（yì）者，而［16］将（jiāng）它们列为混合体。

图（tú）1

为了避免（miǎn）分组的不一（yī）致性，我们假设显式符（fú）号（hào）是符号表示的原子，可以组合成有意义的（de）表达式。这些符号用于推理（lǐ）或句法分（fèn）析。子符号表（biǎo）示通常与神经元的（de）隐（yǐn）喻（yù）联（lián）系在一起（qǐ），这（zhè）种表示的一个典（diǎn）型是神经（jīng）网络。在神经网（wǎng）络（luò）中，知识（shí）被编（biān）码为分（fèn）布在（zài）神经（jīng）元之间的数值（zhí）模式，与单（dān）元相关联的权重影（yǐng）响处理，并（bìng）通过学（xué）习获得。

对于我（wǒ）们的分类，我们假设任何非（fēi）显（xiǎn）式符号和处理（lǐ）（句法操（cāo）作（zuò）除外）都（dōu）是（shì）子符号（例如数值数据、像素（sù）、概率，传播激活（huó）、强（qiáng）化学习等）。结合了两种表示中的任意组合都被当作混合模式（shì）。给定这些定义，将标签（qiān）分配给所有（yǒu）架构并将它（tā）们可视（shì）化为图（tú）1。

我们区分了两类涌现类别：实现类生物神经元（yuán）的神经元（yuán）模型和更接近人工神经（jīng）网络（luò）的连（lián）接（逻辑）模式。在混（hún）合（hé）模式中，我们将符号（hào）子处理（其中符号（hào）模式与执行子符号计（jì）算模块相结合）作（zuò）为（wéi）混合模（mó）式的（de）一（yī）个子类，符号子处理组中（zhōng）的（de）架构至少包括一个（gè）用于感知处理的子符（fú）号模块，而（ér）其余的知识和（hé）处理是符号的，例如3T， ATLANTIS， RCS， DIARC， CARACaS and CoSy。虽然存在其他类（lèi）型的（de）功能组合（hé）（例如协（xié）同处理（lǐ）、元（yuán）处理和链处理），但是难以归类。因此（cǐ），其他的（de）都归类为完全集成的混合模（mó）式。完全（quán）集成的体系结构使用多种方法来组合不同的表示。ACT－R、Soar、CAPS、Copycat／metacat、CHREST、CHARISMA、CELTS、CoJACK、CLARION、REM、NARS和Xapagy将符（fú）号概念和具有次符号元素（如激活值、扩散激（jī）活、随机选择过程、强化学习等）的规则结合起来。

综（zōng）上所述，混合架构（gòu）是数量最多的一组，并显示出增长趋势。混（hún）合架构（gòu）根（gēn）据符号和（hé）次符号组（zǔ）件的比例和扮演的角色，在涌现范式和符号范式之间（jiān）形成一个连续（xù）统。例如，CogPrime和Sigma在概念上更接近于涌现系统，因为它们与神经网（wǎng）络有许多共同的属性。而REM、CHREST和RALPH以及3T和ATLANTIS，在（zài）很大程度（dù）上属于符号范（fàn）式（shì）；因为这些（xiē）架构（gòu）主（zhǔ）要是符号（hào）化的，虽然可以利用概率（lǜ）推理和（hé）学习机制（zhì）。

4 感知（perception）

虽然早期的认知结构主要侧重于高（gāo）层（céng）次的推理，但同样重要的是感（gǎn）知和行为。

感知可以定义为将（jiāng）原始（shǐ）输（shū）入数（shù）据转换为系（xì）统内部表示以（yǐ）执（zhí）行认知（zhī）任务的过程。根据输入（rù）数据的来源和性质（zhì）可以区分多种感（gǎn）知模式。例如，最常见的五种是视觉、听觉、嗅觉、触觉和味觉（jiào）；其他（tā）的（de）感觉（jiào）包括本体感觉、热感、痛觉、时（shí）间感等。

当然（rán），认知（zhī）结构也实现了其中的一些与人类感（gǎn）官无关（guān）的符号输入（使（shǐ）用键盘或图形用户界面（GUI））和（hé）各种传（chuán）感器（激光（guāng）雷达、激（jī）光（guāng）、红外等）。根据（jù）其认知功能，智（zhì）能系统可以（yǐ）将各（gè）种数量和类型的（de）数据（jù）作为感（gǎn）知输入（rù）。

因此（cǐ），本节将研（yán）究（jiū）使（shǐ）用各种数据输入，从这些数（shù）据源中提取信息以及如何应用这些信息（xī）的认知体系。图4中的将调研结果进行了可视化（huà）。

图2：视觉（jiào）（V）、听觉（jiào）（A）、触觉（T）、嗅（xiù）觉（jiào）（S）、本体感（gǎn）觉（P）、数据输入（D）、其（qí）他（tā）传感器（O）和多（duō）模态（tài）（M）

从（cóng）图（tú）2的可视（shì）化中可以观察（chá）到如下（xià）情况。例（lì）如（rú），视（shì）觉（jiào）是最常（cháng）用（yòng）的实现方式，然而，超过一半的体系使（shǐ）用模拟进行视觉（jiào）输入，而（ér）不是（shì）摄像机。触觉和本体感觉等方（fāng）式主要用于物理体现的设计（jì）。有（yǒu）些感知未被充分（fèn）探索，例如（rú）嗅觉只在三种体系中（zhōng）出（chū）现（GLAIR、DAC和PRS0）。总的来说，符号范式在设（shè）计上具有有限的感知能力，并（bìng）且倾向于使用直接（jiē）的（de）输入数据作为（wéi）唯一的信息（xī）来源（参（cān）见图的左（zuǒ）侧）。另（lìng）一方面，混合范式和涌现范式（主（zhǔ）要位于右（yòu）半部分图中（zhōng）的）使用模拟和物理（lǐ）传感器实现（xiàn）更广泛的（de）感（gǎn）知模式。然而，不管其来源（yuán）如何，传（chuán）入的感知（zhī）数据通常（cháng）不（bú）能以原始形式使（shǐ）用（除（chú）了符号输入之（zhī）外），往往需要进一步（bù）处理。下面将讨论在认体系中如（rú）何进行有效且充分（fèn）的感知处理。

4．1视觉（vision）

长期以来，视觉（jiào）是（shì）主要的感知模态，虽然（rán）最近的研究建议更平衡（héng）的（de）感知（zhī）体验观［17］，但认（rèn）知结（jié）构（gòu）的研究仍然以（yǐ）视觉为中心（xīn），相对也是研究最多的感知模态。尽管在机器人技术中，各种非视觉传感器（如声纳、超声波（bō）距离传感（gǎn）器）和本体感觉传感器（qì）（如（rú）陀螺（luó）仪、圆规）被（bèi）用于解决诸如导（dǎo）航、避（bì）障和搜索等视觉任务，但视觉（jiào）输（shū）入占所（suǒ）有可能输入模式的一半以（yǐ）上。根据Marr［18］的说法，视觉处理（lǐ）通常包括了三（sān）个不同的阶段：早期、中期和晚（wǎn）期。早期视觉技术是（shì）数（shù）据驱动的，涉及（jí）到（dào）对视觉场景的并行处理，提取（qǔ）简单（dān）的元素，如（rú）颜（yán）色、亮度、形状、运动（dòng）等（děng）。中期视觉技术将元素分组到区域中，然（rán）后（hòu）在后期进行进一步（bù）处理，以识别对象，并使用可用的知（zhī）识赋予它们意义。尽管（guǎn）Marr没有提到，但视（shì）觉注意机制、情感和（hé）奖励（lì）也会影响视觉处理的各个阶段［19］。因（yīn）此（cǐ），感知和认知在各（gè）个处（chù）理阶段都（dōu）是（shì）紧密关联的。

在（zài）认知体系中（zhōng），基（jī）于图（tú）像理解的视（shì）觉处理是（shì）分（fèn）阶段进（jìn）行的【20】。这些阶段包括：1）强度－位置－时间值（zhí）的（de）检测和分组（产生边缘、区域（yù）、流（liú）向（xiàng）量）；2）边（biān）缘、区域等（děng）的进一步分组（产生表面（miàn）、体积，边界、深度信息（xī）；3）对象识别及其运动识别；4）为实体（tǐ）建立以对象为中心（xīn）的（de）表示；5）基于（yú）任务为对象分配标签；6）时空推断（duàn）实（shí）体之间的关系。在这（zhè）里，只（zhī）有（yǒu）阶段（duàn）1代表Marr三阶段理论（lùn）的早期（qī）阶段，所有（yǒu）后（hòu）续阶段都需要一个（gè）附加的任务或世界（jiè）知识。已（yǐ）经在（zài）第2阶段，特（tè）征的分组可以由（yóu）被观察（chá）的特定对象的（de）视（shì）点信（xìn）息和知识来促（cù）进。最后，后期阶段（duàn）对（duì）从早期和中间处理（lǐ）结果中抽象出（chū）来的高级表示进（jìn）行推理和操作（zuò）。

值得注（zhù）意（yì）的是，在许多图（tú）像理解（jiě）的研究（jiū）中通过执行（háng）了隐式深度（dù）学习方法而实现的。在最近几（jǐ）年中，我（wǒ）们已（yǐ）经看到了深度学习（xí）在图像处理和（hé）自然（rán）语言（yán）处（chù）理很多卓越表现，然而令人惊讶的是很少认知架（jià）构使用它。在CogPrime、LIDA、SPA和BECCA中可以（yǐ）找到深度学习在简单视觉任务中的一些应用。

图5显示真实视（shì）觉和模拟视觉执行处（chù）理（lǐ）的各个阶段。真（zhēn）实视觉系统只接收像素（sù）级的输入（rù），而没有（yǒu）附加信息（xī）（如摄像机参数、物体（tǐ）的位置和特征等）。图（tú）像（xiàng）本身由相机生成，但（dàn）体系结（jié）构不（bú）需要（yào）连接到物理相机（jī）。模拟视觉系统通常（cháng）忽略早期（qī）和中期处理（lǐ）阶（jiē）段，并以适（shì）合视觉处理后期阶段（duàn）的（de）形式接（jiē）收（shōu）输入（例（lì）如形状和颜（yán）色的符号描述（shù）、对象标（biāo）签（qiān）、坐（zuò）标等）。技（jì）术（shù）上，任何不支持真（zhēn）实视觉或其他感知模式的（de）体系结构，都可以通过接（jiē）口进行扩（kuò）展，该（gāi）接口将其连接到（dào）传感器或将原始（shǐ）数据预处理（lǐ）为更合适的格（gé）式（如Soar、ACT－R）。但图5仅（jǐn）仅显示执行了什么样图像解释阶段，而（ér）没有反映出这样（yàng）处理的复杂性。

图5：这些阶（jiē）段从早期（qī）到（dào）后期依次为：1）特征，2）原型对（duì）象，3）对（duì）象，4）对（duì）象模型，5）对象标（biāo）签，6）空间关系（xì）

不同深浅的蓝色用来表示属于（yú）早期、中期（qī）和晚期视觉的过程（chéng）。这个具有真实和模（mó）拟视觉的架构分别显示在（zài）左栏和右栏中。每列中（zhōng）的顺序按字母顺序（xù）排列。

4．2基（jī）于传感器的视觉（jiào）（Vision using physical sensors）

大多数体系处理视（shì）觉各（gè）个阶段都是物理嵌入（rù）的，包括机（jī）器人（rén）控制、生物（wù）启发和（hé）仿生结（jié）构。早期视觉（步骤1）通常（cháng）涉及边缘（yuán）检（jiǎn）测和视差估计。然后（hòu）这些特（tè）征分组（步骤2）为具（jù）有（yǒu）类似特征（zhēng）（颜色、深度等）的东西，这些东西被解析为具有质心坐标的候（hòu）选对象（步（bù）骤3）。使用离线（xiàn）方式学习对（duì）象模型（步骤（zhòu）4），并可用于对候选对象进行分类（步（bù）骤5）。

基于生物启（qǐ）发的体（tǐ）系（xì）也（yě）使用计算机（jī）视觉算（suàn）法，并遵循类似（sì）的处理（lǐ）阶（jiē）段。例如，用于目标检测的神经网络（RCS、DIARC、Kismet），用于对（duì）象识别的（de）SIFT特征（DIARC），用于（yú）手（shǒu）部（bù）检（jiǎn）测和跟踪（zōng）的SURF特征、AdaBoost学习和高斯混合（iCub），用于（yú）识（shí）别人（rén）体并确（què）定年龄性别的Kinect和结合支持（chí）向量机的（de）LBP特征（RoboCog和CORTEX）。

在（zài）有（yǒu）些体系结构中，视觉与（yǔ）记忆（yì）、控（kòng）制系统的联系更加紧密，视（shì）觉（jiào）处理中的一些步（bù）骤（zhòu）与（yǔ）人类视（shì）觉系统有明显的相关性。其中一个例子是显著性（xìng）【saliency？】，它根据视觉刺激的（de）特征（zhēng）或（huò）与任务（wù）的相关性，对视觉（jiào）刺激（jī）的优先（xiān）级进行（háng）建模。因此，显著（zhe）性被用来寻（xún）找场（chǎng）景中感兴趣的区（qū）域（Kismet、ARCADIA、DIARC、iCub、STAR）。自（zì）我球（qiú），一（yī）种（zhǒng）在一些机器（qì）人结构中发现的结（jié）构，模拟了海（hǎi）马体在感觉信息和动（dòng）作整合中（zhōng）的功能，尽（jìn）管在生物学（xué）上不（bú）是合理的。本（běn）质上，自我球在机器人周（zhōu）围形成一（yī）个虚拟穹（qióng）顶，突出的物（wù）体（tǐ）和（hé）事件被映射到上面。这（zhè）个（gè）概（gài）念的各种实现包括在RCS、ISAC、iCub和MACSi中。

图2体（tǐ）系（xì）中的第三（sān）个亚（yà）组（zǔ）追求生物学上合理的视觉。其中（zhōng）一个最详细的例（lì）子是（shì）基于大脑腹（fù）侧通路解（jiě）剖的Leabra视觉系（xì）统（LVis）。它模拟了初（chū）级视觉皮层（V1）、纹状体外区（qū）（V2、V4）和下颞叶皮层（céng）（IT）。这些区域中的计算（suàn）大（dà）致对应于早期和中期处理步骤。LVis具有人（rén）类（lèi）视觉系统的其他特征，例如在（zài）更高（gāo）层次上的神经（jīng）元的更大的（de）感受野、层之间的相互（hù）联系以及限制跨层（céng）活动水平的反复抑制动力学。Darwin VIII（BBD）、SPA（Spaun）和ART的视觉系统也模仿了灵长类动物（wù）的腹侧视觉通路。

SASE架构并没（méi）有（yǒu）紧密地（dì）复制（zhì）人类的视（shì）觉系统（tǒng）。相反，它使用具（jù）有（yǒu）局部连接（jiē）的（de）层次神经网络（luò），每个神经元从（cóng）前一层的（de）限制（zhì）区域获得输入。一（yī）层（céng）内的感受野大小相（xiàng）同，并且在较（jiào）高的水平（píng）上增（zēng）加。该系统在一个室内（nèi）导航场景中的（de）帆式机（jī）器（qì）人上进行了测（cè）试。MDB、BECCA和DAC中实现了类似的（de）视觉方法。值（zhí）得指出（chū）的是，尽管涌现范式没有显式地将标签分配（pèi）给对象，但是它（tā）们（men）能够（gòu）形成场景中对（duì）象之间空间关系的某种隐式（shì）表示（比如向量表示（shì）），并将这些表示用于视觉导航等任务（BBD、BECCA、DAC、MDB、SASE）

4．3模（mó）拟视（shì）觉（jiào）（Simulated vision）

从图2可（kě）以明显看出，大多数（shù）模拟只支持视觉处理的后期阶段。最简（jiǎn）单的（de）模拟是（shì）由物体填充（chōng）的二维网格，例如ERE和PR使用的NASA TileWorld、GLAIR agents使用的Wumpus World、Ariadne agents使用（yòng）的（de）二（èr）维迷宫和CLARION social agents设计的部（bù）落模拟（nǐ）。网格环境（jìng）中的代理（lǐ）通常只能看到有限的（de）周围环境，每个方向只能看到几个单元格。Blocks world是另一个（gè）经典领域，其一般任（rèn）务是构建各种形状（zhuàng）和颜色的（de）块（kuài）堆栈（ACT－R、ICARUS、MIDCA。

尽管它（tā）们的复杂性和目的不同，不同的模拟（nǐ）通常提供（gòng）关于环境（jìng）的相同类型的（de）数据：对象、它们的（de）属性（颜色、形状、标签（qiān）等（děng））、代理本身的（de）位（wèi）置和属性、对（duì）象和环境因素之间的空间关系（xì）（例如天气和风向）。这种模拟（nǐ）主要用作可视化工具，与（yǔ）直接输入的数据相差不大，因为（wéi）几（jǐ）乎不需要任何感官（guān）处（chù）理。更高级的模拟将场景表示为（wéi）具（jù）有角点颜色和三维坐标的多边形，这些角点必须进（jìn）一步处理以识别对象（Novamente）。否（fǒu）则，3D模拟的视觉真实性（xìng）主要是为了美（měi）学和感官（guān），因为（wéi）信息是直接以符号形式提供的（例如（rú）CoJACK，Pogamut）。

如前所述，图（tú）2并不反映个体体系的环境或能力的复杂性差异（yì）。然而，在体（tǐ）现认知结构的环境之间的大小和真实性。例如，ATLANTIS控制的行星（xīng）漫游者在户（hù）外岩石地形（xíng）中进行越野导航。销售机器人Gualzru（CORTEX）在一个（gè）满是人的大房间里移动，iCub（MACsi）从桌子上识别并（bìng）捡起各种玩具。另（lìng）一方面（miàn），简单即没（méi）有（yǒu）障碍的环境也被（bèi）用（yòng）于（yú）认知结构（gòu）研究（jiū）（BECCA，MDB）。此外，颜色编码对象是简化视（shì）觉（jiào）处理的常用方法。例如，ADAPT跟踪一个红色（sè）在桌（zhuō）子上滚动（dòng）的球和DAC将自己朝向标记有不同（tóng）颜色（sè）的目标。此（cǐ）外，大多体系的（de）应用（yòng）只能（néng）识别少（shǎo）数不同的对象类别。只有Leabra能够（gòu）区分几十（shí）个对（duì）象（xiàng）类别。随着OpenCV、Cloud Point Library或Kinect API等可用软件工具包的普（pǔ）及，可视化处理的质（zhì）量大大提高。但在试图建（jiàn）立通用的生物（wù）学意义（yì）上的视觉系统（tǒng）模型，并没有取（qǔ）得太（tài）多进展。目前（qián），应用仅限于受控环境。

4．4听觉（Audition）

听觉是认知体（tǐ）系中一种常见（jiàn）的模态，因（yīn）为语音命令常常是用于指（zhǐ）导（dǎo）智能系统或（huò）与之通信。由于听觉模态是纯功能性的（de），许多体系结构使用可用的语音（yīn）到文（wén）本软件（jiàn）而不是开发听（tīng）觉模型。为数（shù）不多的进行了听觉（jiào）感（gǎn）知建模的（de）体系包括了ACT－R、SPA和（hé）EPIC。例如（rú），ARTWORD和ARTSTREAM被用来研究（jiū）音位整合和音源隔离（鸡尾酒（jiǔ）会问题）。基于ACT－R发展了一（yī）个音乐解释模型。

使用专用软件进行语（yǔ）音处理和通信（xìn）有助于实现复杂性和现实主义。例（lì）如（rú），在机（jī）器人应用中（zhōng），它允许销（xiāo）售机器人编写脚本在拥挤的房间里与人互动（CORTEX）或对话英语的子（zǐ）集（CoSy）。一个更（gèng）高级的（de）应用包括（kuò）使用（yòng）语音识别来完成这个任务通过电话向公共图书馆订购书籍（jí）（FORR）。使用现成语音的其他（tā）系统（tǒng）处理软件包（bāo）括PolyScheme和ISAC。在选（xuǎn）择的（de）体系（xì）中，大（dà）部分工作（zuò）都是针对自然语言处理，即（jí）语言（yán）和语音（yīn）所承载的语（yǔ）义（yì）信息，很少有人注意到据情感内容（如响度、语（yǔ）速和语调）。在这个方向上的一些（xiē）尝试都是社会机器人。例（lì）如，社交（jiāo）机器人Kismet不明白人们在（zài）说什么（me），但它可以根据演（yǎn）讲的韵律轮（lún）廓来确定赞（zàn）同（tóng）、禁止（zhǐ）或安慰。这个（gè）Ymir体系结构还具有韵律分（fèn）析器和基于语法的语（yǔ）音识（shí）别（bié）器（qì），可以理解（jiě）100个单词的有限（xiàn）词汇。甚至声音本身也可以作为线索，例如（rú），BBD机器人可以将自己定向到一（yī）个响亮的声音源。

4．5符号输入（rù）（Symbolic input）

符（fú）号（hào）输入（rù）结合了几种不同于（yú）物理（lǐ）传感和仿真模拟的输入，包括（kuò）了文本命令、数（shù）据以及通过GUI的输入。文（wén）本是用于执行规划和逻辑推理任务的（de）典型（xíng）输入形式（例如：NARS ， OSCAR ， MAX ， Homer ）。文本命令通常是根据（jù）体系结构中使用的（de）基元谓词编写的，因此不需要额外的解析（xī）。

4．6 多（duō）模态感知

在前（qián）面各节中，单独考虑了各（gè）种的感知模式。然（rán）而，在现实中（zhōng）人脑（nǎo）从不（bú）同的感官接收到源源不断的信息流（liú），并将其整合（hé）成一个关联（lián）的世界表征。认知结（jié）构也是如（rú）此，因为（wéi）近一半的认知结构有（yǒu）两种及（jí）以上不同的感知模式（图1）。并非所有这些模式可能出现在一（yī）个（gè）单（dān）一的体系中，大多数（shù）体系同时使用两种（zhǒng）不同的模式，例如视觉和听觉、视觉和符（fú）号输入或视觉和距离（lí）传（chuán）感器。除了少数（shù）例外，这些体（tǐ）系结构（gòu）基本上（shàng）执行了认知科学中的特征（zhēng）集成或机器（qì）人学中（zhōng）的传感器数据融合。显然（rán），可以（yǐ）使用不同（tóng）的（de）传感器，而不（bú）必显式地组合它们的输出。

多感知通过互补和冗余提高感知的稳健（jiàn）性，但在实（shí）践中，使用（yòng）许（xǔ）多不同（tóng）的传感器会带来许多挑战（zhàn），例如不（bú）完整或虚（xū）假或冲突的数据、具有不（bú）同属性的数据（例（lì）如维度或值范围）、对（duì）数据对齐和关联的需要等。机（jī）器人研（yán）究领域对这（zhè）些实际问（wèn）题进行了深入的研（yán）究，但（dàn）是（shì）还没有提出通用的（de）解决方案。每个（gè）解决（jué）方案（àn）都必须为特定的（de）应用（yòng）程（chéng）序定制（zhì），这是大多数（shù）认知架构采用的一种普（pǔ）遍做法（fǎ）。不（bú）幸的是，文献中很少有技术（shù）信息来确定（dìng）所（suǒ）使用的确（què）切（qiē）技（jì）术，并将它们（men）与已建立的分类（lèi）法联（lián）系起来。

总的来说，传感（gǎn）器（qì）集（jí）成（chéng）的特（tè）定实现依赖于用于（yú）推理和任务的知识表（biǎo）示。在典型的具有符号推理的体系结构中（zhōng），来自不（bú）同传感器的数（shù）据被独（dú）立（lì）地处理，并映射到以代理为中心的3D地图上，该地（dì）图可用于（yú）导航（CaRACAS ， CoSy）。在社（shè）会机（jī）器（qì）人的（de）应用中，世界的表（biǎo）现形式可以是一个围绕着主体的自我球体（tǐ），它包含以自我（wǒ）为中心的（de）坐（zuò）标和（hé）视觉检测（cè）对（duì）象的（de）属性，这些（xiē）都与通过三角（jiǎo）测（cè）量确定的声音位置相关联（ISAC，MACsi）。

RCS，一个具有层次结构的（de）模型，在（zài）每个层次上（shàng）都有一个具（jù）有相应世界表（biǎo）示的（de）感知处理模块（例如：像素（sù）图、3D模型、状态表等）。有些体系隐式（shì）地执行数据关联（lián）和对齐，即（jí）传感器数据和特征提取（例如，来自摄像机的物（wù）体坐标和来自激光的障（zhàng）碍物距离）是独（dú）立进（jìn）行的。然后将提取的信（xìn）息直接添（tiān）加到工作（zuò）内存。任何模棱两（liǎng）可和不一致都（dōu）可以通过高阶推理过（guò）程来解决。这是分布式（shì）体系结（jié）构中的一（yī）种常（cháng）见方法，其中独立模块同时（shí）为实现一个共同目标而工作（例如CERACRANIUM、Polyscheme、RoboCog、Ymir和（hé）LIDA）。

在许多（duō）受生物启发的体系中，不（bú）同传感器的（de）读数之间的关联被学（xué）习。例如，DAC使用Hebbian学（xué）习来建（jiàn）立（lì）数据对齐，以（yǐ）便将不（bú）同感知模式的神（shén）经表示映射到一个共（gòng）同（tóng）的框（kuàng）架，模拟大脑上丘的功能。ART通过神经融（róng）合（ARTMAP网络）将视觉和超声波感官（guān）信息集（jí）成到移动机器人导航中。同（tóng）样，MDB使（shǐ）用神经网络从传感器输入学习世界模型（xíng），并使（shǐ）用遗传算（suàn）法调（diào）整网（wǎng）络参数。

目前为（wéi）止提到的所（suǒ）有方法都有（yǒu）一些相似的（de）传感集成（chéng），因为都使（shǐ）用空（kōng）间和时间的接近或学（xué）习来消除多模态数据的（de）歧义。但总的（de）来说，只（zhī）有很少的体（tǐ）系在感知层面上追求（qiú）生物逼（bī）真（zhēn）度。唯（wéi）一（yī）的一个在生物学上看似合理的感知集成模型是用基（jī）于大（dà）脑的设备（BBD）体系，被称为Darwin XI的具体神经模型是用来研（yán）究多感觉信（xìn）息（来自触（chù）摸传感（gǎn）器（qì）、激光、相机和磁（cí）罗盘（pán））的（de）整合（hé）和在迷宫导航中的海马（mǎ）体（tǐ）［163］。Darwin XI的神（shén）经网络（luò）由大约80000个神经元和（hé）120万个突（tū）触组成，并模拟50个神经（jīng）区域。在损（sǔn）伤研（yán）究中，通（tōng）过去（qù）除一个或多个感（gǎn）觉输入并重新映射感觉神经元单元，证明了系统的鲁棒性。

一般来说，很多（duō）认知体系在（zài）很大程度上（shàng）忽略（luè）了跨模态交互作用。这些（xiē）体系，包括面（miàn）向生物和面向认知的，在（zài）处理（lǐ）不同的感（gǎn）知模式（shì）时通常采用模块（kuài）化的方法。同时，在过去几十年（nián）中进行的许多心（xīn）理和神（shén）经成像实验（yàn）表（biǎo）明，不（bú）同（tóng）的感知相（xiàng）互（hù）影响。例如，视觉改（gǎi）变（biàn）听（tīng）觉处理，反之（zhī）亦然。然而，据我们所（suǒ）知，一些仿生（shēng）体系，如（rú）上文提到的BBD，可能代表跨模态（tài）效（xiào）应，这个问题还有待调研（yán）。