Подтверждение концепции

К настоящему моменту мы показали работоспособность нескольких ключевых элементов предлагаемой нами общей концепции.

Комбинаторное пространство

Мы реализовали решение задачи обучения с учителем для случая, когда входной и выходной сигналы заданы длинными бинарными кодами, связанными между собой сложными закономерностями. При этом нами предложен метод, позволяющий решать те же задачи, что традиционно решались нейронными сетями, но при этом свободный от многих недостатков нейронных сетей и обладающий рядом удивительных свойств.

Пространство контекстов

Для задачи зрительного восприятия различные пространственные повороты трехмерного объекта являются контекстами. Мы показали, что, используя архитектуру аналогичную нейросетевым автоэнкодерам, можно обучить такие контексты правилам преобразований. При этом можно добиться того, чтобы внутреннее представление информации у всех контекстов было одинаковым. Было проделанно обучение по рукописным символам, нанесенным на грани трехмерного куба. Мы показали, что пространство контекстов с высокой точностью позволяет определить не только что за символы изображены, но и углы разворота куба, на который эти символы нанесены.

Контексты и вычисления в памяти

Мы показали, что в рамках контекстно-смыслового подхода можно реализовать и объединить механизмы формальных грамматик и рекуррентных нейронных сетей с долгой краткосрочной памятью. Мы продемонстрировали это на примере парсинга произвольных текстов на русском языке.