Creo que, de hecho, somos capaces de hacer lo que usted propone.
La forma en que las computadoras hacen aritmética es moviendo los interruptores y moviendo bits alrededor, en lugar de hacer abstracciones de alto nivel sobre ellos. Es literalmente un proceso físico.
Los humanos pueden hacer lo mismo, como lo demuestran las personas competentes en Soroban. Esta es una forma mecánica de realizar cálculos, y aquellos que se vuelven competentes pueden pasar por alto el instrumento físico y pueden imaginar no uno, sino varios Sorobans en sus cabezas para realizar cálculos masivos. En realidad, pueden calcular más rápido de lo que las personas normales toman para escribir cosas en una calculadora.
Por otro lado, la mayoría de las personas hacen aritmética en un nivel de abstracción comparativamente más alto, barajando dígitos y generalmente empleando una variedad de técnicas. Esto naturalmente hace que las cosas sean más lentas y, aunque no estoy del todo familiarizado con los detalles, supongo que estos dos tipos diferentes de cómputo ocurren en diferentes secciones del cerebro.