Sztolc był Niemcem tylko napół, po ojcu. Matka była Rosjanką. Religję wyznawał prawosławną. Rodzinną mową jego był język rosyjski. Nauczył się tego języka od matki i w szkole, w uniwersytecie, w zabawach z rówieśnikami na wsi, w rozmowach z ich ojcami i na bazarach moskiewskich. Znajomość niemieckiego języka zdobył po ojcu i z książek.
We wsi Wierchłowie, gdzie ojciec jego był rządcą, Sztolc wyrósł i chował się. W ósmym roku życia siedział już wraz z ojcem nad mapą geograficzną, czytał Herdera, Wielanda, biblję i robił rachunki dla włościan, mieszczan i fabrykantów, a z matką czytał historję biblijną, uczył się bajek Kryłowa i jako tako rozumiał Telemaka.
Oderwawszy się od książek i rachunków, pędził z wiejskimi chłopakami wybierać ptasie gniazda, a nieraz przy lekcji lub przy modlitwie z kieszeni jego odzywały się piski młodych kawek.
Bywało i tak, że ojciec po obiedzie siedzi pod drzewem w ogrodzie i pali fajkę, a matka robi coś na drutach lub wyszywa, gdy nagle z ulicy dolatują hałasy, krzyki i do domu wpada tłum ludzi.
— Co się stało? — pyta przestraszona matka.
