Участник камчатской экспедиции Степан Крашенинников в конце сентябре 1794 г., путешествуя по заданию И. Мессершмидта вниз по Томи от города Кузнецка до губернского Томска вел повёрстные дневниковые записи. С его слов река в ту осень сильно обмелела, да так сильно, что участникам сплава приходилось больше брести по воде пешком, протаскивая три тяжелые деревянные лодки по перекатам, нежели спокойно плыть в них по течению.

Интересен такой факт, что многие путешественники по Томи часто путают местоположения этих двух уникальных геологических объектов - Рябого (Поляковского) и Бабьего камня. Наверное, все дело расположенной выше в шести километров Бабьей протоки одноименной по своему названию с Бабьей горой, склоны которой как раз и образуют правый берег этой протоки. И верно - Бабья протока, Бабий камень, Бабья гора - все в одном месте и все логично. Однако турист проходящий Бабью протоку ни одного из вышеперечисленных камней не увидит. Есть правда там один скальный выступ, который легко можно спутать с Бабьим камнем. Возможно, это и происходит. Раз так часто встречается эта путаница на различных рыболовных форумах.