![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Отчитываюсь
Dec. 29th, 2019 03:36 pmПодобрал в Экселе две недостающие формулы, и все, в общем, получилось. Обработаны 154 тысячи датированных регионо-событий В одно целое сведены пары типов событий, встречающиеся в одно время и в одном месте в более чем 20 % случаев (то есть, очевидно связанные) и средняя дата таких встреч. По сути, создана математическая модель всей человеческой истории - корректная модель, без человеческого фактора в моем лице. Даты взял традиционные, то есть, я в данном случае даже не ревизионист.
***
К этому я подбирался года три, - не было должного понимания. Теперь - всё. Можно расписывать.
Всё помещается в 4 колонки и 6 тысяч строк. Пары с очевидными, но случайными связями (типа нафталин-война) буду убирать. Впрочем, некоторые связи только кажутся случайными: так, обнаружил я пару "золото-фенол", глянул справочную статью, и оказалось, что именно фенолами восстанавливают драгметаллы из солей, в том числе и солей золота - так и написано. Это имело колоссальное финансовое значение в середине 19 века.
***
Фантастический по значению прорыв. Теперь, если даже что-то слетит или обнаружится ошибка, весь массив со всеми связями, датами и процентами можно заново создать часов за 10-12. В техническом смысле двигаться больше некуда: все, что требуется, теперь есть - в самом оптимальном виде.
***
Помехи будут, поскольку сдвиги внутри массива совершенно точно есть, однако эти помехи вторичны.
***
Особая благодарность создателям программы Excel: чтобы получить рабочее поле в 613 тысяч ячеек, я заставил Excel-2007 оценить порядка 44 млн. ячеек, и программа не повисла ни разу. До сих пор переживаю некоторый шок, - слишком долго был уверен, что это технически неисполнимо.
***
Итоговые 6 тысяч пар составляют от 613 тысяч менее 1 % вариантов, и надо понимать, что это лучший в смысле корреляции 1 %. Мусора, по сути, нет.
***
Поскольку большие массивы тяжелы, правильно будет взять небольшой кусок базы данных, скажем, на 20 тысяч строк, и в одном файле поэтапно этот кусок переработать в модель, попутно внятно объясняя, что и как делается. Так, чтобы эксперимент был абсолютно понятен и повторим любым человеком. В конце файла показать полную модель и то, какие выводы из нее следуют. Добавляя или удаляя индексы и увеличивая или уменьшая рассматриваемый период, или выбирая нужный регион, каждый желающий сможет создать свой вариант модели, и сделать свои выводы.
***
К этому я подбирался года три, - не было должного понимания. Теперь - всё. Можно расписывать.
Всё помещается в 4 колонки и 6 тысяч строк. Пары с очевидными, но случайными связями (типа нафталин-война) буду убирать. Впрочем, некоторые связи только кажутся случайными: так, обнаружил я пару "золото-фенол", глянул справочную статью, и оказалось, что именно фенолами восстанавливают драгметаллы из солей, в том числе и солей золота - так и написано. Это имело колоссальное финансовое значение в середине 19 века.
***
Фантастический по значению прорыв. Теперь, если даже что-то слетит или обнаружится ошибка, весь массив со всеми связями, датами и процентами можно заново создать часов за 10-12. В техническом смысле двигаться больше некуда: все, что требуется, теперь есть - в самом оптимальном виде.
***
Помехи будут, поскольку сдвиги внутри массива совершенно точно есть, однако эти помехи вторичны.
***
Особая благодарность создателям программы Excel: чтобы получить рабочее поле в 613 тысяч ячеек, я заставил Excel-2007 оценить порядка 44 млн. ячеек, и программа не повисла ни разу. До сих пор переживаю некоторый шок, - слишком долго был уверен, что это технически неисполнимо.
***
Итоговые 6 тысяч пар составляют от 613 тысяч менее 1 % вариантов, и надо понимать, что это лучший в смысле корреляции 1 %. Мусора, по сути, нет.
***
Поскольку большие массивы тяжелы, правильно будет взять небольшой кусок базы данных, скажем, на 20 тысяч строк, и в одном файле поэтапно этот кусок переработать в модель, попутно внятно объясняя, что и как делается. Так, чтобы эксперимент был абсолютно понятен и повторим любым человеком. В конце файла показать полную модель и то, какие выводы из нее следуют. Добавляя или удаляя индексы и увеличивая или уменьшая рассматриваемый период, или выбирая нужный регион, каждый желающий сможет создать свой вариант модели, и сделать свои выводы.
