Об алгоритме восстановления хронологии
Oct. 11th, 2018 07:10 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
chispa1707Суть дела: обязана существовать хронологическая связанность событий разного типа:
- сначала к городу подступает армия, и лишь потом заводят речь об откупе от штурма;
- сначала вводят новые юридические нормы, и лишь потом заводят речь о выкупе ленов;
- сначала инквизицию вводят, и лишь потом она приступает к сожжениям еретиков.
Поскольку в каждом случае мы видим два этапа единого процесса, она происходят почти одновременно, местами с разницей до года. То есть, что в половине случаев связанные процессы будут зафиксированы в одном календарном году, а в половине случаев - в двух сопредельных, и второй этап не может наступить раньше первого.
Если сопоставить все индексы со всеми в одном году и в двух сопредельных, будет получена выборка с числовыми значениями, в целом, верными. В тех местах, где итоговые правила последовательности соблюдаться не будут, наиболее вероятно, расположен "шов" между разными массивами. Я, к примеру, держусь гипотезы о 6-летнем шаблоне, и эта гипотеза подтвердится, если "швы" лягут каждые 6 лет. Однако, на деле, где швы лягут, там и будет реальная граница. Те же блоки данных, в которых все правила будут уверенно соблюдены, можно будет сопоставить и точно сказать, которые из них логические дубликаты друг друга.
Задачу можно и укрупнить: ввести индексы регионов, сверить не только сопредельные годы, но и разделенные 1, 2, 3 и так далее годами (лучше, если не более 5). Можно сверять сам факт события, а можно учитывать их общее число в году. Каждая новая порция сверямых данных лишь добавит точности.
Я этот путь уже прошел до конца - успешно. Помеха: трудоемкость. Я сверил массив по одному индексу типа событий, а таковых в моей базе 879, и полная выборка должна составить 879 в квадрате вариантов по всей шкале из 2,5 тысяч дат. Это порядка 2 млрд ячеек, и такой объем Эксель заведомо не тянет. Плюс, моими методами на это надо лет пять )))
Потребуется оптимизация, а еще лучше - новые способы сортировки. Но главное здесь то, что этот подход, вне всяких сомнений, вполне рабочий. Хронология действительно восстановима математическими методами.
- сначала к городу подступает армия, и лишь потом заводят речь об откупе от штурма;
- сначала вводят новые юридические нормы, и лишь потом заводят речь о выкупе ленов;
- сначала инквизицию вводят, и лишь потом она приступает к сожжениям еретиков.
Поскольку в каждом случае мы видим два этапа единого процесса, она происходят почти одновременно, местами с разницей до года. То есть, что в половине случаев связанные процессы будут зафиксированы в одном календарном году, а в половине случаев - в двух сопредельных, и второй этап не может наступить раньше первого.
Если сопоставить все индексы со всеми в одном году и в двух сопредельных, будет получена выборка с числовыми значениями, в целом, верными. В тех местах, где итоговые правила последовательности соблюдаться не будут, наиболее вероятно, расположен "шов" между разными массивами. Я, к примеру, держусь гипотезы о 6-летнем шаблоне, и эта гипотеза подтвердится, если "швы" лягут каждые 6 лет. Однако, на деле, где швы лягут, там и будет реальная граница. Те же блоки данных, в которых все правила будут уверенно соблюдены, можно будет сопоставить и точно сказать, которые из них логические дубликаты друг друга.
Задачу можно и укрупнить: ввести индексы регионов, сверить не только сопредельные годы, но и разделенные 1, 2, 3 и так далее годами (лучше, если не более 5). Можно сверять сам факт события, а можно учитывать их общее число в году. Каждая новая порция сверямых данных лишь добавит точности.
Я этот путь уже прошел до конца - успешно. Помеха: трудоемкость. Я сверил массив по одному индексу типа событий, а таковых в моей базе 879, и полная выборка должна составить 879 в квадрате вариантов по всей шкале из 2,5 тысяч дат. Это порядка 2 млрд ячеек, и такой объем Эксель заведомо не тянет. Плюс, моими методами на это надо лет пять )))
Потребуется оптимизация, а еще лучше - новые способы сортировки. Но главное здесь то, что этот подход, вне всяких сомнений, вполне рабочий. Хронология действительно восстановима математическими методами.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2018-10-11 04:54 pm (UTC)А почему не наоборот? Вначале, кто то объясняет кто такие еретики, почему их нужно сжигать и начинает это делать.
Затем власти институционализируют движение низов и организуют инквизицию, и люди ранее сжигавших еретиков становятся инквизицией. А может и до этого так себя называли, зачем придумывать новое слово.
Я еще с истории статистики СССР эпохи Сталина помню, вначале низовые руководители что то тихой сапой вводили, а потом решением Верховного совета/Съезда Советов СССР это все узаконивалось. Почему бы тоже самое не предположить для других архаичных образований?
no subject
Date: 2018-10-11 05:53 pm (UTC)осознание истории
Date: 2018-10-11 05:59 pm (UTC)Надеюсь, что обсуждение текста вызовет к жизни развертывание и углубление материала. т.е. пока обозначил главные реперные точки.
Re: осознание истории
Date: 2018-10-11 08:34 pm (UTC)На мой взгляд, упоминание меня в тексте слабо оправдано, главным образом, потому, что я как-то внутренне дистанцирован от всего этого понятийного блока. Точнее объяснить не могу.
Re: осознание истории
Date: 2018-10-12 02:22 am (UTC)Мне была бы интересна ваша точка зрения, и ваших читателей, и любые комментарии, особенно критические.
предупреждение:Я думаю, что некоторые люди после получения информации не смогут вернуться к общепринятому взгляду на историю, со многими последствиями.
Часть 1
https://lipot.livejournal.com/1798.html
Часть 2
https://lipot.livejournal.com/2119.html
Re: осознание истории
Date: 2018-10-12 11:53 am (UTC)А подробнее это где-то расписано?
Re: осознание истории
Date: 2018-10-12 08:37 pm (UTC)Re: осознание истории
Date: 2018-10-12 09:49 pm (UTC)Re: осознание истории
Date: 2018-10-12 10:46 pm (UTC)Как я понял, у вас есть своя система хронологии, намного более сложная чем рассматриваемая мной. Под свою систему хронологии вы собираете исторические события, чтобы потом из них сложить полную картину.
Я подумал, возможно, было бы интересно попробовать сложить собранные вами исторические события на базе таблицы из моего сообщения, и посмотреть какая получится полная картина в результате.
no subject
Date: 2018-10-11 06:46 pm (UTC)на мой взгляд до уровня математической безупречности взлететь невозможно. даже если будет совершено невозможное, вряд ли это будет принято безусловно.
извиняюсь за возможное хамство.
no subject
Date: 2018-10-11 08:38 pm (UTC)На деле, описанное мной этим постом - завершение примерно 6-8-летних поисков алгоритма. В своей правоте уверен, и даже имею черновые результаты со зверскими по силе последствиями.
Когда начну расписывать, многое станет понятнее - гарантированно.
Да, читателя следует щадить, я знаю. В меру сил щажу.
no subject
Date: 2018-10-12 07:54 am (UTC)no subject
Date: 2018-10-12 04:05 am (UTC)Написать стандарты для открытого проекта
Поставленная задача решится в определенном объеме попутно, а за 5 лет пытливые люди такого насопоставляют о чем и не мечтаем
no subject
Date: 2018-10-12 07:23 am (UTC)no subject
Date: 2018-10-12 07:56 am (UTC)no subject
Date: 2018-10-12 06:03 am (UTC)- берем первый год из списка, n
- подсчитываем количество событий по каждому индексу и региону
- подсчитываем то же самое по году n+1 и n-1
- производим какое-то, непонятное мне сейчас сравнение
- результат записываем в столбец (столбцы) с названием название_столбца
-------------
- ищем в итоговом столбце (что?)
После проработки этого алгоритма и нужно будет под него искать инструмент, а что за инструмент уже вторично, может эксель справится с минимальной автоматизацией.
no subject
Date: 2018-10-12 07:25 am (UTC)Главное то, что вчера я этим способом решил задачу восстановления хронологии. Действительно. Процесс поисков завершен.
no subject
Date: 2018-10-12 08:09 am (UTC)Результаты нужны? Их воспроизводимость нужна? Значит нужно описание процесса, что и как делается. Есть описание - будет результат, положительный или отрицательный это другой вопрос.
Рекомендую по диагонали просмотреть страницу 53 в этом издании:
http://webirbis.kgmu.kz/irbis64r_11/books/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D0%B4%D0%BE%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D0%B9_%D0%BC%D0%B5%D0%B4%D0%B8%D1%86%D0%B8%D0%BD%D1%8B_%D0%93%D1%80%D0%B8%D0%BD%D1%85%D0%B0%D0%BB%D1%8C%D1%82_%D0%A2.pdf
Книга называется "Как читать научные статьи". Интересное еще там со стр. 92.
no subject
Date: 2018-10-12 08:54 am (UTC)Я смотрю, какова вероятность того, что за событием А последует событие Б. В каждом году бывает до 50 и более свидетельств, с 50-80 и более типами событий. И каждый требуется сверить с каждым, чтобы найти является ли хронологически наступление события Б следствием того, что перед этим случилось А.
Вчерновую у меня все получилось, но по небольшой выборке. Имеет смысл сделать то же самое со всем массивом. И, важно, я чувствую, что этим способом возможно восстановить подлинную хронологию - именно потому. что успешно разыскиваются причинно-следственные связи.
Я чуть позже распишу то, что уже получил. Чрезвычайно любопытные результаты.
no subject
Date: 2018-10-12 09:33 am (UTC)Для зависимых событий все сложнее, так что имеют значение и такие нюансы.
no subject
Date: 2018-10-12 11:54 am (UTC)