История №1629062

ЛОЖЬ, НАГЛАЯ ЛОЖЬ И…

Статистика. Вырванная из контекста, она бывает хуже наглой лжи, но она также и мощный инструмент анализа, позволяющий делать выводы на основе недостаточных данных, предсказывать тренды и улавливать крохи смысла в хаосе энтропии. Чтоб далеко не ходить за примером, LLM — статистика в чистом виде. Думаете, шумиха с ИИ началась в 2023 году с ChatGPT? Нет, в тот год произошла лишь кристаллизация старой технологии в популярный феномен, переход количества в качество, а само понятие LLM существовало к тому моменту уже лет 30 (а концептуально-теоретический аппарат вообще лет 100; если же считать от скромного священника Байеса, то все 200).

…Прошедшие выходные выдались тихими и спокойными, я потер шаловливые ручки и для начала натравил на сайт anekdot.ru скрипт, который прошелся на десятилетие назад и скрупулезно сохранил все, до чего дотянулся из раздела «Истории». Был бы я хамом, поставил бы скачку в 1024 потока, но обошелся скромными 2 запросами в секунду, так что к вечеру исходная выборка уже покорно ждала парсинга.

Далее я посмотрел, что оттуда вообще можно квантифицировать, и распарсил всю эту груду html’а в единую базу данных. Прикинул, что легче и интереснее всего посчитать, даже ввел специфический «индекс раздора», и запилил простенький такой статанализ корпуса историй и комментариев к ним за 10+ лет. Нашлось кое-что смешное и любопытное, хотя и не особо полезное. Основная ценность была бы в полноценном лингвистическом анализе, но на это я пока не готов.

Знали ли вы, что:

• cамый урожайный день пришелся на 29 марта 2020 г., опубликовано 50 историй

• Некто Леша может считаться Почетным Электровеником Ан-Ру™ по количеству историй

• копипаста заполоняет и уверенно стремится ввысь, причем получает в среднем более высокие оценки, чем оригинальные местные истории

• а вот количество присылаемых историй снижается из года в год

• с какого-то перепугу даже в наше время некоторые авторы упорно меняют в текстах скрепную кириллическую «С» на гнилую капиталистическую «C», а «М» на «M» — так тлетворный Запад покушается на духоподъемные российские буквы

• старик Лоренц наглядно показал, что весь анекдот-ру держится на нескольких плодовитых талантах

• хотя 46% авторов лучших историй ограничились лишь одной

• с годами в историях и комментариях все меньше восклицательных и вопросительных знаков, к чему бы это?!

• одна из историй Камерера имеет рейтинг 0 из-за того, что «проголосовало за – 753, против – 753» — индекс раздора 100%

• истории, присланные 1 апреля, в среднем оцениваются на 29% выше, чем истории в другие дни; истории 31 декабря — на 10% выше, а вот 1 января средняя оценка почти на 40% ниже

• если смотреть «Лучшие прошлых лет», то 5 апреля и 22 января лидируют по сумме рейтингов историй за все годы

• ну и на закуску: самая короткая история за охваченный период состоит из 29 знаков и имеет рейтинг 1140 — поймет ли кто сразу, почему?

Все это и многое другое вы можете посмотреть, нажав на «Источник», где выложена полная аналитика с пруфами, графиками и ссылками. Извращенцам могу скинуть дамп базы для перепроверки расчетов (peer review никто не отменял).

Роль блэкджека и шлюх исполняют энграмы — специально для любителей корреляционного анализа. Если коротко, один энграм показывает частотное распределение определенного слова из корпуса текста по датам, а если совместить вместе два и больше энграма, то их графики наложатся друг на друга, что позволяет выявить интересные корреляции (как, например, на картинке ниже). К интерпретации нужно подходить, помня заголовок истории: резкий провал упоминаний Путина в 2022 году можно объяснить как усиленной модерацией, так и другими факторами, знать бы еще какими — нет идей? Ну хотя бы «хуй» не подкачал и остался на высоте.