Для того чтобы применить математические средства для изучения информации, потребовалось отвлечься от смысла, содержания информации. Этот подход был общим для упомянутых нами исследователей, так как чистая математика оперирует с количественными соотношениями, не вдаваясь в физическую природу тех объектов, за которыми стоят соотношения.

Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической. Мало кто из выпускников физических факультетов может объяснить, что это такое. Большинство проблем с пониманием энтропии, однако, можно снять, если понять одну вещь. Энтропия качественно отличается от других термодинамических величин: таких как давление, объём или внутренняя энергия, потому что является свойством не системы, а того, как мы эту систему рассматриваем. К сожалению в курсе термодинамики её обычно рассматривают наравне с другими термодинамическими функциями, что усугубляет непонимание.

Идеальный газ. Уравнение состояния газа. Взаимосвязь давления, температуры и объёма. Механизмы рождения макропараметров в рамках «молекулярного бильярда». Первое начало термодинамики как закон сохранения энергии. Вывод уравнения Бернулли. Энтропия и второе начало термодинамики. Тепловые машины и цикл Карно. Энтропия информационная. Энтропия как неопределённость. Аксиоматический подход к определению энтропии. Принцип максимума энтропии. Подход статистической физики за пределами термодинамики.

В алгоритмической теории информации колмогоровская сложность объекта (такого, как текст) есть мера вычислительных ресурсов, необходимых для точного определения этого объекта. Колмогоровская сложность также известна как описательная сложность, сложность Колмогорова — Хайтина, стохастическая сложность, алгоритмическая энтропия или алгоритмическая сложность.

При передаче и хранении информация портится (шум в телефонной трубке, ошибки жесткого диска и так далее). Чтобы восстановить исходное сообщение в систему передачи следует ввести избыточность, иными словами, передавать вместо него более длинное закодированное сообщение. Так возникает понятие корректирующего кода (кода, исправляющего ошибки). Математически это приводит к задаче упаковки шаров в конечномерном векторном пространстве над конечным полем. Эта задача, в свою очередь, оказывается в значительной части эквивалентна проблеме расположения точек в проективном пространстве “в наиболее общем положении”. Здесь уже недалеко и до алгебраической геометрии. Конструкцию кодов по алгебраической кривой нетрудно рассказать, когда эта кривая — прямая.

Теория информации — математическая дисциплина, в которой одновременно применяются методы многих разделов математики: теории вероятностей, теории алгоритмов, комбинаторики. Она занимается, в числе прочих, вопросами — как лучше всего сжать файл? Сколько информации может содержать данное сообщение? Как возможно точно передать сообщение, несмотря на помехи в канале связи? Как защитить сообщение от несанкционированного доступа? Ключевые идеи о том как решать перечисленные задачи были изложены в статье К. Шеннона «Математическая теория информации», где впервые было введено понятие энтропии (количества информации) и намечены контуры будущей теории. Мы займёмся введением в теорию сжатия дискретных данных (в отличие от непрерывных; там — своя специфика). Рассмотрим несколько алгоритмов, которые применяются в универсальных архиваторах (zip, rar). А также сделаем первые шаги (определим понятия и докажем начальные теоремы) на пути, ведущем к теоретическому обоснованию эффективности этих алгоритмов.

Теория кодирования – это отличный повод поговорить о красивых задачах из алгебры и комбинаторики, о линейной алгебре и алгебраической геометрии над конечными полями, конечных геометриях, простых группах и алгоритмах, связанных с передачей информации. Программа курса: Основные задачи теория кодирования. Коды, исправляющие ошибки. Расстояние Хемминга и неравенство треугольника. Предварительные сведения из алгебры. Строение конечных полей. Линейная алгебра над конечными полями. Линейные коды и их характеристики. Код Хемминга. Совершенные коды. Двойственный код и тождество Мак-Вильямса. Эквивалентность кодов. Методы вычисления минимального расстояния для подпространства. Циклические коды и главные идеалы. Алгеброгеометрические коды. Грассманианы и плюккеровы координаты. Грассмановы коды и минимальные расстояния. Точки на минимальной сфере. Алгоритмы декодирования. Синдромы и минимальные представители. Коды Голея. Конечные геометрии и группы Матье.

На какие вопросы отвечает теория Больцмана и какова была её судьба? Легко ли утверждались кинетические представления о веществе в физике? Какую роль в науке сыграло статистическое понятие энтропии? Наконец, что может предложить теория Больцмана сегодня? Об уравнении Больцмана, полемике Больцмана с Махом и современных приложениях кинетической теории рассказывает доктор физико-математических наук, сотрудник Вычислительного центра РАН Владимир Аристов.

В обыденном окружении чаще всего призывают к целесообразности мыслей, поступков, решений. И, кстати, синонимы целесообразности звучат как «уместность, полезность и рациональность…» Вот только на интуитивном уровне кажется — чего-то не хватает. Энтропии? Беспорядка? Так его полно в физическом мире — утверждает ведущая программы, доктор физико-математических наук, Карима Нигматулина-Мащицкая. А гости программы пытались воссоединить в единое целое два понятия — энтропию и целесообразность. Участники программы: доктор философских наук, кандидат физико-математических наук, Владимир Буданов, и доктор физико-математических наук, Александр Панов.

Некоторое время назад мы с группой соавторов начали выводить второй закон термодинамики с точки зрения квантовой механики. Например, в одной из его формулировок, гласящей, что энтропия замкнутой системы не убывает, типично растет, а иногда остается постоянной, если система энергетически изолирована. Используя известные результаты квантовой теории информации, мы вывели некоторые условия, при которых это утверждение справедливо. Неожиданно выяснилось, что эти условия не совпадают с условием энергетической изолированности систем.