Математические выражения для термодинамической энтропии в формулировке статистической термодинамики , установленной Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, аналогичны информационной энтропии Клода Шеннона и Ральфа Хартли , разработанной в 1940-х годах.
Определяющее выражение для энтропии в теории статистической механики , установленное Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, имеет форму:
где – вероятность микросостояния i , взятого из равновесного ансамбля , – константа Больцмана .
Определяющее выражение для энтропии в теории информации , установленное Клодом Э. Шенноном в 1948 году, имеет форму:
где — вероятность сообщения, взятого из пространства сообщений M , а b — основание используемого логарифма . Обычными значениями b являются 2, число Эйлера e и 10, а единицей энтропии является Шеннон (или бит ) для b = 2, nat для b = e и Хартли для b = 10. [1]
Математически H также можно рассматривать как среднюю информацию, взятую по пространству сообщений, потому что, когда определенное сообщение возникает с вероятностью p i , будет получено количество информации -log( p i ) (называемое информационным содержанием или собственной информацией).
Если все микросостояния равновероятны ( микроканонический ансамбль ), статистическая термодинамическая энтропия сводится к виду, заданному Больцманом:
где W — число микросостояний, соответствующее макроскопическому термодинамическому состоянию. Следовательно, S зависит от температуры.
Если все сообщения равновероятны, информационная энтропия сводится к энтропии Хартли.
где мощность пространства сообщений M .
Логарифм в термодинамическом определении — это натуральный логарифм . Можно показать, что формула энтропии Гиббса с натуральным логарифмом воспроизводит все свойства макроскопической классической термодинамики Рудольфа Клаузиуса . (См. статью: Энтропия (статистические представления) ).
Логарифм можно также перевести в натуральное основание в случае информационной энтропии. Это эквивалентно выбору измерения информации в нацах вместо обычных битов (или, более формально, в шеннонах). На практике информационная энтропия почти всегда рассчитывается с использованием логарифмов с основанием 2, но это различие сводится ни к чему иному, как к изменению единиц измерения. Один нат составляет около 1,44 шеннона.
Для простой сжимаемой системы, которая может совершать только объемную работу, первый закон термодинамики принимает вид
Но с таким же успехом можно записать это уравнение в терминах того, что физики и химики иногда называют «приведенной» или безразмерной энтропией, σ = S / k , так что
Как S сопряжено с T , так и σ сопряжено с k B T (энергией, характерной для T на молекулярном уровне).
Таким образом, определения энтропии в статистической механике ( формула энтропии Гиббса ) и в классической термодинамике ( и фундаментальное термодинамическое соотношение ) эквивалентны для микроканонического ансамбля и статистических ансамблей, описывающих термодинамическую систему, находящуюся в равновесии с резервуаром, таких как канонический ансамбль , большой канонический ансамбль , изотермически-изобарический ансамбль . Эта эквивалентность обычно показана в учебниках. Однако эквивалентность между термодинамическим определением энтропии и энтропией Гиббса не является общей, а является исключительным свойством обобщенного распределения Больцмана . [2]
Кроме того, было показано, что определения энтропии в статистической механике - это единственная энтропия, которая эквивалентна энтропии классической термодинамики при следующих постулатах: [3]
Несмотря на вышесказанное, между этими двумя величинами существует разница. Информационная энтропия Η может быть рассчитана для любого распределения вероятностей (если «сообщением» считать, что событие i , имевшее вероятность p i , произошло вне пространства возможных событий), тогда как термодинамическая энтропия S относится к термодинамической энтропии. вероятности p i конкретно. Однако разница скорее теоретическая, чем реальная, поскольку любое распределение вероятностей может быть сколь угодно близко аппроксимировано некоторой термодинамической системой. [ нужна цитата ]
Более того, между ними может быть установлена прямая связь. Если рассматриваемые вероятности представляют собой термодинамические вероятности p i : (приведенную) энтропию Гиббса σ можно рассматривать как просто количество информации Шеннона, необходимой для определения подробного микроскопического состояния системы с учетом ее макроскопического описания. Или, по словам Г. Н. Льюиса, писавшего о химической энтропии в 1930 году: «Прирост энтропии всегда означает потерю информации, и ничего больше». Если быть более конкретным, то в дискретном случае с использованием логарифмов по основанию два приведенная энтропия Гиббса равна среднему значению минимального количества вопросов типа «да-нет», на которые необходимо ответить, чтобы полностью определить микросостояние , при условии, что мы знаем макросостояние. .
Более того, рецепт нахождения равновесных распределений статистической механики, таких как распределение Больцмана, путем максимизации энтропии Гиббса с учетом соответствующих ограничений ( алгоритм Гиббса ) можно рассматривать не как нечто уникальное для термодинамики, а как принцип общего значения. в статистическом выводе, если требуется найти максимально неинформативное распределение вероятностей с учетом определенных ограничений на его средние значения. (Эти перспективы рассматриваются далее в статье « Термодинамика максимальной энтропии ».)
Энтропия Шеннона в теории информации иногда выражается в битах на символ. Физическая энтропия может рассчитываться на основе количества ( h ), которая называется « интенсивной » энтропией, вместо обычной полной энтропии, которая называется «экстенсивной» энтропией. «Шенноны» сообщения ( Н ) представляют собой его полную «обширную» информационную энтропию и в h раз превышают количество битов в сообщении.
Прямую и физически реальную связь между h и S можно найти, присвоив символ каждому микросостоянию, которое возникает на моль, килограмм, объем или частицу однородного вещества, а затем вычислив «h» этих символов. Согласно теории или наблюдениям, символы (микросостояния) будут возникать с разной вероятностью, и это будет определять h . Если имеется N молей, килограммов, объемов или частиц единицы вещества, соотношение между h (в битах на единицу вещества) и физической экстенсивной энтропией в нац.
где ln(2) — коэффициент перевода базы 2 энтропии Шеннона в естественную базу e физической энтропии. N h — количество информации в битах , необходимое для описания состояния физической системы с энтропией S. Принцип Ландауэра демонстрирует реальность этого, утверждая, что минимальная энергия E , необходимая (и, следовательно, выделяемое тепло Q ) при идеально эффективном изменении памяти или логической операции путем необратимого стирания или слияния N h бит информации, будет в S раз выше температуры, которая
где h — в информационных битах, а E и Q — в физических джоулях. Это подтверждено экспериментально. [4]
Температура является мерой средней кинетической энергии частицы в идеальном газе (Кельвины =2/3джоули/ k B ), поэтому единицы J/K для k B безразмерны (джоуль/джоуль). k b – коэффициент пересчета энергии в3/2 Кельвины в Джоули для идеального газа. Если бы измерения кинетической энергии на частицу идеального газа выражались в джоулях, а не в кельвинах, k b в приведенных выше уравнениях было бы заменено на 3/2. Это показывает, что S является истинной статистической мерой микросостояний, которая не имеет фундаментальной физической единицы, кроме единиц информации, в данном случае nats, что представляет собой просто утверждение того, какое основание логарифма было выбрано по соглашению.
Физический мысленный эксперимент , демонстрирующий, как простое обладание информацией может в принципе иметь термодинамические последствия, был установлен в 1929 году Лео Силардом в виде уточнения знаменитого сценария демона Максвелла [5] (и обращения мысленного эксперимента с расширением Джоуля ).
Рассмотрим установку Максвелла, но в ящике только одна частица газа. Если сверхъестественный демон знает, в какой половине ящика находится частица (что эквивалентно одному биту информации), он может закрыть ставень между двумя половинами ящика, беспрепятственно закрыть поршень в пустой половине ящика и затем извлечь джоули полезной работы, если снова открыть затвор. Затем частице можно позволить изотермически расшириться до своего первоначального равновесного занимаемого объема. Таким образом, при правильных обстоятельствах обладание одним битом информации Шеннона (одним битом негэнтропии в терминах Бриллюэна) действительно соответствует уменьшению энтропии физической системы. Глобальная энтропия не уменьшается, но преобразование информации в свободную энергию возможно.
Этот мысленный эксперимент был физически продемонстрирован с использованием фазово-контрастного микроскопа , оснащенного высокоскоростной камерой, подключенной к компьютеру, выступающему в роли демона . [6] В этом эксперименте преобразование информации в энергию осуществляется на броуновской частице посредством управления с обратной связью ; то есть синхронизировать работу, отданную частице, с информацией, полученной о ее положении. Вычисление энергетических балансов для различных протоколов обратной связи подтвердило, что равенство Яржинского требует обобщения, учитывающего объем информации, участвующей в обратной связи.
На самом деле можно обобщить: любая информация, имеющая физическое представление, должна каким-то образом быть встроена в статистические механические степени свободы физической системы.
Таким образом, Рольф Ландауэр утверждал в 1961 году, что если представить, что начиная с этих степеней свободы в термализованном состоянии, произойдет реальное снижение термодинамической энтропии, если их затем вернуть в известное состояние. Этого можно достичь только в условиях сохраняющей информацию микроскопически детерминированной динамики, если неопределенность каким-то образом сбрасывается куда-то еще – т.е. если энтропия окружающей среды (или не несущие информации степени свободы) увеличивается по крайней мере на эквивалентную величину, как требуется. согласно Второму закону, путем получения соответствующего количества тепла: а именно кТ ln 2 тепла на каждый стертый бит случайности.
С другой стороны, утверждал Ландауэр, нет никаких термодинамических возражений против того, чтобы логически обратимая операция потенциально достигалась в системе физически обратимым способом. Лишь логически необратимые операции – например, стирание бита до известного состояния или слияние двух вычислительных путей – должны сопровождаться соответствующим увеличением энтропии. Когда информация является физической, вся обработка ее представлений, т.е. генерация, кодирование, передача, декодирование и интерпретация, являются естественными процессами, в которых энтропия увеличивается за счет потребления свободной энергии. [7]
Применительно к сценарию «демон Максвелла/двигатель Сциларда» это предполагает, что можно «прочитать» состояние частицы в вычислительное устройство без затрат энтропии; но только в том случае, если устройство уже переведено в известное состояние, а не находится в термализованном состоянии неопределенности. Для ПЕРЕВОДА (или СБРОСА ) аппарата в это состояние потребуется вся энтропия, которую можно сохранить, зная состояние частицы Сциларда.
В 2008 и 2009 годах исследователи показали, что принцип Ландауэра может быть выведен из второго закона термодинамики и изменения энтропии, связанного с получением информации, развивая термодинамику квантовых и классических систем с обратной связью. [8] [9]
Энтропия Шеннона была связана физиком Леоном Бриллюэном с концепцией, которую иногда называют негэнтропией . В 1953 году Бриллюэн вывел общее уравнение [10] , утверждающее, что для изменения значения информационного бита требуется не менее кТл ln(2) энергии. Это та же самая энергия, которую производит двигатель Лео Силарда в идеалистическом случае, которая, в свою очередь, равна той же величине, найденной Ландауэром . В своей книге [11] он дополнительно исследовал эту проблему и пришел к выводу, что любая причина изменения значения бита (измерение, решение вопроса «да/нет», стирание, отображение и т. д.) потребует одинакового количества kT ln(2) , энергии. Следовательно, получение информации о микросостояниях системы связано с производством энтропии , а стирание дает производство энтропии только при изменении значения бита. Введение небольшого количества информации в подсистему, изначально находящуюся в тепловом равновесии, приводит к локальному уменьшению энтропии. Однако, согласно Бриллюэну, нарушения второго закона термодинамики нет, поскольку уменьшение термодинамической энтропии любой локальной системы приводит к увеличению термодинамической энтропии в другом месте. Таким образом, Бриллюэн прояснил значение негэнтропии, которая считалась спорной, поскольку ее более раннее понимание может привести к эффективности Карно, превышающей единицу. Кроме того, связь между энергией и информацией, сформулированная Бриллюэном, была предложена как связь между количеством битов, которые обрабатывает мозг, и энергией, которую он потребляет: Коллелл и Фоке [12] утверждали, что Де Кастро [13] аналитически нашел предел Ландауэра. как термодинамическая нижняя граница для вычислений мозга. Однако, хотя предполагается, что эволюция «отобрала» наиболее энергетически эффективные процессы, физические нижние границы не являются реалистичными величинами в мозге. Во-первых, потому что минимальной вычислительной единицей, рассматриваемой в физике, является атом/молекула, что далеко от реального способа работы мозга; и, во-вторых, потому что нейронные сети включают в себя важные факторы избыточности и шума, которые значительно снижают их эффективность. [14] Лафлин и др. [15] были первыми, кто указал точные величины энергетических затрат на обработку сенсорной информации. Результаты их исследований на мясных мухх показали, что для зрительно-сенсорных данных стоимость передачи одного бита информации составляет около 5 × 10 -14 Джоулей, или, что эквивалентно, 10 4 молекул АТФ. Таким образом, эффективность нейронной обработки все еще далека от предела Ландауэра, равного kTln(2) J, но, как ни странно, она все же намного эффективнее современных компьютеров.
В 2009 году Махуликар и Хервиг переопределили термодинамическую негэнтропию как специфический дефицит энтропии динамически упорядоченной подсистемы по отношению к ее окружению. [16] Это определение позволило сформулировать принцип негэнтропии , который, как математически показано, следует из 2-го закона термодинамики во время существования порядка.
Хиршман показал, [17] ср. Неопределенность Хиршмана , что принцип неопределенности Гейзенберга может быть выражен как конкретная нижняя граница суммы классических энтропий распределения квантовых наблюдаемых распределений вероятностей квантово-механического состояния, квадрата волновой функции в координатном, а также импульсном пространстве. , выраженное в планковских единицах . Полученные неравенства обеспечивают более жесткую границу для соотношений неопределенности Гейзенберга.
Имеет смысл приписать « совместную энтропию », поскольку положения и импульсы являются квантово-сопряженными переменными и, следовательно, не подлежат совместному наблюдению. Математически их следует рассматривать как совместное распределение . Обратите внимание, что эта совместная энтропия не эквивалентна энтропии Фон Неймана , −Tr ρ ln ρ = −⟨ln ρ ⟩. Говорят, что энтропия Хиршмана объясняет полное информационное содержание смеси квантовых состояний . [18]
(Неудовлетворенность энтропией фон Неймана с точки зрения квантовой информации была выражена Стотландом, Померанским, Бахматом и Коэном, которые ввели еще одно определение энтропии, которое отражает присущую квантовомеханическим состояниям неопределенность. Это определение позволяет различать энтропию фон Неймана с точки зрения квантовой информации. минимальная энтропия неопределенности чистых состояний и избыточная статистическая энтропия смесей [19] ) .
Мы продемонстрировали, что свободная энергия получается путем управления с обратной связью с использованием информации о системе; информация преобразуется в свободную энергию, что является первой реализацией демона Максвелла типа Сциларда.
