Компьютеры греются. Это знает каждый, кто хоть раз держал ноутбук на коленях час-другой. Виноваты несовершенство кремния, сопротивление проводников, паразитные токи. Уберешь все дефекты — и вычисления станут бесплатными. Ага.
Вот только это неправда. Даже абсолютно идеальный процессор, без единого недостатка в конструкции, обязан выделять тепло.
Но что, если…
Один человек с одним вопросом изменил понимание вычислений
Ральф Ландауэр эмигрировал из Штутгарта в США в 1938-м — семья была еврейской, выбора особо не было. Учеба в Гарварде, степень по физике в 1950-м, и потом почти полвека в IBM Research. Тихая карьера исследователя.
В июле 1961 года он опубликовал статью в IBM Journal of Research and Development — «Необратимость и генерация тепла в вычислительном процессе» (Irreversibility and Heat Generation in the Computing Process). Одиннадцать страниц. Но, увы, на нее почти не обращали внимания больше двадцати лет.
Если коротко, то Ландауэр заметил — некоторые операции с информацией необратимы. Если у вас есть бит, который может быть 0 или 1, и вы сбрасываете его в 0 — вы уничтожаете информацию. Два возможных состояния сжались в одно. Ну, и это нельзя отмотать назад. Логично, все понимают
И вот здесь — привет, термодинамика. Второе начало говорит — в замкнутой системе энтропия не убывает. Но вы только что уменьшили энтропию носителя информации — убрали неопределенность. Значит, где-то в другом месте энтропия обязана вырасти. Это другое место, собственно, окружающая среда. Тепло.
Минимальная цена стирания одного бита при температуре среды T:
E_min = kT · ln2
При комнатной температуре (T = 300 K) это примерно 2.87 × 10⁻²¹ джоуля. Три зептоджоуля. Цифра смехотворно маленькая — и при этом абсолютно неустранимая.
Демон, который должен был разрушить термодинамику
Мысленный эксперимент Джеймса Клерка Максвелла 1867 года звучит так. Представьте два отсека с газом. Между ними — маленькая дверца. Рядом сидит существо, которое видит скорость каждой молекулы: быстрых пускает в правый отсек, медленных — в левый. Правый нагревается, левый остывает. Работа сделана, а внешней энергии не потрачено. Второе начало нарушено.
И на вот этого демона потратили девяносто лет. Лео Силард в 1929-м показал, что само измерение скорости молекулы требует затраты энергии — kT · ln2 за каждый бит информации. Леон Бриллюэн в 1956-м развил эту идею в книге «Наука и теория информации» (Science and Information Theory) и ввел термин «негэнтропия» — отрицательная энтропия, которую информация несет с собой. Демон, измеряя молекулы, потребляет негэнтропию из среды.
Но Бриллюэн убивал демона на входе — в момент измерения. Ландауэр предложил другую точку атаки.
В 1982-1987 годах Чарльз Беннет из той же IBM сформулировал окончательный ответ. Измерение — обратимый процесс. Демон может наблюдать молекулу, не расходуя энергии. Проблема не в наблюдении.
Проблема в памяти. Демон запоминает скорость каждой молекулы. Его память конечна. В какой-то момент ее нужно стереть, чтобы продолжать работу. И вот именно здесь — предел Ландауэра. Каждый стертый бит памяти выделяет минимум kT · ln2 тепла. Это ровно компенсирует работу, которую демон якобы сделал бесплатно.
Демон не нарушает второй закон. Он, скажем так, просто переносит расплату.
Силард и один бит, который все объяснил раньше
Тут, кстати, важный исторический нюанс.
Лео Силард в 1929 году опубликовал работу О снижении энтропии в термодинамической системе посредством вмешательства разумных существ» (On the Decrease of Entropy in a Thermodynamic System by the Intervention of Intelligent Beings). Он упростил нашего условного демона Максвелла до предела — одна молекула, один цикл. Показал, что один цикл измерения и сортировки требует работы W = kT · ln2. Один бит информации — одна единица термодинамической стоимости.
Силард первым прочертил линию между битом и термодинамикой. Ландауэр тридцать лет спустя сделал из этого принцип применительно к вычислениям. Беннет потом собрал все вместе и, получается, убил демона окончательно.
Эксперимент с коллоидной частицей
Принцип Ландауэра оставался теоретическим почти пятьдесят лет. Слишком маленькие энергии, слишком сложно измерить.
В 2012 году группа из Высшей нормальной школы Лиона (École Normale Supérieure de Lyon) опубликовала в журнале Nature первое прямое экспериментальное подтверждение принципа.
Схема до предела элегантная. Одна коллоидная частица в воде. Два лазерных пятна создают двухъямный оптический потенциал — буквально два соседних кармана, в одном из которых сидит частица. Это и есть один бит памяти: левая яма — 0, правая яма — 1.
Стирание — операция, которая загоняет частицу в одну яму независимо от начального положения. Исследователи делали это медленно, квазистатически. И измеряли рассеиваемое тепло с помощью отслеживания движения частицы.
Результат — при достаточно медленном стирании среднее тепло насыщалось точно на уровне kT · ln2. Предел Ландауэра — не абстракция. Он реальный, физически измеримый.
Современные процессоры — а насколько далеко до предела
Предел Ландауэра при комнатной температуре — около 3 × 10⁻²¹ джоуля на бит. Три зептоджоуля.
Современные кремниевые транзисторы на 3-нанометровом техпроцессе (Apple M4 на TSMC N3E, например) потребляют на одно переключение порядка фемтоджоулей — 10⁻¹⁵ джоуля. Это на пять-шесть порядков больше предела Ландауэра.
Это не значит, что мы плохо работаем. Это значит, что запас есть, но он измеряется уже не миллиардами раз, а сотнями или тысячами. Старые учебники любят писать «в миллиард раз хуже предела» — эти цифры из 1980-х, когда считали полное потребление компьютерной системы, включая охлаждение, память и периферию. Для отдельного транзистора на современном узле разрыв много скромнее.
Так, ну и по прогнозам — к 2030-м инженеры могут довести реальное потребление до 50-60 предельных значений Ландауэра. И дальше кремний, к сожалению, упрется в физику по-настоящему.
Обратимые вычисления — можно ли обойти предел
Если тепло выделяется только при стирании — значит, нужно не стирать.
Ив Лесерф в 1963 году описал первую обратимую машину Тьюринга. Чисто теоретически, без связи с термодинамикой. Потом переключился на этнолингвистику — занятная биография.
Чарльз Беннет в 1973-м сделал шаг, который имел практический смысл. В том же Журнале исследований и разработок IBM, он показал: любые вычисления можно сделать обратимыми через схему «вычисли — скопируй результат — развычисли». Промежуточные шаги восстанавливаются в обратном порядке, информация не уничтожается, стирания нет.
Теоретически — вычисление без тепловых потерь.
Но вот на практике это чудовищно дорого по памяти и времени. Все промежуточные состояния нужно хранить. Обратимые компьютеры существуют как концепции и небольшие прототипы, не более.
Квантовые компьютеры, кстати, унитарны — их вентили обратимы по природе квантовой механики. Но измерение кубита и его ре-инициализация в |0⟩ — необратимые операции. Декогеренция — тоже фактически стирание информации. Предел Ландауэра никуда не исчезает даже там.
А что с будущим ИИ-ферм
Обучение большой языковой модели требует выполнения триллионов матричных операций. Каждая такая операция в конечном счете сводится к огромному числу переключений транзисторов. Даже самые современные транзисторы расходуют на одно переключение энергию примерно в сотни тысяч раз больше предела Ландауэра. Крупные вычислительные кластеры для обучения ИИ потребляют десятки мегаватт мощности, а новейшие ИИ-суперкомпьютеры уже приближаются к сотням мегаватт.
Причина не только в утечках, сопротивлении проводников или охлаждении. За ними скрывается фундаментальный термодинамический предел, к которому добавляются неизбежные накладные расходы из-за шума, требований надежности и необратимости современной логики.
Предел Ландауэра устанавливает дно. Мы все еще очень далеки от него, но впервые за историю вычислительной техники уже можем различить его на горизонте.
ссылка на оригинал статьи https://habr.com/ru/articles/1049346/