Продолжение
V глава
МНЕ ПРИХОДИЛОСЬ уже говорить о том, что осуждение, которому в прошлые века подвергалось колдовство, теперь в умах многих людей переносится на современную кибернетику. Я вряд ли ошибусь, сказав, что еще лет двести назад ученый, пытавшийся создать машины, способные обучаться играм или размножаться, был бы облачен в «санбенито» - балахон для жертв инквизиции - и предан огню, ибо «пролития крови быть не должно». Избежать костра ему удалось бы разве лишь в том случае, если бы кто-нибудь из его высоких покровителей поверил, будто он владеет магическим искусством превращать простые металлы в золото, как некогда император Рудольф поверил пражскому раввину Лёви, что своими заклинаниями он способен вдохнуть жизнь в глиняного человека - Голема.
Но даже если бы в наше время явился изобретатель, который сумел бы доказать какой-либо компании по производству вычислительных машин, что его магия может ей пригодиться, он мог бы, ничем не рискуя, заниматься своей черной магией до второго пришествия.
· Что же такое колдовство и почему оно осуждается как грех?
· Почему глупый маскарад «черной мессы» вызывал такой гнев?
Ритуал «черной мессы» легче понять, если мы станем на точку зрения ортодоксального верующего. Для остальных это бессмысленная или даже непристойная церемония. Однако те, кто принимает в ней участие, гораздо ближе к ортодоксальной вере, чем большинство из нас думает. Главный элемент «черной мессы» не противоречит обычной христианской догме, по которой священник творит чудо, превращая дух в плоть и кровь Христа.
Верующий христианин и колдун сходятся на том, что, как только чудо превращения свершилось, божественная стихия способна творить новые чудеса. Они согласны, кроме того, и в том, что чудо перевоплощения может совершить только священнослужитель определенного сана. И, наконец, они согласны в том, что такой пастырь никогда не утрачивает свою чудотворную силу; если же он чудодействует, будучи отрешенным от сана, то ему грозит вечное проклятие.
Исходя из этих предпосылок, можно считать совершенно естественным и такой случай, когда некоему человеку - по натуре злому, но хитроумному - придет мысль получить власть над магическим духом и употребить его силы ради собственной выгоды. Именно в этом, а не в кощунственных оргиях и заключается главный грех «черной мессы».
Ведь магия духа по природе своей добра. Стремление направить ее к целям, противоположным вящей славе божьей - смертный грех. Таким и был тот грех, который библейская легенда приписывает Симону-волхву, пытавшемуся купить у апостола Павла чудотворные силы христианства.
Я хорошо представляю себе замешательство и огорчение бедняги, когда он узнал, что эти чудотворные силы не продаются и что апостол Павел отказался от сделки, по мнению Симона, честной, приемлемой и совершенно естественной.
Такое поведение апостола Павла поймет всякий, кому случалось отказываться от продажи своего изобретения, несмотря на весьма выгодные условия, предложенные ему каким-либо капитаном современной индустрии.
Христианство, что бы там ни говорили, всегда считало грехом симонию, то есть куплю и продажу церковных должностей и чудотворных сил, которые им приписывались. Данте считал этот грех одним из тягчайших; бесстыдно погрязших в нем современников он низверг на самое дно своего «Ада». Однако грех этот, бывший главным искушением в чрезвычайно суеверную эпоху Данте, безусловно, отмирает в современном, более рационалистическом и рациональном мире. Он отмирает! Он отмирает... Отмирает... ли?..
Пусть силы машинного века на самом деле нельзя считать сверхъестественными, но все же они не укладываются в представления простого смертного о естественном порядке вещей. И хотя мы больше не считаем своим долгом приводить эти колоссальные силы в движение ради вящей славы божьей, тем не менее, нам представляется неприемлемым пускать их в ход ради суетных или корыстных целей.
Грехопадение нашего времени в том, что магические силы современной автоматизации служат для получения еще больших прибылей или используются в целях развязывания ядерной войны с ее апокалиптическими ужасами.
Если этому пороку следует дать имя, мы вправе назвать его симонией или колдовством.
Ибо независимо от того, верят или не верят люди в бога, не все им дозволено. В отличие от покойного Адольфа Гитлера мы не достигли еще в своем надменном моральном безразличии того кульминационного пункта, который ставит нас по ту сторону добра и зла. И до тех пор, пока мы хотя бы в малейшей степени сохраним то нравственное чутье, которое позволяет различать добро и зло, применение великих сил нашего века в низменных целях будет в морально-этическом плане совершенно равнозначно колдовству и симонии.
Коль скоро существует возможность создания автоматов в металле или только в чертежах и расчетах, изучение их производства и теории является естественной фазой человеческой любознательности. Мощь человеческого разума сводится на нет, если сам человек ставит какие-то жесткие границы своей пытливости. И все же существуют аспекты автоматизации, которые выходят за рамки узаконенной любознательности и становятся греховными по своей сути. Это можно пояснить на примере технического руководителя особого типа, которого я назвал бы машинопоклонников.
Мне очень хорошо известны машинопоклонники нашего мира с их лозунгами свободного предпринимательства и экономики, основанной на стремлении к наживе. Я думаю, что машинопоклонники могут существовать и существуют и в коммунистическом мире.
Власть и жажда власти - это, к несчастью, реальные силы, которые выступают в разнообразных облачениях. Среди фанатичных жрецов силы встречается немало таких, которые нетерпимо относятся к ограниченным возможностям человечества, и в особенности к ограничениям, связанным с ненадежностью и непредсказуемостью человеческого поведения. Эти обычно скрываемые склонности руководителя можно выявить по облику подчиненных, которых он себе выбирает. Они смиренны, незаметны и готовы выполнить любое его распоряжение; именно поэтому они в общем-то оказываются беспомощными, когда неожиданно перестают быть только механическими исполнителями его воли. Способные проявить огромное усердие и в то же время почти лишенные собственной инициативы, они подобны евнухам в гареме идей, с которыми обвенчан их султан.
Помимо того что машинопоклонник преклоняется перед машиной за то, что она свободна от человеческих ограничений в отношении скорости и точности, существует еще один мотив в его поведении, который труднее выявить в каждом конкретном случае, но который тем не менее должен играть весьма важную роль. Мотив этот выражается в стремлении уйти от личной ответственности за опасное или гибельное решение. Побуждения такого рода проявляются в попытках переложить ответственность за подобные решения на что и на кого угодно: на случай, на начальство, на его политику, которую-де не положено обсуждать, или на механическое устройство, которое якобы невозможно полностью постичь, но которое обладает бесспорной объективностью.
Вероятно, мотивы такого же рода движут потерпевшими кораблекрушение, когда они тянут жребий, чтобы определить, кто должен быть съеден первым. Подобными аргументами искусно оперировала защита Эйхмана. Из таких же мотивов исходят и те, кто раздает одним солдатам, исполняющим приговор о расстреле, боевые патроны, а другим - холостые, тем чтобы каждый солдат так никогда и не узнал, участвовал ли он в убийстве. Несомненно, что подобными же уловками будет пытаться успокаивать свою совесть то высокопоставленное должностное лицо, которое осмелится нажать кнопку первой (и последней) атомной войны.
Это старый колдовской трюк, чреватый, правда, трагическими последствиями: после удачного исхода рискованного предприятия приносится в жертву первое встречное живое существо. Как только такой господин начинает сознавать, что некоторые человеческие функции его рабов могут быть переданы машинам, он приходит в восторг. Наконец-то он нашел нового подчиненного - энергичного, услужливого, надежного, никогда не возражающего, действующего быстро и без малейших размышлений!
Подчиненный такого типа выведен Чапеком в его пьесе «R. U. R.». Так же как и раб из «Лампы Аладдина», он ничего не требует. Он не просит каждую неделю выходного дня и не нуждается в телевизоре для своего жилища. Он даже не нуждается в жилище. Но стоит только потереть Лампу, как он появляется из ниоткуда. И если ради ваших целей вы решитесь пуститься в плавание против ветра общепринятой морали, ваш раб никогда не осудит вас, даже не бросит на вас вопрошающего взгляда. Теперь вы свободны плыть, куда вас влечет судьба!
Такая психология свойственна колдуну в полном смысле этого слова. Колдунов такого рода предостерегают не только церковные доктрины, но и органически присущий человечеству здравый смысл, выраженный в легендах, мифах и творениях здравомыслящих писателей. Все они сходятся на том, что колдовство не только грех, ведущий в ад, оно таит в себе опасность для самой жизни на Земле. Это обоюдоострый меч, который рано или поздно пронзит вас.
Здесь уместно вспомнить историю о рыбаке и Джинне из «Тысячи и одной ночи». Рыбак, забросив сеть вблизи берегов Палестины, выловил закупоренный глиняный кувшин с печатью царя Соломона. Он взламывает печать, и из кувшина вырывается столб дыма, принимающий форму гигантского Джинна. Джинн говорит рыбаку, что некогда он, Джинн, был одним из мятежников, которого великий царь Соломон замкнул в кувшин. Вначале Джинн намеревался вознаградить своего освободителя властью и богатством. Но проходили века, и тогда он решил умертвить первого же смертного, которого он встретит, и прежде всего своего освободителя.
На свое счастье, рыбак оказался находчивым малым, искусно владевшим оружием лести. Играя на тщеславии Джинна, он убеждает его показать, как такое огромное Существо может втиснуться в столь маленький сосуд. Джинн, доказывая это, снова влезает в кувшин. Рыбак тут же запечатывает его, бросает злосчастный кувшин в море и поздравляет себя со спасением. С тех пор он живет, не зная горя.
В других легендах герой, сталкиваясь с магией уже не столь случайно, либо оказывается на грани катастрофы, либо терпит полный крах. В стихотворении Гете «Ученик чародея» изображен юный слуга, который чистит одежду своего хозяина - волшебника, подметает пол и носит воду. Однажды, получив приказ наполнить бочку водой, слуга остался один. Подверженный той лени, что является истинной матерью изобретений (от такой же лени другой мальчишка, работавший у машины Ньюкомена, прицепил как-то веревку от крана, впускающего пар, к балансиру, создав тем самым первый автоматический клапан), гетевский ученик чародея, запомнил отрывки подслушанных им заклинании хозяина, произнес их и заставил метлу качать воду в бочку. Эту часть задачи метла исполняет быстро и энергично. Когда же вода начала переливаться через край бочки, мальчик вдруг обнаружил, что он забыл заклинания, которыми чародей останавливал метлу. Мальчик захлебывается и почти тонет в воде, но тут чародей, к счастью, возвращается, произносит несколько властных слов, усмиряющих бунт вещей, а затем задает своему ученику изрядную взбучку. Даже в этом случае катастрофу удается отвратить лишь с помощью deus ех mashina.
Джэкобс, английский писатель начала XX века, довел этот принцип до своего логического конца в повести «Обезьянья лапа», которая представляет собой один из классических образцов «литературы ужасов». В повести описывается английская рабочая семья, собравшаяся к обеду на кухне. Сын вскоре уходит на фабрику, а старики родители слушают рассказы своего гостя, старшего сержанта, возвратившегося из Индии. Гость рассказывает об индийской магии и показывает талисман - высушенную обезьянью лапу. По его словам, индийский святой наделил этот, талисман магическим свойством исполнять по три желания любого из трех своих последовательных владельцев. Гость говорит, что это подходящий случай испытать судьбу. Он не знает первых двух желаний предыдущего владельца талисмана, но ему известно, что последним желанием его предшественника была смерть. Сам он был вторым владельцем, но то, что он испытал, слишком страшно пересказывать. Гость уже намерен бросить волшебную лапу в камин, но хозяин выхватывает ее и, невзирая на предостережения, просит у нее двести фунтов стерлингов.
Через некоторое время раздается стук в дверь. Входит очень важный господин, служащий той фирмы, в которой работает сын хозяина. Со всей мягкостью, на которую он способен, господин сообщает, что в результате несчастного случая на фабрике сын хозяина погиб. Не считая себя ни в коей мере ответственной за случившееся, фирма выражает семье погибшего свое соболезнование и просит принять пособие в размере двухсот фунтов стерлингов. Обезумевшие от горя родители умоляют - и это их второе желание, - чтобы талисман вернул им сына... Внезапно все погружается в зловещую ночную тьму, поднимается буря. Снова стук в дверь. Родители каким-то образом узнают, что это их сын, но, увы, он бесплотен, как призрак. История кончается тем, что родители выражают свое третье и последнее желание: они просят, чтобы призрак сына удалился.
Лейтмотив всех этих историй - опасность, связанная с природой магического.
По-видимому, корни этой опасности кроются в том, что магическое исполнение заданного осуществляется в высшей степени буквально и что если магия вообще способна даровать что-либо, - то она дарует именно то, что вы попросили, а не то что вы подразумевали, но не сумели точно сформулировать.
Если вы просите двести фунтов стерлингов и не оговариваете при этом, что не желаете их получить ценою жизни вашего сына, вы получите свои двести фунтов независимо от того, останется ли ваш сын в живых или умрет!
Не исключено, что магия автоматизации и, в частности, логические свойства самообучающихся автоматов будут проявляться столь же буквально.
· Когда вы ведете игру, соблюдая все правила, и настраиваете машину так, чтобы она играла на выигрыш, вы получите его - если получите что-либо вообще, - но при этом машина не обратит ни малейшего внимания на любые соображения, за исключением тех, которые, согласно установленным правилам, приводят ее к выигрышу.
· Если вы ведете военную игру с некоторой условной интерпретацией победы, то победа будет достигнута любой ценой, даже ценой уничтожения вашей собственной стороны, если только сохранение ее жизнеспособности не будет совершенно четко запрограммировано в числе условий победы.
Это нечто большее, чем невинный парадокс. Мне определенно нечем опровергнуть предположение о том, что США и Россия вынашивают идеи использования машин, и в частности обучающихся машин, для того чтобы определить момент нажатия кнопки атомной войны - этого современного ultima ratio.
Испокон веков армии вели войны, которые всегда отставали от технических возможностей своего времени. Говорят, что в каждой войне хорошие генералы воюют так, как воевали в последней войне, а плохие генералы - как в предпоследней. Действительно, методы ведения боевых действий в «военной игре» никогда не поспевают за изменениями реальной обстановки. Это было верно всегда, хотя в периоды, изобиловавшие войнами, порой находилось достаточно воинов, считавших, что война, в которой они участвовали, протекала в сравнительно медленно изменявшихся условиях. Именно эти испытанные воины и являются военными экспертами в истинном смысле слова.
В настоящее же время экспертов ведения атомной войны не существует. Это значит, что нет таких людей, которые обладали бы каким-либо опытом в военном конфликте, где обе стороны располагают атомным оружием и применяют его. Разрушение городов в атомной войне, деморализация людей, голод, болезни и косвенные губительные последствия войны (которые могут вызвать значительно большее число жертв, чем взрывы и прямое выпадение радиоактивных осадков) - все это известно лишь предположительно.
Вероятно, поэтому и рядятся в патриотические одежды те, кто преуменьшает потери человечества и преувеличивает вероятность выживания народов в условиях мировой катастрофы нового типа. Но если атомная война приводит к полному самоуничтожению, а обычные военные действия теряют всякий смысл, то, очевидно, содержание сухопутных войск и военно-морского флота окажется в значительной мере бесцельным, а бедные, преданные службе генералы и адмиралы останутся без работы. Фирмы по производству ракет не будут больше иметь того идеального рынка сбыта, где все изделия предназначаются для однократного использования и поэтому не вступают в конкуренцию с продукцией, которую еще предстоит изготовить. Духовенство будет лишено возможности проявить свою восторженность и экзальтацию, всегда сопутствующие крестовым походам. Говоря короче, если начнется «военная игра» с подобной программой, то найдется много лиц, которые, упуская из поля зрения возможные последствия, потребуют свои двести фунтов стерлингов, забыв упомянуть, что сын должен остаться в живых.
Поскольку наше действительное желание всегда может быть выражено неточно, последствия этого могут стать чрезвычайно серьезными тогда, когда процесс исполнения наших желаний осуществляется не прямым путем, а степень их реализации не ясна до самого конца.
Обычно мы осуществляем наши желания, если вообще мы способны в самом деле осуществить их, с помощью процесса обратной связи, которая позволяет сравнивать степень достижения промежуточных целей с нашим восприятием. При таком процессе обратная связь проходит через нас и мы можем - пока еще не слишком поздно - повернуть назад. Если же механизм обратной связи встроен в машину, действие которой не может быть проконтролировано до тех пор, пока не достигнута конечная цель, вероятность катастрофы чрезвычайно возрастает. Мне, например, было бы в высшей степени неприятно участвовать в первом испытании автомобиля, управляемого при помощи фотоэлектрических устройств обратной связи, если бы в нем не было рукоятки, которая позволяет взять управление на себя в тот момент, когда замечаешь, что автомобиль несется на дерево.
Люди с психологией машинопоклонников часто питают иллюзию, будто в высокоавтоматизированном мире потребуется меньше изобретательности, чем в наше время; они надеются, что мир автоматов возьмет на себя наиболее трудную часть нашей умственной деятельности - как тот греческий философ, который в качестве римского раба был принужден думать за своего господина.
Это явное заблуждение. Целенаправленный механизм вовсе не обязательно будет искать путей достижения наших целей, если только мы не рассчитаем его специально для решения этой задачи. Причем в ходе проектирования такого механизма мы должны предвидеть все ступени процесса, для управления которым он создается, а не применять приближенные методы прогнозирования, эффективные лишь до определенного пункта, дальше которого расчеты ведутся при возникновении новых затруднений.
Расплата за ошибки в прогнозировании и в наше время достаточно велика, но она еще больше возрастет, когда автоматизация достигнет полного размаха.
В наше время стала очень модной идея предотвращения некоторых опасностей и в особенности угроз, связанных с атомной войной, при помощи автоматических устройств типа «fail-safe».
Идея эта основана на предположении, что действие устройства, вышедшего из заданного режима работы, можно обезвредить. Например, если обнаружено, что режим насоса ведет к аварии, то, пожалуй, гораздо лучше, чтобы она произошла от откачки воды, нежели от взрыва при избыточном давлении. Если мы имеем дело с хорошо понятой опасностью, техника автоматической защиты типа «fail-safe» правомерна и полезна. Однако она немногого стоит перед лицом еще не понятой опасности.
Например, когда отдаленная, но неизбежная опасность угрожает человечеству уничтожением, то лишь тщательное изучение общественных явлений позволит своевременно выявить эту роковую угрозу.
Однако потенциальные угрозы такого рода лишены опознавательных ярлыков. Поэтому, хотя методы «fail-safe», предназначаемые для блокировки опасных режимов работы автоматизированных систем, и могут стать необходимыми для предотвращения мировой катастрофы, их ни в коем случае нельзя считать достаточными.
Поскольку техника все в большей мере приобретает способность осуществлять человеческие намерения, их математическая формулировка должна стать все более и более обычным делом.
В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства.
Иными словами, хотя человечество в прошлом и сталкивалось со многими опасностями, с ними было значительно легче справляться благодаря тому, что во многих случаях угроза проявлялась односторонне.
· В век, когда голод становится большой угрозой, можно искать спасения в увеличении производства пищи, и оказывается, что угроза уже не столь велика.
· При высокой смертности (в особенности детской) и при очень слабом развитии медицины жизнь каждого человека была большой ценностью, и поэтому людям справедливо предписывалось плодиться и размножаться. Угроза голода оказывала на нас давление, подобное давлению силы тяжести, к которой всегда приспособлены наши мышцы, кости и сухожилия.
Перемены в напряженности современной жизни, вызванные появлением новых устремлений и исчезновением старых, можно сравнить с новыми проблемами космических полетов. Состояние невесомости в космическом корабле освобождает нас от постоянной, направленной в одну сторону силы тяжести, к которой мы привыкли в нашей повседневной жизни. Путешественнику в космическом корабле нужны рукоятки, чтобы держаться; нужны тубы, чтобы выжимать из них пищу и питье; нужны различные приборы, чтобы определять свое положение, и, хотя все эти приспособления помогают тому, чтобы физиологическое состояние путешественника не слишком, нарушалось все же он не может чувствовать себя так удобно, как ему хотелось бы. Сила земного притяжения столь же дружественна нам, сколь и враждебна.
· Точно так же, когда люди не страдают от голода, серьезными проблемами могут стать перепроизводство продуктов питания, бесцельность существования и расточительство.
· Развитие медицины - один из факторов, способствующих перенаселению, этой весьма серьезной угрозе, перед лицом которой стоит сейчас человечество. К старым принципам житейской мудрости, таким, например, как «копейка рубль бережет», - принципам, так долго служившим людям в прошлом, больше нельзя относиться как к бесспорным.
Как-то я присутствовал на обеде в кругу врачей. Непринужденно беседуя между собой и не боясь высказывать вещи необычные, они стали обсуждать возможности решительного наступления на болезнь, называемую дегенерацией человеческого организма, или попросту старостью.
Они не рассматривали этот вопрос вне конкретных возможностей и средств, необходимых для такого наступления, но основное внимание спорящих сосредоточилось на его конечных результатах.
Собеседники стремились заглянуть вперед, в тот, быть может, не такой уже далекий завтрашний день, когда момент неизбежной смерти можно будет отдалять, вероятно, в необозримое будущее, а сама смерть станет столь же случайной, как это бывает у гигантских секвой и, кажется, у некоторых рыб.
Я не утверждаю, что они были правы в своих предположениях (и я совершенно уверен, что они и не претендовали на что-либо большее, чем предположения), но имена ученых, поддерживающих эту гипотезу, были настолько авторитетны - среди них был даже нобелевский лауреат, - что я не мог себе позволить отнестись к их высказываниям пренебрежительно.
И хотя гипотеза будущего сверх долголетия человека на первый взгляд могла показаться чрезвычайно утешительной, ее осуществление было бы страшным несчастьем, и прежде всего для врачей. Ибо сразу становится ясным одно - человечество не смогло бы долго вынести бесконечного продления всех жизней, которые рождаются на Земле.
И дело не только в том, что часть населения, не способная поддерживать собственное существование, намного превзойдет числом ту часть населения, от которой ее существование зависит; беда и в том, что, пребывая в вечном неоплатном долгу перед пришельцами из прошлого, мы окажемся совершенно неподготовленными к решению тех проблем, которые поставит перед нами будущее.
Ситуация, при которой жизнь всех граждан может продолжаться сколь угодно долго, немыслима. Если же, однако, возможность бесконечного продления жизни осуществится, то решение положить предел чьей-либо жизни или хотя бы отказаться от продления ее станет делом врачебной морали.
Но как же тогда быть с престижем врачей, в которых мы привыкли видеть священнослужителей, борющихся со смертью, беззаветных слуг милосердия?
Я допускаю, что даже в наше время встречаются случаи, когда врачи считают своим долгом не принимать меры для продления жизни бесполезной, невыносимо мучительной. Не лучше ли отказаться от перевязывания пуповины новорожденному уроду и облегчить смерть старику, страдающему от не оперируемого рака и гибнущему от гипостатической пневмонии, этого «друга стариков», вместо того чтобы ценой нечеловеческих страданий еще немного продлить его жизнь. Чаще всего такие вещи делаются без шума и с должным соблюдением приличий, и только когда какой-нибудь невоздержанный на язык дурак выбалтывает врачебную тайну, она становится достоянием газет и судов, поднимающих шум о «насильственном умерщвлении».
· Но что будет, если подобные решения станут не редким и непредвидимым исключением, а должны будут приниматься почти в каждом случае, связанном со смертельным исходом?
· Что будет, если каждый больной начнет относиться к врачу не только как к спасителю, но и как к своему возможному палачу?
· Сможет ли врач нести бремя доверенных ему сил добра и зла?
· Сможет ли человечество само выносить этот новый порядок вещей?
Относительно легко отстаивать добро и сокрушать зло, когда они четко отделены друг от друга разграничительными линиями и когда те, кто находится по ту сторону, - наши явные враги, а те, кто по эту сторону,- наши верные союзники. Но как быть, если в каждом случае мы должны спрашивать, где друг и где враг? Как же нам быть, если, помимо этого, мы еще передали решение важнейших вопросов в руки неумолимого чародея или, если угодно, неумолимой кибернетической машины, которой мы должны задавать вопросы правильно и, так сказать, наперед, еще не разобравшись полностью в существе того процесса, который вырабатывает ответы?
Можно ли в этих условиях доверять обезьяньей лапе, у которой мы попросили двести фунтов стерлингов?
Нет, будущее оставляет мало надежд для тех, кто ожидает, что наши новые механические рабы создадут для нас мир, в котором мы будем освобождены от необходимости мыслить. Помочь они нам могут, но при условии, что наши честь и разум будут удовлетворять требованиям самой высокой морали.
Мир будущего потребует еще более суровой борьбы против ограниченности нашего разума, он не позволит нам возлежать на ложе, ожидая появления наших роботов-рабов.
VI глава
ОДНА ИЗ ВЕЛИКИХ ПРОБЛЕМ, с которой мы неизбежно столкнемся в будущем, - это проблема взаимоотношения человека и машины, проблема правильного распределения функций между ними. На первый взгляд может показаться, что машина обладает рядом очевидных преимуществ. В самом деле, она работает быстрее и с большим единообразием или по крайней мере может обладать этими свойствами, если ее правильно построить. Цифровая вычислительная машина за один день может выполнить такой объем работы, с которым целой команде вычислителей не справиться и за год, притом работа будет выполнена с наименьшим количеством ошибок.
Вместе с тем человек обладает несомненными преимуществами. Не говоря уже о том, что любой разумный человек во взаимоотношениях с машиной считает первостепенными свои, человеческие цели, машина в сравнении с человеком далеко не так сложна, а сфера ее действий, взятых в их многообразии, гораздо меньшее Если объем нейрона серого вещества мозга мы примем равным ₁/₀₀₀ ₀₀₀ кубического миллиметра, а объем наименьшего из современных транзисторов - порядка одного кубического миллиметра, то такая оценка не будет слишком неблагоприятной с точки зрения преимуществ нейрона. Если белое вещество мозга считать эквивалентным схеме соединений вычислительной машины, а каждый нейрон рассматривать как функциональный аналог транзистора, то гипотетическая вычислительная машина, эквивалентная мозгу, разместилась бы в шаре около девяти метров диаметром.
В действительности было бы невозможно построить вычислительную машину с плотностью монтажа, в какой-то мере сходной с относительной плотностью мозгового вещества, а любая вычислительная машина, по своим возможностям сравнимая с мозгом, имела бы размеры довольно большого административного здания, если не небоскреба. Вряд ли можно считать, что мозг в сравнении с современными вычислительными машинами не имеет определенных преимуществ, связанных с его огромным функциональных диапазоном, несоизмеримо большим, чем можно было бы ожидать, учитывая его физические размеры.
Главное из этих преимуществ - по-видимому, способность мозга оперировать с нечетко очерченными понятиями. В таких случаях вычислительные машины, по крайней мере в настоящее время, почти не способны к само программированию. Между тем наш мозг свободно воспринимает стихи, романы, картины, содержание которых любая вычислительная машина должна была бы отбросить, как нечто аморфное. Отдайте же человеку - человеческое, а вычислительной машине - машинное.
В этом и должна, по-видимому, заключаться разумная линия поведения при организации совместных действий людей и машину.
Линия эта в равной мере далека и от устремлений машинопоклонников, и от воззрений тех, кто во всяком использовании механических помощников в умственной деятельности усматривает кощунство и принижение человека. В наше время мы остро нуждаемся в объективном изучении систем, включающих и биологические, и механические элементы. К оценке возможностей этих систем нельзя подходить предвзято, то есть с позиций механистического или антимеханистического толка. Я думаю, что такие исследования уже начались и что они позволят лучше понять проблемы автоматизации.
Одна из областей, в которых мы можем использовать и используем такие смешанные системы, - это создание протезов, устройств, которые заменяют конечности или поврежденные органы чувств. Деревянная нога - это просто механическая замена утраченной ноги из плоти и крови, а человек с деревянной ногой представляет собой систему, состоящую из механических и биологических элементов.
Пожалуй, классическая деревяшка вместо ноги не столь интересна, поскольку она заменяет утраченную конечность самым примитивным способом; ненамного больший интерес представляет и деревянный протез, имеющий форму ноги. Впрочем, немалая работа над созданием искусственных конечностей ведется в России, США и в других странах группой ученых, к которой принадлежу и я. Эта работа по своим принципам намного интересней, так как она действительно использует кибернетические идеи.
Представим себе, что человек лишился кисти руки. Он лишился некоторых мышц, которые позволяли ему в основном сжимать и разжимать пальцы, однако большая часть мышц, обычно двигающих рукой и пальцами, сохранилась в культе локтевой части руки. При соответствующем воздействии эти мышцы, хотя они и не могут привести в движение кисть или пальцы, которых нет, вызывают определенные электрические эффекты, называемые потенциалами действия. Эти потенциалы могут восприниматься соответствующими электродами, а затем усиливаться и комбинироваться транзисторными схемами. Такие потенциалы можно использовать для управления движениями искусственной руки при помощи миниатюрных электромоторов, которые питаются от батарей или аккумуляторов, а сигналы управления получают от транзисторных усилителей. Источником управляющих сигналов служит обычно центральная часть неповрежденной нервной сети, которая и должна быть использована в таких случаях.
Подобные искусственные руки уже были изготовлены в России, и они даже позволили некоторым инвалидам вернуться к продуктивному труду. Это стало возможно благодаря тому, что некоторые нервные сигналы, которые вызывали эффективную мышечную реакцию до ампутации, остаются эффективными и при управлении искусственной рукой при помощи миниатюрного электромотора. Поэтому изучение возможностей использования таких искусственных рук стало гораздо более легким и естественным делом.
Однако искусственная рука в подобном виде не может осязать предметы, тогда как естественная рука служит в такой же мере органом осязания, как и движения. Но позвольте, почему же искусственная рука не может осязать? Не представляет труда вмонтировать датчик давления в пальцы искусственной руки так, чтобы электрические импульсы передавались от них в соответствующую цепь. Последняя в свою очередь заставляет работать устройство, воздействующее на живую ткань, например на кожу культи. Такими устройствами могут быть, например, вибраторы. Этим методом мы можем вызвать искусственное осязательное ощущение и научиться заменять им аналогичные естественные восприятия. Более того, в поврежденных мышцах имеются чувствительные (сенсорные) кинестетические элементы, которые могут быть также использованы для подобных целей.
Таким образом, становится возможной новая техника протезирования, основанная на создании смешанных систем, состоящих из биологических и механических частей. Однако новую технику не следует ограничивать только задачами замены утраченных частей тела.
Существуют протезы и для таких органов, которых человек не имеет, и никогда не имел. Дельфин прокладывает себе путь в воде при помощи плавников и обходит препятствия, вслушиваясь в отраженные от них звуки, которые он сам порождает. Что такое винт корабля, как не пара искусственных плавников? А не является ли эхолот, измеряющий глубину моря под кораблем, заменителем биологических механизмов, излучающих и обнаруживающих звук, подобных тем, которые есть у дельфина? Крылья и реактивные двигатели самолета заменяют крылья орла, а радиолокатор заменяет его глаза, в то время как «нервная система», которая объединяет и координирует эти органы, - это автопилот и другие навигационные устройства.
Следовательно, механобиологические системы находят широкое применение, а в некоторых случаях просто незаменимы. Мы уже видели, что обучающиеся машины должны действовать в соответствии с некоторыми нормами «хорошего» поведения. Определение этих норм не вызывает затруднений в случае играющих автоматов, когда допустимые ходы произвольно устанавливаются заранее, а цель игры - выигрыш, достигаемый по правилам, которые определяются, исходя из строгих условий выигрыша или проигрыша. Однако существует много видов деятельности, которые мы хотели бы усовершенствовать с помощью процесса обучения; их успешность может быть оценена на основе ряда критериев, включающих суждения человека. Преобразование таких критериев в формальные правила - нелегкая задача.
Одна из сфер человеческой деятельности, которая остро нуждается в автоматизации и где ощущается потенциальная необходимость в самообучающихся автоматах, - это машинный перевод. В свете нынешнего метастабильного состояния международной обстановки США и Россия испытывают взаимную потребность в информации о том, что говорит и думает другая сторона. Поскольку в обеих странах число высококвалифицированных переводчиков ограниченно, каждая страна исследует возможности машинного перевода. Такой перевод, выполняемый по определенному образцу, осуществим, но ни его литературные, ни смысловые достоинства не вызвали большого энтузиазма в обеих странах.
Ни одна из систем машинного перевода не доказала, что она заслуживает доверия в тех случаях, когда от точности перевода зависит принятие важных решений.
Вероятно, наиболее обещающий путь автоматизации перевода состоит в применении обучающихся машин. Для обеспечения успешной работы таких машин должен быть найден твердый критерий хорошего перевода.
Такой критерий можно получить двумя путями: либо мы должны иметь полный набор объективно применяемых правил, позволяющих оценить качество перевода, либо мы должны располагать средством, которое само способно выработать и применить критерий хорошего перевода независимо от таких правил.
Обычный критерий хорошего перевода - его понятность. Люди, читающие текст перевода, должны получить то же впечатление, что и люди, читающие этот текст на языке оригинала. Если использовать такой критерий затруднительно, то можно дать другой - необходимый, хотя и недостаточный. Представим себе, что у нас есть две независимые переводные машины: одна, например, переводит с английского языка на датский, другая - с датского на английский. После того как первая машина переведет с английского на датский, пусть вторая машина выполнит обратный перевод с датского на английский. В этом случае окончательный перевод должен быть эквивалентен (с допустимыми расхождениями) оригиналу, что устанавливается лицом, знающим английский язык.
Можно представить себе набор формальных правил такого перевода, настолько четко определенных, что их можно доверить машине, и притом столь совершенных, что они позволят получить перевод, удовлетворяющий данному выше критерию. Я не думаю, однако, что наука о языке продвинулась настолько, что она способна уже сегодня дать нам такой набор правил, или что вообще существуют какие-либо перспективы для такого прогресса в ближайшем будущем. Говоря кратко, положение вещей таково, что в машинном переводе всегда есть вероятность ошибки. Если на основании данных машинного перевода принимается какое-либо ответственное решение, связанное с конкретными действиями или политикой, то небольшая ошибка или даже малая ее вероятность могут привести к чрезвычайно серьезным последствиям.
На мой взгляд, наиболее обнадеживающий путь осуществления машинного перевода состоит в замене чисто машинной системы - по крайней мере на начальных этапах - системой механобиологической, включающей в качестве критика и эксперта человека - опытного переводчика, который обучает машинную часть системы с помощью упражнений, подобно тому как школьный учитель обучает своих учеников. Вероятно, на более поздних этапах в памяти машины накопится достаточное количество указаний, запрограммированных человеком, что позволит впоследствии машине распрощаться с соучастием человека, за исключением, возможно, случаев, когда время от времени понадобится освежать курс. Таким образом машина сможет приобрести лингвистический опыт.
Подобная схема перевода не исключает необходимости в опытном лингвисте, способности и суждения которого пользуются полным доверием. При такой системе он обработал бы (или смог бы обработать в будущем) значительно больший объем переводного текста, нежели при отсутствии машинного помощника. Большего, по-моему мы и не можем ждать от машинного перевода.
До этого момента мы говорили о том, что нам необходим критик, способный к оценкам чисто человеческого свойства, например в системе машинного перевода, где все элементы, кроме самого критика, машинные. Однако если человеческий элемент необходимо вводить в качестве критического начала, то вполне разумно вводить его также и на других этапах. При машинном переводе вовсе не обязательно, чтобы машинные элементы системы давали единственный и законченный вариант перевода. Напротив, машина может нам дать многовариантный перевод отдельных фраз, которые лежат в русле соответствующих грамматических и лексических норм, предоставляя нашему критику-эксперту весьма ответственную задачу оценки и выбора из этих машинных вариантов того, который наилучшим образом передает смысл. Нет, однако, никакой необходимости предоставлять машине формирование полностью законченных кусков переводного текста даже в том случае, если он будет в целом критически оцениваться и улучшаться человеком. Поправки, вносимые человеком, могут быть введены и на гораздо более ранних стадиях перевода.
Все высказанное о машинах-переводчиках в равной или в еще большей мере относится к машинам, составляющим медицинские диагнозы. Такие машины стали очень модными во всех планах развития медицины на ближайшее будущее. Эти машины могут помочь врачу установить данные, которые ему понадобятся для диагноза, но нет никакой необходимости в том, чтобы они устанавливали диагноз сами, без участия врача. Весьма вероятно, что такая тенденция применения медицинских машин может рано или поздно привести к ухудшению здоровья людей и даже ко многим смертельным исходам.
Родственная проблема, требующая совместного рассмотрения возможностей машины и человека, - это проблема эффективности использования изобретения. Этот вопрос обсуждал со мной д-р Гордон Рейзбек, сотрудник фирмы «А. Д. Литтл». В ходе обсуждения мы пришли к выводу, что всякое изобретение должно оцениваться не только с точки зрения принципиальных возможностей его осуществления, но также с точки зрения того, как это изобретение может и должно служить человеку. Вторая часть задачи часто куда сложнее, чем первая, и ее методология разработана в гораздо меньшей степени. Таким образом, мы сталкиваемся с проблемой усовершенствования, которая, по существу, не что иное, как проблема обучения, - не для механической системы в чистом виде, но для механической системы, взаимодействующей с обществом. Это именно тот случай, когда необходимо рассмотрение проблемы оптимального совместного использования человека и машины в одной системе.
Подобную задачу весьма настоятельно выдвигает необходимость применения и разработки систем вооружения в соответствии с эволюцией тактики и стратегии. И здесь проблема эффективности использования военной техники не может быть отделена от проблем автоматизации.
С проблемой приспособления машины к реально существующим условиям путем правильного использования интеллекта переводчика, врача или изобретателя мы сталкиваемся не только сегодня. Этой проблемой мы должны будем заниматься снова и снова. Развитие искусств и наук означает, что мы не можем признать за какой-либо отдельной эпохой права на обладание абсолютной мудростью. Это, вероятно, становится наиболее ясным при рассмотрении опыта социального регулирования и создания обучающихся систем в области политики. В периоды относительной стабильности - если не в сфере философских теорий, то, во всяком случае, в реальных условиях, созданных нами в окружающем мире, - мы можем уверенно решать новые проблемы, возникшие перед нынешним поколением, как, например, проблемы, связанные с созданием атомной бомбы, бурным ростом населения, широким распространением медицины и т. д. Однако с течением времени мы должны пересматривать свою прежнюю оптимизацию так, чтобы наша новая оптимизация учитывала все эти факторы.
Социальное регулирование, рассматривает мое применительно к отдельному индивиду или всему человеческому роду, есть некий процесс, самые основы которого должны быть раньше или позже пересмотрены. Это значит, как я отмечал ранее в статье для московского журнала «Вопросы философии», что хотя наука и вносит свой важный вклад в процесс социального регулирования, однако основные принципы этого научного вклада должны оцениваться заново почти каждым новым поколением. Позвольте мне здесь заметить, что общественный гомеостазис - как на Западе, так и на Востоке в настоящие время осуществляется, исходя из намерении жестко закрепить концепции давно минувшего периода. Маркс жил в эпоху первой промышленной революции, а мы теперь давно вступили в период второй промышленной революции. Эпохе Адама Смита соответствует еще более ранняя и устаревшая фаза первой промышленной революции.
Непрерывный общественный гомеостазис не может осуществляться, исходя из жестких предпосылок о совершенной неизменяемости марксизма, точно так же как он не может быть реализован, исходя из столь же жестких предпосылок, основанных на шаблонных идеях свободного предпринимательства и наживы как побудительных силах экономического развития. Дело в конечном счете не в той или иной особой форме окостенелости, а в самой ее сути.
В статье, опубликованной в «Вопросах философии», мне представлялось необходимым подчеркнуть роль науки в общественном гомеостазисе и в то же время выступить против догматического приложения выводов науки к развитию общества, будь то в России или где-нибудь в другом месте.
Когда я послал эту статью в журнал «Вопросы философии», я предвидел, что моя позиция в отношении окостенелости и догматизма встретит острую реакцию; и в самом деле, моя статья была напечатана с послесловием гораздо большего объема - в нем были вскрыты уязвимые места моей позиции, со строго марксистской точки зрения. Я не сомневаюсь, что, если бы моя статья вначале была опубликована у нас на Западе, я подвергся бы подобной или почти такой же строгой критике сточки зрения наших собственных предрассудков, которые хотя, быть может, и выражаются не столь догматично и формально, но тем не менее столь же сильны.
Тезис, который я хотел бы здесь выдвинуть, не является ни про-, ни антикоммунистическим. Этот тезис сводится к антидогматизму. Поэтому я выражаю свои идеи здесь в форме, не слишком связанной с оценкой различий в опасностях, которые несут аналогичные, но противоположные формы догматизма. Вывод, который я хотел бы подчеркнуть здесь, состоит в том, что нельзя преодолеть трудности, связанные с установлением подлинного общественного регулирования, заменой одной жесткой схемы, которая не подвергается постоянной переоценке, другой жесткой схемой, аналогичной по форме и противоположной по содержанию.
Кроме машин-переводчиков и машин, играющих в шашки, существуют и другие обучающиеся машины. Некоторые из них могут быть запрограммированы так, что они приобретают способность функционировать без человека. Другие же, подобно машине-переводчику, нуждаются во вмешательстве человека-эксперта, привлекаемого в качестве арбитра. Мне кажется, что системы последнего типа должны применяться гораздо шире машинных систем первого типа. Более того, необходимо напомнить, что в такого рода «игре», как атомная война, экспертов вообще не существует.
VII глава
ИТАК, МЫ ВЫПОЛНИЛИ НАШУ ЗАДАЧУ, выявив ряд действительных аналогий между теологическими ситуациями и явлениями, которые изучаются кибернетикой. В ходе этих уместных сопоставлений мы достаточно убедительно показали приложимость кибернетического подхода к моральным проблемам личности.
Остается кратко рассмотреть другую область приложения кибернетических идей, а именно их приложения к проблемам этического характера. Это кибернетика общества и рода человеческого.
С самого начала своих исследований в области кибернетики я отчетливо понимал, что принципы управления и связи, применимые, как мне удалось установить, в технике и физиологии, приложимы также к социологии и экономике.
Однако я умышленно воздержался от подчеркивания возможностей кибернетического подхода к этим сферам науки, и вот по каким причинам. Кибернетика - ничто, если математика не служит ей опорой, если не in esse, то in роssе. И математическая социология, и математическая экономика, или эконометрика, страдают от неправильного понимания того, как следует применять математический аппарат в общественных науках и чего вообще можно ожидать от применения математических методов. По этой причине я сознательно воздерживался от каких-либо рекомендаций в этой области, так как был убежден, что за ними хлынул бы поток незрелых и превратно понимаемых работ.
Успехи математической физики стали одним из величайших триумфов нашего времени. Однако только в XX веке задачи физика-теоретика были наконец правильно поняты, в особенности в их взаимосвязи с задачами, которые решает физик-экспериментатор.
До кризиса физики 1900 - 1905 годов было общепризнанно, что основные понятия математической физики получили свое завершение в трудах Ньютона. Пространство и время, масса и количество движения, сила и энергия были понятиям, установленными, казалось бы, раз навсегда. Задача физики будущего сводилась лишь к построению моделей, которые объясняли бы все еще не изученные явления с помощью этих основополагающих категорий.
После открытий Планка и Эйнштейна стало ясно, что задача физика не столь проста. Категории физики начала XVIII века нельзя было считать абсолютной истиной. Задача физиков нашего времени в определенном смысле противоположна той, которую ставила перед нами ньютоновская наука: теперь мы должны привести количественные наблюдения окружающего нас мира в стройную систему, исходным пунктом которой служит эксперимент, а конечным - предсказание новых явлений и их технического применения. Наблюдатель перестал быть невинным регистратором своих объективных наблюдений; оказалось, что, помимо своей воли, он активно влияет на результаты эксперимента.
Согласно теории относительности и квантовой теории, эффект присутствия наблюдателя при постановке эксперимента и его модификациях столь существен, что пренебречь им уже невозможно. Это положение вещей, кстати, привело к зарождению современного неопозитивизма.
Успехи математической физики вызвали у социологов чувство ревности к силе ее методов - чувство, которое едва ли сопровождалось отчетливым пониманием интеллектуальных истоков этой силы.
Развитию естественных наук сопутствовало широкое применение математического аппарата, ставшее модным и в общественных науках. Подобно тому как некоторые отсталые народы заимствовали у Запада его обезличенные, лишенные национальных примет одежды и парламентские формы, смутно веря, будто эти магические облачения и обряды смогут их сразу приблизить к современной культуре и технике, так экономисты принялись облачать свои весьма неточные идеи в строгие формулы интегрального и дифференциального исчислений. Поступая таким образом, они явно обнаруживают свою недальновидность.
Математика, которой пользуются социологи, и математическая физика, которую они берут за образец, - это математика и математическая физика середины прошлого века. Специалист по эконометрике может тщательно разработать сложную теорию спроса и предложения, товарных запасов и безработицы и т. д. при относительном или полном безразличии к методам, с помощью которых эти чрезвычайно изменчивые величины наблюдаются или измеряются.
К количественным теориям подобного рода сейчас относятся почти с таким же безоговорочным доверием, с каким физики прошлого века относились к положениям ньютоновской физики. Очень немногие экономисты отдают себе отчет в том, что если они всерьез намерены заимствовать существо методов современной физики, а не только их внешние аксессуары, то математическая экономика должна начать с критического пересмотра своих количественных характеристик и методов их сбора и измерений.
Как ни труден отбор надежных данных в физике, гораздо сложнее собрать обширную информацию экономического или социологического характера, состоящую из многочисленных серий однородных данных. Например, данные о выплавке стали изменяют свою значимость не только при каждом изобретении, которое меняет технику сталеварения, но и при каждом социальном или экономическом сдвиге.
Бездействующем на коммерческую сферу и промышленность в целом. В частности, это относится к любому техническому новшеству, изменяющему спрос и предложение или свойства конкурирующих материалов. Так, например, даже первый небоскреб, выстроенный из алюминия вместо стали, может повлиять на весь будущий спрос строительной стали, подобно тому, как первое дизельное судно положило конец неоспоримому господству парохода.
Таким образом, экономическая игра - это такая игра, правила которой должны периодически подвергаться существенному пересмотру, скажем каждые десять лет, при этом она еще имеет тревожное сходство с игрой в крокет Королевы из «Алисы в стране чудес», о которой я уже упоминал. В этих обстоятельствах безнадежно добиваться слишком точных определений величин, вступающих в игру.
Приписывать таким неопределенным по самой своей сути величинам какую-то особую точность бесполезно и нечестно, и, каков бы ни был предлог, применение точных формул к этим слишком вольно определяемым величинам есть не что иное, как обман и пустая трата времени.
Здесь уместно напомнить недавние работы Мандельброта. Он, в частности, показал, что специфические формы случайных колебаний товарного рынка, выведенные из предположения о присущей ему неравномерности конъюнктуры, как показывают теория и практика, гораздо хаотичней и глубже, чем предполагалось, и что обычные приближения, используемые для оценки динамики сбыта, должны применяться с гораздо большей осторожностью или не применяться вовсе.
Общественные науки представляют собой испытательную среду, малопригодную для апробирования идей кибернетики, гораздо худшую, чем биологические науки, где данные могут быть получены при более однородных условиях и в присущем им масштабе времени. Это объясняется тем, что человек как физиологическая система в отличие от общества в целом очень мало изменился со времен каменного века. И жизнь индивида в течение многих лет протекает в физиологических условиях, подвергающихся крайне медленным изменениям, которые к тому же можно предвидеть заранее. Это отнюдь не означает, что идеи кибернетики неприложимы к социологии и экономике. Это скорее означает, что, прежде чем применять эти идеи в столь аморфной сфере, они должны быть испытаны в технике и биологии.
Принимая во внимание указанные оговорки, можно считать, что широко используемая аналогия между государственной системой и человеческим организмом оправданна и полезна. С этой точки зрения государственная система должна быть подвергнута всестороннему рассмотрению с позиций этики, с которых надлежит анализировать и ту область религиозного мировоззрения, которая по существу не что иное, как парафраз этических норм.
VIII глава
И ВОТ Я ПЕРЕЧИТАЛ эти очерки, объединенные одной внутренней темой творческой активности - от Творца до машины, - написанные под одним углом зрения. Машина, как я уже сказал, - это современный двойник Голема, созданного некогда пражским раввином. Поскольку я настаивал на том, что вопросы творческой активности следует рассматривать в их единстве, под общим названием, не разделяя их на отдельные части, относящиеся к Творцу, человеку и машине, я не думаю, что я превысил пределы общепринятой авторской свободы, назвав эту книгу «God and Golem, Inc.»'