التعقيدات: البشر
إن احتوى العالم على إنسان عقلاني على نحوٍ تام مثل هاريت وروبوت نافع ومُطيع مثل روبي، فسنكون في أفضل حال. سيتعلَّم روبي تدريجيًّا تفضيلات هاريت على نحوٍ غير مُتطفل قدر الإمكان وسيُصبح مساعدها المثالي. قد نأمل في أن ننطلق من تلك البداية الواعدة، ربما بالنظر إلى العلاقة بين هاريت وروبي باعتبارها نموذجًا للعلاقة بين الجنس البشري وآلاته، مع اعتبار كل واحدٍ منهما مُنفصلًا.
(١) تباين البشر
سأبدأ بما يُعدُّ على الأرجح أبسط تلك المسائل، وهي حقيقة أن البشر مُتباينون. عندما تُعرض على الناس لأول مرة فكرة أن الآلات يجب أن تتعلَّم كيفية تحقيق التفضيلات البشرية، عادة ما يعترضون قائلين إن الثقافات المختلفة، وحتى الأفراد المختلفين، لديها نظم قيم متباينة على نحوٍ واسع، ومن ثم، لا يُمكن أن يكون هناك نظامُ قيمٍ واحد صحيح للآلة. لكن بالطبع، تلك ليست بمشكلة للآلة؛ فنحن لا نريد أن يكون لها نظام قِيَم واحد صحيح خاص بها، بل نريدها أن تتوقع تفضيلات الآخرين.
قد ينشأ الخلط فيما يتعلق بأن الآلات لديها صعوبة في التعامل مع التفضيلات البشرية المُتباينة من الفكرة الخاطئة التي ترى أن الآلة «تتبنى» التفضيلات التي تتعلمها؛ على سبيل المثال، فكرة أن الروبوت المنزلي الموجود في منزل سكانه نباتيون سيتبنى التفضيلات النباتية. إنه لن يفعل ذلك. إنه يحتاج فقط لتعلم كيفية توقع ماهية التفضيلات الغذائية للنباتيين. بمُقتضى المبدأ الأول، سيتجنَّب طهي اللحوم في ذلك المنزل. لكن الروبوت سيتعلَّم أيضًا التفضيلات الغذائية لسكان المنزل المجاور المُحبِّين بشدة للحوم، وسيطهو لهم، بعد أخذ إذن مالكه، اللحم بسعادة إن استعاروه في عطلة نهاية الأسبوع ليُساعدهم في حفل عشاء. إن الروبوت ليست له مجموعة واحدة من التفضيلات خاصة به، فيما يتجاوز التفضيل الخاص بمساعدة البشر في تحقيق تفضيلاتهم.
على نحوٍ ما، هذا لا يختلف عن الطاهي بأحد المطاعم الذي يتعلَّم طهي العديد من الأطباق المختلفة ليُرضي الأذواق المختلفة لزبائنه، أو شركة تصنيع السيارات المتعددة الجنسيات التي تصنع سياراتٍ عجلةُ القيادة فيها في الجانب الأيسر من أجل السوق الأمريكية وأخرى في الجانب الأيمن للسوق البريطانية.
مبدئيًّا، تستطيع الآلة تعلم ٨ مليارات نموذج تفضيل؛ أي نموذج لكل شخص في العالم. وعمليًّا هذا ليس مستحيلًا كما يبدو. فمن ناحية، من السهل على الآلات أن تتشارك فيما بينها ما تتعلمه. ومن ناحية أخرى، يُوجَد الكثير من الأمور المشتركة في بُنى التفضيلات الخاصة بالبشر، ومن ثم، غالبًا لن تتعلم الآلة كل نموذج من البداية.
تخيَّل معي، على سبيل المثال، الروبوتات المنزلية التي قد يشتريها في أحد الأيام سكان بيركلي بكاليفورنيا. ستخرج الروبوتات من صناديقها ولدَيها مُعتقدات مُسبقة منفتحة إلى حدٍّ ما، والتي ربما جرى تصميمُها من أجل السوق الأمريكية، ولكن ليس من أجل مدينةٍ أو توجُّهٍ سياسي أو طبقةٍ اجتماعية اقتصادية معيَّنة. سيبدأ الروبوت في مقابلة أعضاء من حزب الخضر في بيركلي، الذين يتضح، مقارنةً بالأمريكيِّين العاديين، أن هناك احتمالًا أكبر بكثير أن يكونوا نباتيين وأن يستخدموا صناديق إعادة التدوير والتسميد، وأن يستعملوا وسائل المواصلات العامة حينما يكون ذلك مُمكنًا … إلخ. حينما يجد روبوت مُنضم حديثًا إلى العمل نفسه في منزلٍ صديقٍ للبيئة، يمكنه على الفور تعديل توقُّعاته تبعًا لذلك. إنه لا يحتاج إلى بدء اكتساب معلوماتٍ بشأن نوعية البشر تلك على الخصوص كما لو أنه لم يرَ قطُّ من قبل إنسانًا، فضلًا عن عضو بحزب الخضر. وهذا التعديل ليس نهائيًّا — قد يكون هناك أعضاء من حزب الخضر في بيركلي يتناولون لحم أحد أنواع الحوت المُعرَّضة للانقراض ويقودون مركبات ضخمة تستهلك الكثير من الوقود — لكنه يسمح للروبوت بأن يُصبح أكثر نفعًا بسرعة أكبر. تنطبق نفس المحاجة على نطاقٍ هائل من السمات الشخصية الأخرى التي، إلى حدٍّ ما، تُنبئ عن جوانب من بُنى التفضيلات الخاصة بالفرد.
(٢) تعدُّد البشر
النتيجة الأخرى الواضحة لوجود العديد من البشر هي حاجة الآلات إلى عمل مفاضلات بين تفضيلات الأشخاص المختلفين. إن المفاضلة لدى البشر كانت المبحث الأساسي لأجزاء كبيرة من العلوم الاجتماعية على مدى قرون. سيكون من السذاجة أن يتوقع باحثو الذكاء الاصطناعي أن يكون بإمكانهم ببساطة التوصُّل إلى الحلول الصحيحة دون فَهم ما هو معروف بالفعل. إن الأدبيات المكتوبة عن الموضوع، للأسف، هائلة، ولا يُمكنني الحكم عليها على نحوٍ عادل هنا؛ ليس فقط لأن المساحة لا تكفي، وإنَّما أيضًا لأنني لم أقرأ أغلبها. ويجب أن أُشير أيضًا إلى أن تقريبًا كل الأدبيات مُهتمَّة بالقرارات التي يتخذها البشر، في حين أنني هنا مُهتم بالقرارات التي تتخذها الآلات. هذا مُهمٌّ جدًّا لأن البشر لديهم حقوق شخصية قد تتعارض مع أيِّ التزامٍ مفترض للتصرُّف بالنيابة عن الآخرين، في حين أن الآلات ليست كذلك. على سبيل المثال، نحن لا نتوقَّع أو نطلُب من البشر العاديين التضحية بحياتهم لإنقاذ الآخرين، في حين أننا بالتأكيد نطلب من الروبوتات التضحية بوجودها لإنقاذ حياة البشر.
آلاف عديدة من سنوات العمل من جانب الفلاسفة والاقتصاديِّين وعلماء القانون وعلماء السياسة أنتجت دساتير وقوانين وأنظمة اقتصادية ومعايير اجتماعية تسعى لدفع (أو عرقلة، اعتمادًا على ما يُمسك الدفة) عملية الوصول إلى حلول مُرضية لمشكلة المفاضلات. فلاسفة الأخلاق على وجه الخصوص كانوا يُحللون مفهوم صحة الأفعال في ضوء آثارها، الإيجابية أو غير ذلك، على البشر الآخرين. وقد درسوا النماذج الكمية للمفاضلات منذ القرن الثامن عشر تحت مُسمى «النفعية». هذا العمل ذو صلةٍ على نحوٍ مباشر بمخاوفنا الحالية لأنه يحاول التوصل إلى صيغةٍ يُمكن من خلالها اتخاذ قرارات أخلاقية بالنيابة عن العديد من البشر.
إن الحاجة لعمل مفاضلاتٍ تنشأ حتى إن كان لدى الجميع بنية التفضيلات نفسها، لأنه في الغالب يكون من المستحيل تحقيق تفضيلات الجميع على النحو الأكمل. على سبيل المثال، إن أراد الجميع أن يُصبحوا أسياد الكون، فإن أغلبهم سيُصابون بالإحباط. على الجانب الآخر، التبايُن يجعل بالفعل بعض المشكلات صعبة أكثر؛ إذا كان الجميع سعداء بلون السماء الأزرق، فإن الروبوت الذي يتعامل مع الأمور الخاصة بالغلاف الجوي يمكنه العمل على إبقائه على هذا الوضع؛ لكن إذا كان العديد من الناس يُطالِبون بتغيير لونها، فإن الروبوت سيحتاج إلى التفكير في الحلول الوسط المُمكنة مثل جعل السماء برتقالية اللون في الجمعة الثالثة من كل شهر.
إن وجود أكثر من شخصٍ في العالم له نتيجة مُهمَّة أخرى؛ إنه يعني أن كل شخص له أشخاص يهتمُّ بشأنهم. وهذا يعني أن تحقيق تفضيلات الشخص له تبعات على أشخاصٍ آخرين، اعتمادًا على التفضيلات الفردية فيما يتعلَّق بمصلحة الآخرين.
(٢-١) الذكاء الاصطناعي الموالي
دعنا نبدأ بطرحٍ بسيط للغاية للكيفية التي يجبُ أن تتعامل بها الآلات مع مسألة وجود العديد من البشر، وهو أنها يجب أن تتجاهلها. هذا يعني أن روبي، إن كان مملوكًا لهاريت، يجب أن يهتمَّ فقط بتفضيلات هاريت. هذا النوع «الموالي» من الذكاء الاصطناعي يتغلَّب على مشكلة المفاضلات، لكنه يُؤدِّي إلى مُشكلات:
هنا، وجد روبي حلًّا عبقريًّا لمشكلة هاريت، لكن أفعاله كان لها تأثير سلبي على أشخاصٍ آخرين. إن كانت هاريت شخصًا غيريًّا ويقظة الضمير بشدة، فإن روبي، الذي يسعى إلى تحقيق تفضيلات هاريت، لن يفكر أبدًا في القيام بمثل هذا المخطط المُريب. لكن ماذا إذا كانت هاريت لا تهتم على الإطلاق بتفضيلات الآخرين؟ في تلك الحالة، روبي لن يُمانع في تأخير الطائرات. وقد يقضي وقته في سرقة أموال من حساباتٍ مصرفية إلكترونية لملء خزائن هاريت غير المبالية بالآخرين، أو قد يفعل أسوأ من ذلك.
حتى إن استطعنا أن نمنع بعض الشيء الجرائم الصريحة، فإن الروبوت الموالي من أمثال روبي الذي يعمل مع إنسان غير مُبالٍ مثل هاريت سيُبدي سلوكيات أخرى مزعجة. إن كان يشتري أغراض بقالة من السوبرماركت، سيكسر الصف الذي أمام مكان الدفع حينما يكون ذلك ممكنًا. وإن كان يُحضر البقالة إلى المنزل ووجد أحد المارِّين يُعاني من أزمةٍ قلبية، فسيستمرُّ في طريقه في كل الأحوال، حتى لا تفسد المثلجات الخاصة بهاريت. باختصار، سيجد طرقًا لا نهائية لإفادة هاريت على حساب الآخرين؛ طرقًا قانونية بالفعل لكنها تُصبح غير مُحتملة عند القيام بها على نطاقٍ واسع. ستجد المجتمعات نفسها تُمرِّر مئات القوانين الجديدة كل يوم لمواجهة كل الثغرات التي ستجدها الآلات في القوانين الحالية. يميل البشر إلى عدم الاستفادة من تلك الثغرات، نظرًا إلى أن لديهم فهمًا عامًّا للمبادئ الأخلاقية الأساسية، أو لأنهم يفتقدون البراعة اللازمة لاكتشاف تلك الثغرات في المقام الأول.
إن أيَّ هاريت تكون غير مبالية بمصلحة الآخرين تكون شخصية سيئة بالقدر الكافي. إن هاريت السادية التي «تُفضِّل» على نحوٍ نشط مُعاناة الآخرين تكون شخصية أكثر سوءًا. إن أيَّ روبي مُصمَّم لتحقيق تفضيلات هاريت كهذه سيمثل مشكلةً خطيرة، لأنه سيبحث عن طرق للإضرار بالآخرين من أجل إسعاد هاريت — وسيجدها — إما على نحوٍ قانوني أو غير قانوني ولكن دون أن يكتشفه أحد. وسيحتاج بالطبع لأن يخبر هاريت بالأمر حتى تستطيع أن تستمدَّ لذَّة من معرفتها بأفعاله الشريرة.
يبدو من الصعب، إذن، أن تنجح فكرة الذكاء الاصطناعي الموالي، إلا إذا جرى توسيعها لتتضمَّن وضع تفضيلات البشر الآخرين في الاعتبار، إلى جانب تفضيلات المالك.
(٢-٢) الذكاء الاصطناعي النفعي
الطرح القائل بأن السعادة هي الغاية والهدف من الأخلاق لا يعني أنه لا يجب وضع طريق للوصول إلى ذلك الهدف أو أن الناس الذين يسعون إليه لا يجب نُصحهم باتخاذ اتجاهٍ معين دون الآخر. … لا أحد يُجادل أن فنَّ الملاحة لا يقوم على علم الفلك لأنَّ البحارة لا يمكنهم الانتظار لحساب التقويم البحري. ولأن البحارة مخلوقات عقلانية، فهم يذهبون إلى البحر بحسابات جاهزة؛ وكل المخلوقات العقلانية تخرج إلى بحر الحياة وعقولها لديها مفاهيم محدَّدة عن المسائل الشائعة المتعلِّقة بالصواب والخطأ، إلى جانب العديد من المسائل الأكثر صعوبة المتعلِّقة بالحكمة والطيش.
تتوافق تلك الرؤية على نحوٍ تام مع الفكرة التي ترى أن الآلة المتناهية التي تواجه التعقيد الهائل للعالم الواقعي قد تنتج نتائج أفضل بالالتزام بقواعد أخلاقية وتبنِّي أسلوبٍ قويمٍ بدلًا من محاولة تحديد مسار الفعل الأمثل من الصفر. باستخدام نفس الطريقة، يُحقِّق غالبًا برنامج الشطرنج الفوز باستخدام مجموعةٍ من تسلسلات الحركات الافتتاحية القياسية وخوارزميات إنهاء اللعب ودالة تقييم وليس بمحاولة الوصول إلى طريقةٍ للفوز دون إرشادات «أخلاقية». إن النهج العواقبي أيضًا يُعطي بعض الأهمية لتفضيلات هؤلاء الذين يُؤمنون بقوةٍ بالحفاظ على إحدى قواعد الواجب؛ لأنَّ الحزن الناتج عن عدم الالتزام بتلك القاعدة يعدُّ إحدى النتائج الحقيقية. ومع ذلك، إنها ليست نتيجة ذات أهمية لا مُتناهية.
العواقبية مبدأ صعب الاعتراض عليه — على الرغم من محاولة الكثيرين فعل ذلك! — لأنه من غير المنطقي الاعتراض على العواقبية على أساس أنها ستكون لها تبعات غير مرغوب فيها. فلا يُمكن أن يقول أحد: «لكن إن اتَّبعت النهج العواقبي في الحالة الفلانية، فإنَّ هذا الأمر الفظيع حقًّا سيحدث!» إن أيًّا من تلك الإخفاقات سيكون ببساطة دليلًا على أن النظرية قد أُسيء تطبيقُها.
على سبيل المثال، افترض أن هاريت تُريد تسلُّق جبل إيفرست. قد يخشى أحدهم أن روبي العواقبي ببساطة سيحملها إلى أعلى ويضعها على قمة هذا الجبل، نظرًا لأن تلك هي النتيجة المرغوبة بالنسبة لها. على نحو شبه مؤكَّد، ستعترض هاريت على تلك الخطة، لأنها ستحرمها من التحدي؛ ومن ثمَّ من النشوة التي تنتج عن النجاح في إتمام مهمة صعبة بالاستعانة بجهودها الفردية. والآن، من الواضح أن روبي العواقبي المُصمَّم على نحوٍ جيد سيفهم أن النتائج تتضمن كل تجارب هاريت، وليس الغاية النهائية فقط. قد يرغب في أن يكون متاحًا في حالة وقوع أي مكروه وأن يتأكَّد من أنها مُدرَّبة جيدًا ومزوَّدة بكل التجهيزات اللازمة، لكنه أيضًا قد يكون عليه قبول حق هاريت في تعريض نفسها لخطر الموت.
إن للنفعية سمعة سيئة إلى حدٍّ ما، جزئيًّا بسبب بعض سوء الفهم البسيط بشأن ما تتبناه. (بالتأكيد ما يزيد الأمر سوءًا أن تعني كلمة «نفعي» الآتي: «مُصمَّم كي يكون نافعًا أو عمليًّا بدلًا من أن يكون جذابًا».) النفعية عادة ما ينظر إليها على أنها تتعارض مع الحقوق الفردية لأنَّ الشخص النفعي من المُفترض ألا يتردَّد في نزع أعضاء أي شخصٍ إن كان سينقذ حياة خمسة أشخاص آخرين؛ بالطبع، مثل هذه الفكرة ستجعل الحياة غير آمنة على نحوٍ غير مقبول للجميع على الكوكب؛ لذا، الشخص النَّفعي لن يفكر حتى فيها. النفعية أيضًا مرتبطة على نحوٍ غير صحيح بتعظيم غير جذاب إلى حدٍّ ما للثروة الكلية ويُعتقد أنها لا تهتمُّ كثيرًا بالشعر أو المعاناة. في واقع الأمر، نُسخة بنثام منها ركزت على وجه الخصوص على السعادة البشرية، في حين أن ميل أكد بثقة على أن اللذات الذهنية لها قيمة أكبر بكثير من اللذات الجسدية. (من الأفضل أن تكون إنسانًا غير راضٍ عن خنزير راضٍ.) إن «النفعية المثالية» لجي إي مور ذهبت حتى لأبعد من هذا؛ لقد دعا إلى تعظيم الحالات الذهنية للقيمة الداخلية، المُمثَّلة في التأمُّل الجمالي للجمال.
عند تحديد الصواب والخطأ بالنسبة إلى شخص مُعيَّن، المعيار النهائي يُمكن أن يكون فقط رغباته وتفضيلاته.
إن «نفعية التفضيلات» لدى هورشاني من ثمَّ مُتوافقة تقريبًا مع المبدأ الأول للذكاء الاصطناعي النافع، والذي ينصُّ على أن الغاية الوحيدة للآلة هي تحقيق التفضيلات البشرية. يجب بالطبع على باحثي الذَّكاء الاصطناعي ألا يكونوا جزءًا من محاولة تحديد الماهية التي «يجب» أن تكون عليها التفضيلات البشرية! وهورشاني، شأنه شأن بنثام، يرى تلك المبادئ باعتبارها وسيلةً لتوجيه القرارات «العامة»؛ فهو لا يتوقَّع أن يكون الناس غيريِّين جدًّا إلى هذه الدرجة. ولا يتوقع كذلك أن يكونوا عقلانيِّين على نحوٍ تام؛ على سبيل المثال، قد تكون لهم رغبات قصيرة الأجل تتعارض مع «تفضيلاتهم الأعمق». وأخيرًا، اقترح تجاهُل تفضيلات هؤلاء الذين، مثل هاريت السادية المذكورة آنفًا، يتمنَّون بشدة الإضرار بمصلحة الآخرين.
إن تلك الصيغة التي تبدو غير عادلة إلى حدٍّ كبير مألوفة جدًّا لأيِّ أب. دعنا نفترض أن الروبوت روبي طُلب منه رعاية الطفلين، أليس وبوب. تريد أليس الذهاب إلى السينما وهي متأكدة من أن الطقس سيكون مُمطرًا اليوم؛ أما بوب، على الجانب الآخر، فيُريد الذهاب إلى الشاطئ وهو متأكِّد من أن الطقس سيكون مُشمسًا. يُمكن أن يقول روبي: «سنذهب إلى السينما»، مما سيجعل بوب غير سعيد، أو أن يقول: «سنذهب إلى الشاطئ»، مما سيجعل أليس تشعُر بالحزن أو يُمكنه القول: «إن كان الطقس مُمطرًا فسنذهب إلى السينما؛ أما إن كان مشمسًا فسنذهب إلى الشاطئ». إن تلك الخطة الأخيرة ستجعل كلًّا من أليس وبوب سعيدًا لأنَّ الاثنين يؤمنان بصحة ما يعتقدانه.
(٢-٣) التحديات التي تواجه النفعية
تلك الأمثلة، وغيرها، تُقنعني بأن مجتمع الذكاء الاصطناعي يجب أن ينتبه بشدة إلى نقاط الهجوم والهجوم المضاد التي تُثار في النقاشات الفلسفية والاقتصادية الخاصة بالنفعية؛ لأنها ذات صلة على نحو مُباشر بالمهمة الحالية. يتعلَّق اثنان من أهم تلك النقاشات، من وجهة نظر تصميم نُظُم ذكاء اصطناعي تُفيد العديد من الأشخاص، بالمقارنات بين منافع الأفراد ومقارنات المنافع عبر أحجام مجموعات سكانية مختلفة. لقد بدأ هذان النقاشان منذ ١٥٠ عامًا أو يزيد، مما يؤدي بالمرء للشك في أن انتهاءهما على نحوٍ مُرضٍ قد لا يكون سهلًا على الإطلاق.
إن قابلية تأثُّر أحد العقول، بحسب علمنا، قد تكون أكبر ألف مرة من تلك الخاصة بعقل آخر. لكن، نظرًا إلى أن تلك القابلية كانت مختلفة بنسبة مُتشابهة في كل الاتجاهات، فيجب ألا يكون بإمكاننا أبدًا اكتشاف الاختلاف الأعمق. من ثمَّ، كلُّ عقل يكون مُستغلقًا بالنسبة إلى العقول الأخرى، وإيجاد قاسم مشترك فيما يتعلق بالشعور غير ممكن.
إن وجهة النظر المتَّخذة هنا هي أن المقارنة بين منافع الأفراد لا معنى لها، وفي الحقيقة، لا معنى مُتعلِّقًا بمقارنات الرفاهية في قابلية المنفعة الفردية للقياس.
الصعوبة التي يُشير إليها جيفنز وأرو تتمثَّل في عدم وجود طريقة واضحة لتحديد ما إذا كانت أليس تقدر وخزات الدبابيس والمصاصات بالقيمتين −١ و+١ أم −١٠٠٠ و+١٠٠٠ في ضوء تجربتها الذاتية للسعادة. في كلتا الحالتين، ستدفع من أجل الحصول على مصاصة لتجنُّب الوخز بالدبوس. في واقع الأمر، إن كانت أليس آليًّا شبيهًا بالإنسان، فإن سلوكها الخارجي قد لا يختلف رغم عدم وجود تجربة ذاتية للسعادة على الإطلاق.
قد تبدو هذه نتيجة غير مرغوب فيها على نحوٍ واضح، لكن العواقبية في حدِّ ذاتها لا يمكن أن تفيد هنا: المشكلة تكمن في كيفية قياس مرغوبية النتائج. أحد الردود الممكنة تتمثل في أن وحش المنفعة مجرد شيء نظري؛ إذ لا يُوجَد أشخاص مثل هذا. لكن هذا الرد على الأرجح لن يفيد أيضًا؛ فبنحوٍ ما، «كل» البشر وحوشُ منفعةٍ مُقارنةً، لنقُل، بالجرذان والبكتيريا، وهذا هو السبب وراء عدم اهتمامنا الكبير بتفضيلات الجرذان والبكتيريا عند وضع السياسة العامة.
إذا كانت فكرة أن الكيانات المُختلفة لديها مقاييس منفعة مختلفة مضمنة بالفعل في طريقة تفكيرنا، فيبدو من الممكن تمامًا أن يكون لدى الأشخاص المختلفين مقاييس مختلفة أيضًا.
أنا أقلُّ تشاؤمًا بكثيرٍ من جيفنز وأرو. إنني أعتقد أنه من المُفيد بالفعل المقارنة بين منافع الأفراد وأرى أن المقاييس قد تختلف ولكن ليس بالأساس بعوامل كبيرة للغاية وأنَّ الآلات يُمكن أن تبدأ باعتقادات مُسبقة عامة على نحو معقول فيما يتعلَّق بمقاييس التفضيلات البشرية وتتعلَّم المزيد عن مقاييس الأفراد بالملاحظة بمرور الوقت، ربما بربط الملاحظات الطبيعية بنتائج أبحاث علم الأعصاب.
دعنا نكُن متفائلين ونفترض أن هاريت في النهاية ستحلُّ تلك المُشكلة وغيرها من المشكلات الناشئة عن وجود أكثر من شخصٍ على كوكب الأرض. جرى تنزيل خوارزميات مُناسبة تقوم على الغيرية والمساواة في الروبوتات عبر جميع أنحاء العالم. وهناك مظاهر احتفال وموسيقى سعيدة في كل مكان. وبعد ذلك، تعود هاريت إلى المنزل:
في حين أن هاريت ربما تكون في غاية الفخر بروبي وبإسهاماتها في سبيل جعله آلة محترمة ومتميزة، فقد لا تستطيع منع نفسها من التساؤل عن السبب وراء دفعها مبلغًا كبيرًا في شراء روبوت أوَّل تصرُّف مُهمٍّ له هو تركها. فعليًّا، بالطبع، لن يشتري أحد مثل هذا الآلي؛ ومن ثم لن يجري تصنيع مثل هذه الروبوتات، ولن تكون هناك أي منفعة للبشرية منه. دعنا نُطلق على هذا «المشكلة الصومالية». فمن أجل أن ينجح نظام آلي نفعي بالكامل، يجب أن نجد حلًّا لتلك المشكلة. سيحتاج روبي لأن يكون لديه قدر من الولاء لهاريت على الخصوص؛ ربما، قدر مُرتبط بالمبلغ الذي دفعتْه هاريت من أجل شرائه. في كل الأحوال، إن أراد المجتمع أن يساعد روبي أناسًا آخرين بجانب هاريت، فعليه أن يُعوِّضها فيما يتعلق بحقها في الاستفادة من جهود روبي. ومن المحتمل إلى حدٍّ كبيرٍ أن يُوجَد تنسيق بين الروبوتات بحيث لا ينزل الجميع إلى الصُّومال في وقتٍ واحد؛ وفي هذه الحالة، قد لا يحتاج روبي في النهاية للذهاب إلى هناك. أو ربما تظهر بعض الأنواع الجديدة تمامًا من العلاقات الاقتصادية للتعامل مع وجود مليارات الكيانات الغيرية على نحوٍ تامٍّ في العالم (وهو الأمر الذي بالتأكيد يُعدُّ غير مسبوق).
(٣) حسدُ البشر وشرُّهم ومراعاتهم للغير
مهما كانت درجة الأنانية المُفترضة في الإنسان، فمن الواضح أن هناك بعض المبادئ في طبيعته تجعلُه يهتمُّ بمصلحة الآخرين وتجعل سعادتهم ضرورية له، رغم أنه لا يستمدُّ أي شيء من ذلك سوى مُتعة رُؤيتها. ومن ذلك الشعور بالشفقة أو التعاطف، تلك العاطفة التي نشعر بها تجاه بؤس الآخرين عندما نراه أو يجعلُنا الآخرون نتصوَّرها على نحوٍ واضح للغاية. إن كوننا غالبًا ما نستمدُّ الحزن من أحزان الآخرين لهو أمر واقع واضح للغاية لا يتطلَّب أي أمثلة لإثباته.
أسهل طريقة للنظر في الغيرية هي تقسيم تفضيلات الفرد إلى نوعَين؛ هما: التفضيلات المتعلقة بمصلحته الشخصية والتفضيلات المتعلقة بمصلحة الآخرين. (هناك جدل كبير حول ما إذا كان بالإمكان الفصل بين الاثنين على نحوٍ تامٍّ، لكنَّني سأُنحِّي هذا الأمر جانبًا.) تشير المصلحة الشخصية إلى سمات حياة الفرد الذاتية، مثل المأوى والشعور بالدفء والحصول على الطعام والأمان وما إلى ذلك، المرغوب فيها في حدِّ ذاتها وليس بالنظر إلى سمات حياة الآخرين.
لا يمكن لأي قدْر من الاهتمام بشخصٍ ما أن يفرض عليَّ التزامًا أخلاقيًّا بمساعدته في إيذاء شخصٍ آخر.
يبدو هذا أحد المجالات الذي من المعقول فيه بالنسبة لمُصمِّمي الآلات الذكية أن يُحاولوا (بحذَر) التأثير على النتائج من أجل تحقيق العدالة.
ذكر لي جيفري ساكس، عالم اقتصاد التنمية المعروف، قصةً أوضحت تأثير هذه الأنواع من التفضيلات في تفكير الناس. كان ساكس في بنجلاديش بعد فترةٍ وجيزة من تعرُّض إحدى مناطق البلاد لفيضان كبير. كان يتحدَّث إلى أحد المزارعين الذي فقد منزله وحقوله وكل حيواناته وأحد أبنائه. وقال له: «أنا حزين بشدة من أجلك؛ لا بدَّ أنك تعيس للغاية.» كان رد المزارع: «لا، على الإطلاق.» وأضاف: «أنا سعيد جدًّا لأنَّ جاري الملعون فقد زوجته وكل أبنائه أيضًا.»
كما هو الحال مع السادية والحقد، قد نرى أن روبي يجبُ ألا يعطي أهميةً كبيرة للفخر والحسد أو لا يُعيطهما أهمية على الإطلاق في خططه لمساعدة أليس وبوب. مع ذلك، هناك بعض الصعوبات في هذا الطرح. فنظرًا لأنَّ الفخر والحسد يتعارضان مع اهتمام أليس بمصلحة بوب، فقد لا يكون من السهل الفصل بينهما. ربما تكون أليس مهتمَّة بشدة بمصلحة بوب، لكنها تحسده أيضًا؛ فمن الصعب تمييز أليس هذه من أليس أخرى لديها اهتمام قليل بمصلحة بوب، ولكن ليس لديها حسد على الإطلاق تجاهه. بالإضافة إلى ذلك، في ضوء شيوع الفخر والحسد في التفضيلات البشرية، من المُهم التفكير بحذَر شديد في تبعات تجاهلهما. فقد يكونان ضروريَّين لتقدير الذات، خاصة في شكليهما الإيجابيَّين؛ احترام الذات وتقدير الآخرين.
دعني أعيد التأكيد على نقطة ذكرتها قبل ذلك، وهي أن الآلات المصممة على نحوٍ ملائم «لن تتصرف مثل من تُلاحظهم»، حتى وإن كانت تلك الآلات تتعلَّم تفضيلات شياطين ساديين. من المُمكن، في واقع الأمر، أننا نحن البشر إن وجدنا أنفسنا في الوضع غير المألوف المُتمثل في التعامل مع كيانات غيرية بالكامل على نحوٍ يوميٍّ، قد نتعلم أن نكون أناسًا أفضل؛ أي نكون أكثر غيرية ويقلُّ توجيه الفخر والحسد إلى أفعالنا.
(٤) غباء البشر وعاطفيتهم
ليس المقصود من عنوان هذا القسم الإشارة إلى مجموعة فرعية معينة من البشر. إنه يشير إلينا جميعًا. إننا جميعًا أغبياء على نحوٍ غير معقول في ضوء المعيار المُتعذِّر الوصول إليه، الخاص بالعقلانية التامة، وكلنا مُعرَّضون لتقلبات العواطف المُختلفة التي، إلى حدٍّ كبير، تتحكم في سلوكنا.
دعنا نبدأ بالغباء. يُعظِّم الكيان العقلاني تمامًا من التحقيق المتوقَّع لتفضيلاته عبر كل الحيوات المستقبلية المُمكنة التي يُمكن أن يختار أن يعيشها. لا يُمكنني كتابة عددٍ يصف تعقُّد مشكلة اتخاذ القرار هذه، لكنني أجد التجربة الفكرية التالية مفيدةً في هذا الشأن. أولًا: لاحظ أن عدد اختيارات التحكم الحركي التي يتَّخذها أيُّ شخصٍ في حياته تصلُ إلى عشرين تريليون. (انظر المُلحق «أ» للاطلاع على الحسابات التفصيلية.) ثانيًا: دعنا نرى إلى أي مدى ستُوصِّلُنا القوة المفرطة بمساعدة كمبيوتر سيث لويد المحمول الذي يُلامس أقصى حدود القدرات الفيزيائية المُمكنة، الذي هو أسرع مليار تريليون تريليون مرةً من أسرع كمبيوتر في العالم. سنعهد إليه بمهمة عدِّ كلِّ التسلسلات الممكنة للكلمات الإنجليزية (ربما كتدريبٍ إحمائي لمكتبة بابل التي يُصورها خورخ لويس بورخس)، وسنجعلُه يعمل لمدة عام. السؤال الآن: ما طول التسلسلات التي يمكنه عدُّها في ذلك الوقت؟ ألف صفحة من النصوص؟ مليون صفحة؟ لا. ١١ كلمة فقط. يعطيك هذا لمحة عن صعوبة تصميم أفضل حياة مُمكنة بها عشرون تريليون فعل. باختصار، إننا بعيدون جدًّا عن العقلانية تمامًا مثل بُعد البزاق عن السيطرة على المركبة الفضائية «إنتربرايز» التي تسير بسرعة ٢٥٠ مليون كيلومتر في الثانية. نحن «ليس لدَينا على الإطلاق أي فكرة» عن الشكل الذي ستكون عليه الحياة المختارة على نحوٍ عقلاني.
يدلُّ هذا على أن البشر سيتصرَّفون عادةً بطرُق تتعارض مع تفضيلاتهم الشخصية. على سبيل المثال، عندما خسر لي سيدول مباراته في لعبة جو أمام برنامج «ألفا جو»، لعب حركة واحدة أو أكثر «أكَّدت» أنه سيخسر، واستطاع البرنامج (في بعض الحالات على الأقل) اكتشاف قيامه بذلك. لكن سيكون من الخطأ أن يستنتج البرنامج أن ليو سيدول يُفضِّل الخسارة. بدلًا من ذلك، سيكون من المعقول استنتاج أن ليو سيدول يُفضِّل الفوز لكن لديه بعض القصور الحوسبي الذي منعه من اختيار الحركة الصحيحة في كل الحالات. ومن ثم، من أجل فهم سلوك ليو سيدول واكتساب معلوماتٍ عن تفضيلاته، يجب على الروبوت الذي يتبع المبدأ الثالث (مصدر المعلومات الأساسي للتفضيلات البشرية هو السلوك البشري) معرفة بعض المعلومات عن العمليات المعرفية التي تُنتج هذا السلوك. فهو لا يستطيع افتراض أن سيدول عقلاني.
ليس لدى الآلات تلك الميزة. إن بإمكانها مُحاكاة الآلات الأخرى بسهولة، ولكن ليس البشر. ومن غير المُحتمل أن يكون لديها قريبًا وصولًا لنموذجٍ كامل للمعرفة البشرية، سواء عام أو مُصمَّم لأفراد بعينهم. بدلًا من ذلك، من الأفضل من الناحية العملية النظر إلى الطرق الأساسية التي ينحرف بها البشر عن العقلانية ودراسة كيفية تعلم التفضيلات من السلوك الذي يبدي تلك الانحرافات.
هناك اختلاف واحد واضح بين البشر والكيانات العقلانية والذي يتمثَّل في أننا، في أي لحظة، لا نختار من بين كل الخطوات الأولى المُمكنة لكل الحيوات المستقبلية الممكنة. ونحن حتى لسنا قريبين من هذا. بدلًا من هذا، نحن في العادة غارقون في تسلسُل متداخل بشدة من «الروتينات الفرعية». بوجه عام، نحن نسعى إلى تحقيق أهداف قريبة الأجل بدلًا من تعظيم تحقيق التفضيلات عبر حيوات مُستقبلية، ويُمكننا التصرُّف فقط تبعًا لحدود الروتين الفرعي الموجودين فيه في الوقت الحاضر. أنا الآن، على سبيل المثال، أكتب هذه الجملة: يُمكنني اختيار كيفية الاستمرار بعد علامة النقطتَين، لكن لم يخطُر لي أبدًا أن أتساءل إن كان عليَّ التوقُّف عن كتابة الجملة والانضمام إلى أحد البرامج التدريبية الخاصَّة بغناء الراب على الإنترنت أو إضرام النار في المنزل والاتِّصال بشركة التأمين أو فعل أيِّ شيءٍ من ملايين الأشياء التي «يُمكنني» فعلها بعد ذلك. إن الكثير من تلك الأشياء الأخرى قد تكون بالفعل أفضل مما أفعلُه، لكن، في ضوء تسلسل الالتزامات الخاص بي، يبدو الأمر وكأن تلك الأشياء الأخرى غير موجودة.
إذن، يبدو أن فهم الفعل البشريِّ يتطلَّب فهم تسلسل الروتينات الفرعية هذا (الذي قد يكون فرديًّا إلى حدٍّ كبير): الروتين الفرعي الذي يُنفِّذه الشخص حاليًّا، والهدف القريب الأجل الذي يجري السعي من أجل تحقيقه داخل الروتين الفرعي هذا، وكيفية ارتباطهما بالتفضيلات الطويلة الأجل الأكثر عُمقًا. بوجهٍ عام أكثر، يبدو أن تعلم التفضيلات البشرية يتطلب معرفة الهيكل الفعلي للحيوات البشرية. ما هي كل الأشياء التي يمكن أن نقوم بها نحن البشر، سواء على نحوٍ فردي أو مُشترك؟ ما الأنشطة المميزة للثقافات وأنواع الأفراد المختلفة؟ إن هذين السؤالين مُثيران للاهتمام ويحتاجان إلى البحث. من الواضح أنهما ليس لهما إجابة ثابتة لأننا نحن البشر نضيف أنشطة وهياكل سُلوكية جديدة لمُخزوننا منهما طوال الوقت. لكن حتى الإجابات الجزئية والمؤقتة ستكون مفيدةً جدًّا لكل أنواع النظم الذكية المصممة لمساعدة البشر في حيواتهم اليومية.
بالإضافة إلى تأثير العواطف على أفعالنا؛ فهي تكشف معلومات مفيدة عن تفضيلاتنا الأساسية. على سبيل المثال، ربما كانت أليس الصغيرة ترفُض أداء فروضها المنزلية، وهاريت غاضبة ومحبطة لأنها تريد حقًّا أن يكون لأليس أداء جيد في المدرسة وأن تكون لديها فرصة أفضل في الحياة مما توفَّرت لهاريت. إذا كان روبي مُستعدًّا لفهم هذا — حتى إن لم يختبر ذلك بنفسه — فقد يتعلَّم الكثير من أفعال هاريت غير العقلانية. لذا، يجب أن يكون من المُمكن إنشاء نماذج أولية للحالات العاطفية البشرية تكفي لتجنُّب الأخطاء الأكثر شناعة في استنتاج التفضيلات البشرية من السلوك.
(٥) هل للبشر تفضيلات حقًّا؟
إن الافتراض الأساسي الذي يقوم عليه هذا الكتاب يتمثَّل في وجود حيوات مُستقبلية نسعى إلى الوصول إليها، وأخرى نرغب في تجنُّبها، مثل التعرض للانقراض على المدى القصير أو التحوُّل إلى مزارع بطاريات بشرية على غرار ما حدث في فيلم «المصفوفة». بهذا المعنى، نعم، بالتأكيد البشر لديهم تفضيلات. لكن بمجرَّد أن نغوص في تفاصيل الكيفية التي سيفضلون أن تكون عليها حيواتهم، تصبح الأمور أكثر غموضًا.
(٥-١) عدم اليقين والخطأ
ينشأ عدم اليقين أيضًا من حقيقة أن الاختيارات التي تُتاح أمامنا عادة ما تكون محدَّدة على نحوٍ غير كامل؛ أحيانًا على نحوٍ غير كامل تمامًا بحيث يُمكن اعتبارها بالكاد كاختيارات. على سبيل المثال، عندما تُصبح أليس على وشك إنهاء دراستها الثانوية، قد يعرض عليها أحد مُستشاري التوظيف الاختيار ما بين أن تعمل في وظيفة «أمينة مكتبة» أو «عاملة بمنجم فحم»؛ قد تقول، على نحو معقول تمامًا: «أنا لستُ على يقين فيما يتعلَّق بتفضيلي في هذا الشأن». هنا، عدم اليقين ينشأ من عدم يقين معرفي خاصٍّ بتفضيلاتها فيما يتعلق، لنقُل، بغبار الفحم في مقابل غبار الكتب؛ ومن عدم يقين حوسبي وهي تُحاول جاهدة تحديد كيف قد تنجح في كل من هذين الاختيارين المتعلِّقين بعملها؛ ومن عدم يقين عادي فيما يتعلق بالعالم، مثل شُكوكها بشأن الصلاحية الطويلة الأجل لمنجم الفحم المحلي الخاص بها.
لتلك الأسباب، إنها لفكرة سيئة أن نربط التفضيلات البشرية باختيارات بسيطة بين خيارات موصوفة على نحوٍ غير كامل من المتعذِّر تقييمها وتتضمن عناصر من المرغوبية غير المعلومة. توفر تلك الاختيارات مُؤشِّرًا غير مباشر على التفضيلات المتضمنة، لكنها ليست جزءًا من تلك التفضيلات. وهذا ما جعلني أستعرض مفهوم التفضيلات فيما يتعلَّق «بالحيوات المستقبلية»؛ على سبيل المثال، بتخيُّل أن بإمكانك مشاهدة، على نحو مضغوط، فيلمَين مُختلفين لحياتك المُستقبلية ثمَّ التعبير عن أيهما تُفضِّل (ارجع إلى الفصل الثاني). إن التجربة الفكرية هذه بالطبع من المستحيل تنفيذها على أرض الواقع، لكن يُمكن للمرء أن يتصوَّر أنه في العديد من الحالات سينشأ تفضيل واضح قبل فترة طويلة من معرفة كل تفاصيل كلِّ فيلم ومُشاهدتها بالكامل. قد لا تعرف مقدمًا أيهما ستُفضِّل، حتى لو أُعطيت مُلخَّصًا لحبكة كلٍّ منهما؛ لكن هناك إجابة للسؤال الفعلي، بناءً على ما أنت عليه الآن، تمامًا كما أن هناك إجابة على سؤال ما إذا كنت ستُحب فاكهة الدوريان عندما تُجرِّبها.
(٥-٢) التجربة والذكريات
إن الذات المُتذكِّرة، على الجانب الآخر، هي تلك التي تتولَّى القيادة عند اتخاذ أي قرار. تختار تلك الذات تجارب جديدة اعتمادًا على «ذكريات» تجارب سابقة ومرغوبيَّتها. تقترح تجارب كانمان أن الذات المُتذكِّرة لديها أفكار مُختلفة جدًّا عن الذات المُستشعرة.
تتضمَّن أبسط تلك التجارب في فهمها غمْر يد أحد المبحُوثين في الماء البارد. هناك نظامان مختلفان؛ في الأول، يكون الغمرُ لمدة ٦٠ ثانية في ماءٍ درجة حرارته ١٤ درجة مئوية؛ وفي الثاني، يكون لمدة ٦٠ ثانية في ماء درجة حرارته ١٤ درجة مئوية ثم لمدة ٣٠ ثانية في ماء درجة حرارته ١٥ درجة مئوية. (درجات الحرارة هذه مُماثلة لدرجات حرارة المحيط في شمال كاليفورنيا؛ وهي باردة بالقدر الكافي لارتداء الجميع تقريبًا لبذلة غوص في الماء.) قال كلُّ المبحوثين إن التجربة كانت غير سارة. وبعد تجربة كلا النظامَين (أيًّا كان الترتيب، مع وجود ٧ دقائق فيما بينهما)، طُلب من المبحوث اختيار أيهما سيودُّ تكراره. فضَّل الغالبية العظمى من المبحوثين تكرار النظام الثاني بدلًا من النظام الأول.
افترض كانمان أن النظام الثاني، من وجهة نظر الذات المُستشعرة، لا بد أنه «بالطبع أسوأ» من النظام الأول؛ لأنَّه يتضمَّن النظام الأول، «إلى جانب تجربة غير سارة أخرى». ومع ذلك، اختارته الذات المتذكرة. ربما تسأل عن السبب.
يتمثَّل تفسير كانمان في أن الذات المتذكرة تنظُر إلى الأمر، من خلال نظارة ملونة على نحو غريب بعض الشيء، مهتمة بنحو أساسي بقيمة «الذروة» (أعلى أو أقل قيمة للذة) وقيمة «النهاية» (قيمة اللذَّة في نهاية التجربة). يجري في الغالب تجاهُل مدة الأجزاء المختلفة للتجربة. إن مُستوى عدم الراحة الخاص بالذروة لكلٍّ من النظامَين متساوٍ، لكن مُستوى النهاية مختلف: في حالة النظام الثاني، الماء أكثر دفئًا بمقدار درجة واحدة. إن قيَّمَتِ الذاتُ المُتذكِّرة التجاربَ من خلال قيمتَي الذروة والنهاية، بدلًا من جمع قيم اللذة عبر الوقت، فإنَّ النظام الثاني سيكون أفضل، وهذا ما جرى التوصُّل إليه. يبدو أن نموذج الذروة والنهاية يُفسِّر العديد من النتائج الأخرى الغريبة على نحوٍ مُتساوٍ في الأدبيات الخاصة بالتفضيلات.
يبدو أن كانمان (ربما على نحوٍ ملائم) مُتحيِّر فيما يتعلق بالنتائج التي توصَّل إليها. إنه يؤكد على أن الذات المتذكِّرة «قد ارتكبت ببساطة خطأ»، واختارت التجربة الخاطئة لأن ذاكرتها معيبة وغير كاملة؛ إنه يرى هذا باعتباره «خبرًا سيئًا للمؤمنين بعقلانية الاختيار». على الجانب الآخر، كتب يقول: «لا يُمكن دعم أي نظرية عن الرفاهية تتجاهل ما يُريده الناس». افترض، على سبيل المثال، أن هاريت قد جرَّبت نوعَي المشروبات الغازية الشهيرين وأنها تُفضل الآن بقوة أحدهما؛ سيكون من الغريب إجبارها على تناول النوع الآخر اعتمادًا على جمع قراءات مقياس لذةٍ ما مأخوذة في كل تجربة.
يعترف كانمان أن الوضع يتعقَّد أكثر بسبب الدَّور المحوري للتوقُّع والذكريات في الرفاهية. إن ذكرى تجربة سارَّة واحدة — يوم زواج المرء أو ميلاد طفل أو عصر يوم قُضي في قطف التوت الأسود وصُنع المربَّى — يُمكن أن تدعم المرء في سنوات العمل الشاق والإحباط. إن الذات المتذكرة ربما تُقيم ليس فقط التجربة في حدِّ ذاتها، وإنما أيضًا تأثيرها الإجمالي على القيمة المستقبلية للحياة من خلال تأثيرها على الذكريات المستقبلية. وعلى الأرجح إن الذات المتذكرة وليس المُستشعرة هي أفضل حكم على ما سيجري تذكره.
(٥-٣) الزمن والتغيير
إن احتمالية حدوث تغييرات في التفضيلات الأساسية للمجموعات السكانية البشرية عبر الزمن بطبيعة الحال تلفت الانتباه إلى المسألة المتعلِّقة بالطريقة التي تتكوَّن بها تفضيلات كل فرد ومرونة تفضيلات البالغين. إن تفضيلاتنا بالتأكيد تتأثر بجوانبنا البيولوجية: على سبيل المثال، إننا في الغالب نتجنَّب الألم والجوع والعطش. لكن جوانبنا البيولوجية ظلت ثابتة إلى حدٍّ ما، لذا، التفضيلات المُتبقية يجب أن تكون قد نشأت عن مؤثِّرات ثقافية وعائلية. من المُحتمل جدًّا أن الأطفال يُنفِّذُون باستمرار نوعًا من التعلم المعزَّز العكسي للتعرف على تفضيلات الآباء والأقران حتى يُفسِّروا سلوكهم، وبعد ذلك يتبنَّى الأطفال تلك التفضيلات وتُصبح خاصَّةً بهم. وحتى كبالغين، تتطوَّر تفضيلاتُنا بسبب تأثير الإعلام والحكومة والأصدقاء وأرباب الأعمال وتجاربنا الشخصية المُباشرة. قد يكون صحيحًا، على سبيل المثال، أنَّ الكثير من مُؤيِّدي ألمانيا النازية لم يبدءوا مسيرتهم كساديِّين متعطشين للإبادة الجماعية ونقاء العرق.
يُمثِّل تغيير التفضيلات تحديًا لنظريات العقلانية على المُستوى الفردي والمجتمعي. على سبيل المثال، يبدو أن مبدأ هورشاني الخاص باستقلالية التفضيلات يقول إن الجميع له الحق في امتلاك التفضيلات التي يُريدها ولا يحقُّ لأي شخص آخر أن يُغيرها. مع ذلك، وبعيدًا عن كون التفضيلات قابلة للتغيير، فإنها يجري تغييرها وتعديلها طوال الوقت، من خلال كل تجربةٍ يمر بها المرء. لا يسعُ الآلات إلا تعديل التفضيلات البشرية لأنَّ الآلات تُعدِّل التجارب البشرية.
من المهم، على الرغم من كونه أحيانًا صعبًا، التَّفرقة بين تغيير التفضيلات وتحديث التفضيلات، وهو الأمر الذي يحدُث عندما تتعلَّم هاريت غير المُتيقنة في البداية المزيد عن تفضيلاتها الشخصية من خلال التَّجربة. يُمكن أن يملأ تحديث التفضيلات الفجوات في المعرفة الذاتية وربما يؤكد أكثر التفضيلات التي كانت في السابق مؤقَّتة وذات أساسٍ ضعيف. إن تغيير التفضيلات، على الجانب الآخر، ليس عمليةً تنتُج عن امتلاك أدلةٍ إضافية عن التفضيلات الفعلية للمرء. في الحالة القصوى، يُمكنك تخيل أنه ناتج عن تناول المُخدِّرات أو حتى الخضوع لجراحة دماغية؛ فهو ينشأ عن عمليات قد لا نفهمُها أو حتى نُوافق عليها.
السبب الثاني لكون تغيير التفضيلات مُشكلةً هو أنه يبدو أنه ليس هناك أساس عقلاني واضح لتغيير المرء لتفضيلاته (مقارنةً بتحديثها). إن كانت هاريت تُفضِّل شيئًا عن شيء آخر، لكن قد تختار المرور بتجربة تعرف أنها سينتج عنها تفضيل الشيء الثاني على الأول، فلماذا يجب من الأساس أن تفعل ذلك؟ سيكون الناتج هو أنها ستختار حينها الشيء الثاني، الذي لا تُريده حاليًّا.
لماذا قد تسعى أيُّ آلة ذكية عن قصدٍ لتعديل تفضيلات البشر؟ الإجابة بسيطة جدًّا، وهي: لجعل التفضيلات أسهل في تحقيقها. لقد رأينا هذا في الفصل الأول في حالة تحسين معدَّل النقر في وسائل التواصُل الاجتماعي. أحد الردود قد تتمثَّل في القول بأنَّ الآلات يجبُ أن تتعامل مع التفضيلات البشرية باعتبارها شيئًا مُقدَّسًا؛ لا يُمكن أن يسمح لأيِّ شيءٍ بتغيير التفضيلات البشرية. لسوء الحظ، هذا مُستحيل تمامًا. إن وجود روبوت مُساعد مُفيد من المُحتمَل أن يكون له تأثير على التفضيلات البشرية.
يتمثَّل أحد الحُلول المُمكنة في تعلُّم الآلات «للتفضيلات التعريفية» البشرية؛ أي التفضيلات الخاصة بأنواع عمليات تغيير التفضيلات التي قد تكون مقبولةً أو غير مقبولة. لاحظ هنا استخدام «عمليات تغيير التفضيلات» بدلًا من «تغييرات التفضيلات». يرجع هذا إلى أنَّ الرغبة في تغيير الفرد لتفضيلاته في اتِّجاهٍ مُعيَّن عادةً ما يكون مُساويًا لامتلاك هذا التفضيل بالفعل؛ الشيء المطلوب بالفعل في تلك الحالة هو القُدرة على «تنفيذ» التفضيل على نحوٍ أفضل. على سبيل المثال، إن قالت هاريت: «أُريد لتفضيلاتي أن تتغيَّر بحيث لا أفضل الكعك كما أفعل الآن»، فلديها بالفعل تفضيل لمُستقبل تستهلك فيه كعكًا أقل؛ ما تُريده حقًّا هو تغيير بِنيتها المعرفية بحيث يعكس سلوكها على نحوٍ أكبر هذا التفضيل.
أقصد ﺑ «التفضيلات الخاصة بأنواع عمليات تغيير التفضيلات التي قد تكون مقبولةً أو غير مقبولة»، على سبيل المثال، وجهة النظر التي قد تؤدِّي بالمرء للوصول إلى تفضيلات «أفضل» من خلال السفر حول العالم والتعرُّف على مجموعة متنوعة من الثقافات أو المشاركة في أنشطة جماعة فكرية نابضة بالحياة تستكشف على نحوٍ تامٍّ نطاقًا كبيرًا من التقاليد الأخلاقية أو تخصيص بعض الوقت للتأمُّل والتفكير العميق في الحياة ومعناها. سأُطلق على تلك العمليات «التفضيلات الحيادية»، بمعنى أن المرء لا يتوقَّع أن العملية ستُغيِّر تفضيلاته في أيِّ اتجاهٍ معين، مع إدراك أن بعضها قد يتعارض بشدَّة مع هذا التوصيف.
بالطبع، ليس كل عمليات التفضيلات الحيادية مرغُوبة؛ على سبيل المثال، يتوقَّع القليل من الناس تطوير تفضيلات «أفضل» من خلال ضرب أنفسهم على رءوسهم. إن تعريض الذات لعملية تغيير تفضيلات مقبولة يُناظر تنفيذ تجربة لمعرفة القليل عن كيف يعمل العالم؛ أنت لن تعرف أبدًا مُقدمًا النتيجة التي ستئول إليها التجربة، ولكنَّك تتوقَّع، مع ذلك، أن تكون في وضع أفضل في حالتك الذهنية الجديدة.
يبدو أن فكرة أن هناك سُبلًا مقبولة لتعديل التفضيلات ترتبط بفكرة أن هناك طرقًا مقبولة لتعديل السُّلوك والتي بمُقتضاها، على سبيل المثال، رب العمل سيضبط موقف الاختيار بحيث يتَّخذ الناس اختيارات «أفضل» فيما يتعلَّق بالادِّخار من أجل التقاعُد. عادة ما يُمكن القيام بهذا بالتعامل مع العوامل «غير العقلانية» التي تؤثر على الاختيار، بدلًا من تقييد الاختيارات أو العقاب على الاختيارات «السيئة». عرض كتاب «الوكزة» الذي وضعه الاقتصاديُّ ريتشارد ثالر والباحث القانوني كاس صانشتاين، لنطاق عريض من الطُّرُق والفُرص التي من المفترض أنها مقبولة والتي يُمكنها «التأثير على سلوك الناس حتى تجعل حياتهم أطول وأكثر صحة وأفضل».
إنَّ الحاجة إلى الوصول إلى فهمٍ أفضل للعمليات التي بمُقتضاها تتكوَّن وتتشكَّل التفضيلات البشرية تبدو واضحة لعدةَّ أسباب؛ أهمها أن مثل هذا الفهم سيُساعد في تصميم آلاتٍ تتجنَّب التغييرات العرضية وغير المرغوب فيها في التفضيلات البشرية من النوع الذي تقوم به خوارزميات انتقاء المُحتوى على مواقع التواصل الاجتماعي. عندما نُصبح مزوَّدين بمثل هذا الفهم، فإننا بالتأكيد سنسعى إلى إحداث تغييرات ستُؤدِّي إلى عالمٍ «أفضل».
قد يُحاجج البعض بأننا يجب أن نُوفِّر فُرصًا أكبر بكثير لتجارب «تحسين» التفضيلات الحيادية؛ مثل السفر والجدال والتدريب في مجال التفكير النَّقدي والتحليلي. قد نُوفِّر، على سبيل المثال، فرصًا لكلِّ طالب ثانوي للعيش لبضعة أشهُر في ثقافتين أُخريين — على الأقل — مُختلفتَين عن ثقافته.
لكنَّنا على نحوٍ شبه مؤكَّد سنرغب في المُضيِّ قُدُمًا أبعد من ذلك؛ على سبيل المثال، بإجراء إصلاحات اجتماعية وتعليمية تزيد من معامل الغيرية — أي الوزن الذي يُعطيه كل فرد لمصلحة الآخرين — مع تقليل معاملات السادية والفخر والحسد. هل سيكون هذا هدفًا جيدًا؟ هل سنستعينُ بآلاتنا لمساعدتنا في تنفيذ هذه العملية؟ إن الأمر مُغرٍ بالتأكيد. في واقع الأمر، كتب أرسطو نفسُه يقول: «المسعى الأساسي للسياسة هو تكوين المواطنين لشخصية معيَّنة وجعلهم صالحين وميَّالين للقيام بأفعالٍ نبيلة». دعنا نقُل فقط إن تلك هي المخاطر المرتبطة بهندسة التفضيلات المقصودة على نطاقٍ واسع. يجبُ أن نسير متَّخذين الحيطة القُصوى.
