به گزارش خبرنگار علم و فناوری ایسکانیوز؛ حسین دباغ متولد شهریور ۱۳۶۴ در تهران است. کل دوران ابتدایی تا دبیرستان را در مدرسه نیکان گذراند که یک مدرسه مذهبی به شمار می‌آید. برای دوره کارشناسی، رشته مدیریت دانشگاه تهران را انتخاب کرد و پذیرفته شد، اما به مرور متوجه شد زمانی که درگیر درس می‌شد، سوالاتی از اساتید می‌پرسید که به نحوی به مسائل بنیادین انسانی اشاره داشتند. به همین دلیل تصمیم گرفت که تغییر رشته بدهد و رشته فلسفه را بخواند. از این رو، برای دوره کارشناسی ارشد، کنکور فلسفه داد و رشته فلسفه غرب در دانشگاه شهید بهشتی پذیرفته شد.
در حین تحصیل در رشته فلسفه متوجه شد که به برخی از درس‌ها و شیوه آموزشی که در دانشگاه شهید بهشتی ارائه می‌شد، علاقه‌ای ندارد و فلسفه تحلیلی علاقه اصلی اوست. از این حیث، برای دانشگاه‌های انگلستان اپلای کرد و رشته فلسفه اخلاق تحلیلی را در دانشگاه‌های ردینگ و آکسفورد خواند. در حین خواندن دکتری، به سمت بحث‌های روانشناسی و عصب‌شناسی اخلاق کشیده شد و به مباحث اخلاق کاربردی مثل اخلاق پزشکی و مغزشناسی اخلاقی علاقه پیدا کرد.
او هم‌اکنون استادیار فلسفه در دانشگاه نورث‌ایسترن آمریکا (در لندن) به صورت تمام وقت و مدرس فلسفه در دانشگاه آکسفورد به صورت پاره‌وقت است. از مشغله‌های تحقیقی او در حال حاضر اخلاق هوش مصنوعی و تاثیر آن روی اجتماع است.
او چندین کتاب ترجمه و تالیف کرده است که از میان آنها می‌توان به «مجاز در حقیقت»، «آزمایشگاه ذهن» و «دیوید هیوم برای مبتدیان» (در دست چاپ) اشاره کرد. او همچنین مشغول تهیه ۲ کتاب دیگر در حوزه عصب‌شناسی اخلاق و اخلاق هنجاری است. کتاب دیگر او درباره معرفت‌شناسی شهودگرایی و عصب‌شناسی اخلاقی سال پیش به زبان انگلیسی منتشر شد.
مصاحبه ما را با این فیلسوف ایرانی می‌خوانید:
چه شد که برای ادامه تحصیل در کارشناسی ارشد تصمیم به مهاجرت گرفتید؟
در دوره کارشناسی ارشدم در ایران گمان می‌کردم که رشته علوم انسانی در ایران چندان قدرتی ندارد و زیرساخت‌های فلسفی خوبی ندارد؛ بالاخص برای گرایش فلسفی من که گرایش تحلیلی بود و این گرایش به صورت تاریخی در انگلستان متولد شده بود. در واقع دوست داشتم فلسفه را از خود افرادی که آن را نوشته بودند، یاد بگیرم و به همین دلیل مهاجرت کردم.
چرا رشته فلسفه اخلاق را انتخاب کردید و چه چیزی باعث شد که به حیطه هوش مصنوعی وارد شوید؟
فلسفه اخلاق هم می‌تواند انتزاعی باشد و هم کاربردی. من از بحث انتزاعی آن یعنی معرفت‌شناسی شروع کردم و از میانه راه تصمیم گرفتم که نگاه کاربردی هم به فلسفه داشته باشم. برای همین گرایشم را به سمت عصب‌شناسی اخلاق سوق دادم و در میانه دوره دکتری این گرایش را ادامه دادم. در واقع، دکتری من ترکیبی از مباحث معرفت‌شناسی، روانشناسی و عصب‌شناسی اخلاق بود و تحقیقات و مقالاتم نیز به سمت عصب‌شناسی اخلاق پیش رفت.
بعد از مدتی که به فلسفه کاربردی علاقه‌مند شدم، به حیطه‌هایی مثل اخلاق پزشکی، سقط جنین، اهدای عضو و رحم اجاره‌ای پرداختم. سپس برای درک تاثیر فناوری بر باورها و ارزش‌های انسان در این حوزه تحقیق کردم. اما با فراگیر شدن بحث‌های مرتبط با هوش مصنوعی و همچنین و به دلیل تقاضای دانشگاهی که در آن مشغول بودم مبنی بر تدریس درس‌های اخلاق در هوش مصنوعی، روی این بخش متمرکز شدم که این نیز بخشی از اخلاق کاربردی است.
شما مدرس فلسفه در دانشگاه آکسفورد هستید. مدرس فلسفه دقیقا چه رتبه‌ای در استادی دارد؟
عنوان من در دانشگاه Philosophy tutor است که تا جایی که می‌دانم معادل فارسی در نظام آموزشی ما ندارد. Tutor در ترجمه فارسی یعنی معلم خصوصی، اما این اصطلاح پیشینه تاریخی مهمی در سنت آموزشی انگلستان دارد. یک فرهنگ در دانشگاه آکسفورد (و کمبریج و برخی دانشگاه‌های اسکاتلند) است که تا حدی مشابه آن را در فرهنگ حوزوی خودمان می‌توان پیدا کرد و البته قدمت بسیار دارد.
در این سنت استاد با شاگردان کم و بیش جلسات خصوصی می‌گذارد تا با این کار یادگیری دانشجویان بیشتر شود. البته این سنت به قوت آنچه در گذشته در آکسفورد بوده است، الان اجرا نمی‌شود، اما همچنان طرفدارانی دارد. فرد مدرس در طول ترم یک سری جلسات تک به تک با دانشجویان دارد که خیلی شبیه به کلاس خصوصی است، البته من با اینکه این عنوان را یدک می‌کشم، به شکل خصوصی تدریس نمی‌کنم و همانند اساتید دیگر بعضا آنلاین و بعضا حضوری سر کلاس می‌روم و درس‌های معرفت‌شناسی و اخلاق را در دپارتمان آموزش مستمر تدریس می‌کنم.
معرفت‌شناسی یا شناخت‌شناسی یا Epistemology یکی از مباحثی است که شما در مورد آن تحقیق کرده‌اید. لطفا آن را تعریف کنید و بگویید که کجا کاربرد دارد؟
معرفت‌شناسی یکی از گرایش‌های قدیمی فلسفه است که با ظهور بزرگ‌ترین فیلسوفان یونان پا گرفت. از سوالات اصلی این شاخه از فلسفه مربوط به شیوه و چگونگی دانستن ماست. به طور مثال چطور می‌دانید که رود نیل در سودان است؟ به واسطه کتاب‌های جغرافیا می‌دانید یا خودتان به آنجا سفر کرده‌اید؟ آیا می‌توانید به کتاب‌های جغرافیا اعتماد کنید و مبتنی بر ادعا و شواهد آن کتاب‌ها باور خودتان را شکل دهید؟ یا ساده‌تر، اگر کسی بپرسد الان ساعت چند است یا هوای بیرون چند درجه است، آیا محض به کار بستن ادراکات ذهنی و حسی (مثلا نگاه کردن به موبایل) شما را موجه می‌کند که استنتاج و باور کنید که ساعت برای مثال ۶/۵ است؟
حیطه دیگر بحث‌های مرتبط با معرفت‌شناسی این است که علم چیست و فرق آن با شبه علم در چیست؟ این مبحث در بررسی اخبار کذبی کاربرد دارد که با وجود پیشرفت فناوری به ویژه هوش مصنوعی و شبکه‌های اجتماعی به شدت گسترش یافته است. معرفت‌شناسی به همراه مباحث تفکر انتفادی به این موضوع می‌پردازد که چطور باید بفهمیم کدام خبر درست است و کدام خبر کذب. شاید برخی بگویند که معیاری برای تشخیص درستی یا نادرستی وجود ندارد. و در اینجاست که برخی بحث قدرت و محبوبیت را به جای صدق و کذب به میان می‌آورند. قدرت است که کذب یا صدق را می‌سازد؛ یعنی موضوعی را کذب جلوه می‌دهد یا درست. آیا واقعا چنین است؟ بیرون از حیطه قدرت و محبوبیت سخن از درستی و نادرستی بی‌معناست؟ این قبیل سوالات را شاید بتوان ذیل مباحت معرفت‌شناسی کاربردی طبقه‌بندی کرد.
در این صورت بحث اخلاق کجا می‌رود؟
اگر معرفت‌شناسی در مورد صدق و کذب صحبت می‌کند، فلسفه اخلاق در مورد درستی یا نادرستی (روایی یا ناروایی) افعال‌مان صحبت می‌کند. معیار و منبع درستی و نادرستی کجاست، اگر اساسا معیار و منبعی وجود داشته باشد؟ برخی بحث درستی یا نادرستی را به شخصیت فرد نسبت می‌دهند و قائل هستند که فضیلتمند شدن افراد راهی برای تشخیص درستی از نادرستی است. گویی هر آنچه از فرد فضیلتمند سر می‌زند نیکوست.
برخی دیگر به جای ارجاع به شخصیت افراد، منبع و معیار را جایی در بیرون و براساس اصول اخلاقی تعریف می‌کنند. گویی قوانین اخلاقی‌ای وجود دارد که با پیروی از آنها می‌توان درست از نادرست را تشخیص داد. مثلا یک اصل اخلاقی این است که هیچ وقت دروغ نگو یا اصل دیگری هست که می‌گوید خیانت نکن. اینها جزو فرامینی هستند که عموما در ادیان توحیدی و غیرتوحیدی به آنها اشاره شده است و آدمیان در فرهنگ‌های گوناگون حول این قوانین جوامع خود را شکل داده‌اند.
تئوری دیگری نیز وجود دارد که مطابق آن فرد می‌سنجد که آیا فعلش پیامد مثبت و خیرخواهانه‌ای برای همگان یا جامعه‌اش دارد یا خیر و اگر مثبت باشد و در مجموع میزان خیر و بهزیستی را افزایش دهد، آن کار را روا می‌پندارد.
آیا می‌توان گفت که بحث‌های فلسفی دینامیک است و با گذشت زمان تغییر می‌کند؟
بله به جهت تاریخی می‌توان نشان داد که فلسفه پویاست و موضوعاتی که به آن می‌پردازند متاثر از تغییرات و پیشرفت‌هایی است که در جامعه رخ داده است. به طور مثال، به هوش مصنوعی نظر کنید که در حال تغییر سرشت و ماهیت انسان و جامعه است و سوالات جدید فلسفی پیش روی اندیشمندان گذاشته است: از پرسش درباره ماهیت هوش و آگاهی تا پیامدهای اخلاقی سیاسی اجتماعی آن. آنچه در این میان برای من از همه مهم‌تر است این است که چگونه یک امر نوظهور روابط ما آدمیان را تحت تاثیر قرار می‌دهد و نسبت ما آدمیان به یکدیگر را تغییر می‌دهد.
علم بر پایه تجربیات و مشاهدات کلی است، اما هر چه بیشتر پیش می‌رود با استثنائات بیشتری در دنیا مواجه می‌شود. فلسفه اخلاق چطور خود را با این موضوع سازگار می‌کند؟
بله، علم در کلیت و ضرورت تعریف می‌شود. به طور مثال، علم پزشکی یک اصل کم و بیش کلی ارائه می‌کند که تلاش می‌کند برای تمام انسان‌ها صادق باشد و می‌گوید که اگر سرما خورده‌اید و این قرص را استفاده کنید، خیلی زود بهبود می‌یابید.
اما در سال‌های اخیر اتفاق مهمی برای سیستم ارزشی بسیاری از جوامع غربی رخ داده است -که در حال توسعه است و به جوامع دیگر هم سرایت می‌کند- که یکی از آنها بحث از احترام به «تنوع» یا inclusion یا diversity است و مربوط به قشری از جامعه است که مثل عموم افراد جامعه فکر نمی‌کنند. در واقع آنها جزو اقلیت و به یک معنا استثنائات هستند. در این سیستم ارزشی جدید، موسسات علمی و آکادمیک باید به اقلیت‌ها بها بدهد و تا جای ممکن فرصت برابر برای آنها فراهم کند.
در واقع، هر فردی چه کسی که تپیکال و معمولی است و چه کسی که مشکلات و اختلالات ذهنی دارد، دنیا و پیرامون خود را به سبک خود می‌بیند و به همین دلیل است که باید در تولید و اجرای علم تمامی این افراد را در نظر گرفت. با پیشرفت علم می‌توان مشاهده کرد زمانی که کودکان روی مساله‌ای فکر می‌کنند، کدام مناطق مغزشان فعال می‌شود. آیا یک کودک اوتیستیک همانند یک کودک معمولی فکر می‌کند؟ محتمل جواب خیر است.
سوالی که در این میان مطرح می‌شود این است که آیا این پیشرفت فناوری است که باعث شده عملکرد مغز ما تغییر کند یا پیشرفت فناوری است که باعث شده ما فعالیت مغز را بیشتر مشاهده کنیم و متوجه تفاوت‌ها و استثنائات شویم؟
فیلسوفانی که به نوعی از حتمیت‌گرایی یا تعیّن‌گرایی یا دترمینیسم در حوزه تکنولوژی اعتقاد دارند خواهند گفت فناوری تاثیر بسیار ویژه‌ای دارد و همه چیز از ساختار مغز و فرهنگ گرفته تا ماهیت انسان را عوض خواهد کرد.
جبرگرایان تکنولوژیک (مثل کارل مارکس) معتقد بودند حضور و بروز ابزار تکنولوژیک ساختارهای اجتماع و فرهنگ را طوری تغییر می‌دهند که ما در مقابل آن اراده‌ای نداریم. فقط کافی است که به تحولات فناوری از سال ۲۰۱۲ -از زمانی که شبکه‌های اجتماعی به اوج خود رسیدند- تاکنون نگاهی بیندازیم. بسیاری از رفتارها و اصول ذهنی ما به واسطه همین شبکه‌های اجتماعی تغییر کرده است. به جرات می‌توان گفت که شبکه‌های اجتماعی یک قدرت درجه یک به شمار می‌آیند و احتمال زیاد همه چیز را عوض خواهد کرد؛ شاید مهم‌ترین آن روابط میان ما انسان‌ها و روابط میان ما انسان‌ها و ربات‌ها باشد.
اما تئوری دیگری که در این مورد وجود دارد و مخالف تئوری حتمیت‌گرایی تکنولوژیک است، می‌گوید این ما هم هستیم که ارزش‌ها و باورهایی داریم و زمانی که یک فناوری را می‌سازیم، آن ارزش‌ها را در حین طراحی و ساخت ابزار فناورانه استفاده می‌کنیم. در واقع این تئوری با نوعی دترمینیسم اجتماعی دست و پنجه نرم می‌کند و می‌گوید: این ما انسان‌ها و نیات و فرهنگ و ساختارهای اجتماع ماست که در تکنولوژی اثر دارد و از این رو نوعی از مدخلیت و عاملیت را به ما برمی‌گرداند.
تئوری سومی هم می‌توان از ترکیب این ۲ به دست داد و من شخصا بیشتر با آن موافقم. مطابق این نظر ترکیبی، فناوری‌ها و ابزارهای تکنولوژیک مانند گوشی هوشمند که با زندگی ما ادغام شده و ما تمام کارهایمان را با آن انجام می‌دهیم، طبیعی است که وایرینگ یا سیم‌کشی مغز ما را تغییر می‌دهد. در مورد گذشتگان هم باید گفت که تغییر آب و هوا و ورود ابزار جدید، ساختار مغزی و مدارهای عصبی آنها را تغییر داده است. اما این ما انسان‌ها هم هستیم که با طراحی نوع خاصی از ابزارهای تکنولوژیک سیستم‌های ارزشی خودمان را در آن تکنولوژی‌ها عرضه می‌کنیم؟
پیشرفت فناوری باعث شد که ما خبر بیشتری از مغز بگیریم و با کمک ابزاری مثل fMRI روی مغز دقیق شویم و از وجود افرادی که از نظر مغزی در اقلیت هستند، آگاه شویم. اما نباید فراموش کرد که این ابزارهای تکنولوژیک محضا و به شکل عریان خبر از آنچه در مغز رخ می‌دهند به ما نمی‌دهند، چراکه ابزارهای تکنولوژیک مثل تصویربرداری مغز ساخته و پرداخته ماست و سیستم‌های ارزشی ما در این ابزارها پنهان شده است.
درست است که بگوییم قبل از اختراع ابزارهای تصویربرداری مغز افرادی هم در جامعه داشتیم که به بیماری‌هایی مثل ADHD یا اوتیسم دچار بودند و ساختار مغزی متفاوتی داشتند. اما فناوری بود که این تفاوت‌ها را برایمان برجسته کرد و ما را نسبت به وجود این افراد اقلیت آگاه کرد.
از چه زمانی بحث اخلاق در مباحث فناوری و سپس هوش مصنوعی وارد شد؟ در واقع چه اتفاقی رخ داد که اخلاق نیز وارد این حوزه‌ها شد؟
بگذارید اول کمی درباره اخلاق توضیح بدهم تا متوجه شویم که زمانی که از اخلاق صحبت می‌کنیم، دقیقا از چه حرف می‌زنیم. برخی افراد زمانی که صحبت از اخلاق می‌شود، آن را به دین و مذهب ربط می‌دهند. برخی دیگر، اخلاق را به فرهنگ ربط می‌دهند و معتقدند آنچه ما اخلاق می‌نامیم در واقع همان آداب و رسوم برآمده از فرهنگ و اجتماعات ماست. دسته دیگری هستند که معتقدند اخلاق نسبت تام و تمامی با شخصیت و خصلت‌های آدمیان دارد. اما فعلا برای بحث‌ها اجازه دهید فرض کنیم که اخلاق مرتبط با اصولی است که تنه به تنه قانون و سیاست می‌زند و ما آن اصول را به کار می‌گیریم تا فناوری‌ای داشته باشیم که اولا کمتر به عموم مردم آسیب بزند و دوما حقوق شهروندان بالاخص اقلیت‌ها را پاس بدارد.
بشر ابزارساز بعد از انقلاب نوسنگی (یا انقلاب کشاورزی اول) به سمت خلق ابزار یا به قولی «فناوری» رفت که هدف از آن سهولت و زندگی بهتر بود. اما انسان در فرآیند خلق ابزارها یک سری باورها و ارزش‌هایی را که به صورت ناخودآگاه در ذهن داشته در فناوری‌های خود فرو ریخته است. این ارزش‌ها گاه به صورت نیات و برنامه‌های سیاسی، اقتصادی و اجتماعی خودشان را نشان می‌دهند. یکی از وظایف متخصصان اخلاق در حوزه فناوری محک و داوری درباره همین ارزش‌های غالبا پنهان است. از این رو به نظر می‌رسد که باید فناوری‌ها محک اخلاقی شوند و همانطور که گفتم از ۲ جنبه مورد بررسی قرار گیرد که آیا این فناوری برای عموم آسیب‌رسان خواهد بود و آیا حقوق افراد را بالاخص اقلیت‌ها را پاس خواهد داشت؟ این محک اخلاقی را می‌توان به هوش مصنوعی و شبکه‌های اجتماعی هم تعمیم داد.
تحلیل اخلاقی هوش مصنوعی این است که این فناوری شاید قدرتمندترین و پیچیده‌ترین فناوری مدرنی است که به همراه منافع، مضرات و مشکلاتی نیز در پی دارد. ما عموما وقتی در پی خلق یک فناوری نوین می‌رویم، بیشتر در مورد توانایی و ظرفیت علمی اختراع و نواوری فکر می‌کنیم. اما شاید برخی موارد علاوه بر سوال درباره توانایی اختراع، باید به این فکر کنیم آیا اصلا نوآوری همواره درست و اخلاقا رواست؟ آیا اصلا باید این فناوری جدید ساخته می‌شد حتی با فرض اینکه توانایی علمی آن وجود دارد؟ عموم عالمان علوم تجربی و مهندسی در زمان خلق فناوری به این فکر می‌کنند که چقدر قدرت و مهارت دارند، اما از یاد می‌برند که بپرسند آیا باید این فناوری ساخته می‌شد؟ در واقع تفاوتی میان «توانستن» (can) و «بایستن» (should) وجود دارد. بایستن همان سوال اخلاقی است! مثلا یکی از سوال‌های اخلاقی این است که آیا ما این همه سیستم‌عامل iOS نیاز داریم که هر سال یک آیفون معرفی کنیم؟ قطعا می‌توانیم این کار را انجام دهیم، اما لزوم آن چیست؟
موضوعات متعدد اخلاقی، بحث سیاسی است که فیلسوفان در مورد هوش مصنوعی بیان می‌کنند. برای مثال، یکی از مباحث این است که این فناوری می‌تواند به دست دولت‌های دیکتاتور بیفتد و قدرت بسیار زیادی را به آنها بدهد، اما این فناوری در عین حال منافع بسیار زیادی برای همه مردم جهان دارد. کدام یک از آنها بیشتر است؟ منافع یا مضرات؟
مورد اخلاقی دیگر در مورد هوش مصنوعی این است که این فناوری حریم خصوصی افراد را به واسطه داده‌ها تهدید می‌کند. در حالی که حریم خصوصی یک ارزش اخلاقی محسوب می‌شود و حتی، یکی از حقوق ابتدایی ما به شمار می‌رود. اگر چنین است، پس هوش مصنوعی نباید حریم خصوصی افراد را نقض کند. البته در برخی از کشورها دولت‌ها حریم خصوصی شهروندانش را زیر پا می‌گذارند و همه جا افراد را از طریق دوربین‌ها رصد می‌کنند. استدلال این دولت‌ها این است که در مقابل از بین رفتن حریم خصوصی در عوض امنیت فراهم می‌شود. سوال اخلاقی پیش روی ما این است که کدام اهمیت بیشتری دارد: حریم خصوصی یا امنیت؟
یعنی منظور شما این است که انسان‌ها در موقع خلق یا اختراع فناوری به مسائل اخلاقی آن فکر نکرده‌اند، بلکه بعدا متوجه یک سری مسائل شده‌اند که احتمال آسیب یا ضرر را نمایان می‌کند؟
برخی از فیلسوفان معتقدند که انسان زمانی که قدرت پیدا کرد و به دانش و مهارت دست یافت، به اصطلاح شروع به خوابگردی «sleep walking» کرد و بدون اینکه حواسش به این باشد که چه چیزی خلق می‌کند، فقط به درست کردن ابزار فکر کرد و اینکه چگونه باید دانش و مهارت خود را به ظهور برساند. خوابگردی دقیقا مربوط به همان چیزی است که در بالا به آن اشاره کردم: اینکه ما در حین خلق ابزارها از سیستم‌های ارزشی استفاده می‌کنیم، اما به شکل ناخودآگاه چنین می‌کنیم و بدون اینکه خبر داشته باشیم ارزش‌ها و نیات‌مان در ابزارهایمان فرو ریخته می‌شود.
این فیلسوفان معتقدند که یکی از مشکلات دوران مدرن این است که انسان یادش رفت که بایدها و نبایدهای اساسی را از خودش بپرسد. اما هم‌اکنون که سرعت فناوری به شدت بیشتر از بحث‌های فلسفی شده است، دولت‌ها مجبورند که با قانونگذاری و سیاستگذاری حیطه‌هایی از فناوری را ممنوع کنند؛ کمااینکه این اتفاق در مورد عرصه‌های مختلف مثلا مستهجن‌نگاری کودکان رخ داد و آنقدر قبح این قضیه واضح و آشکار بود که اعتراضی از جایی برنخاست. اما وضعیت هوش مصنوعی به هیچ عنوان اینگونه نیست و مضرات و مشکلات هوش مصنوعی به اندازه مسائلی چون مستهجن‌نگاری واضح نیست و دولت‌ها نمی‌توانند کاملا جلوی آن را بگیرد. یک دلیل آن شیوع استفاده از این تکنولوژی و قدرت شرکت‌هایی است که این تکنولوژی را اداره می‌کنند.
برای مثال به موضوع خودروهای خودران نگاه کنید. زمانی که شرکت‌ها و مهندسان دست به ساخت چنین خودروهایی زدند، کمتر به این فکر می‌کردند که پیامد این تکنولوژی برای جوامع بشری چیست. بیشتر توجه مهندسان بر سر کیفیت دوربین‌های تعبیه شده روی این خودرو بود و اینکه چقدر دید دارند و آدم‌ها را چطور می‌بینند. طبیعی است که در این مورد دست به آزمایش بزنند. حال فرض کنید بیشتر آزمایش‌هایی که روی این خودرو انجام شود، روی افراد سفیدپوست باشد؛ واضح است که وقتی این ماشین‌ها در جامعه رواج داده شود، خطری برای افراد دارای پوست تیره‌تر خواهد داشت، به این دلیل که دوربین‌ها روی سیاه‌پوستان آزمایش نشده بود. اتفاقی که اینجا رخ می‌دهد شبیه همان مساله خوابگردی است؛ اینکه ما فقط به توانایی و قدرت فکر کنیم تا به پیامد اخلاقی حاصل از به کار بستن تکنولوژی.
در این زمینه باز هم بحث ارزش تنوع یا diversity در پروژه‌های تحقیقاتی نیز مطرح می‌شود که از چه جایگاه ویژه‌ای برخوردار است. وظایف تیم‌های تحقیقاتی و کمپانی‌هاست که اعضای متنوعی را به رسمیت بشناسند و استخدام کنند. مثلا اگر در زمان ساخت این دوربین‌ها یک سیاه‌پوست در گروه وجود داشت، محتمل این مورد مد نظر قرار می‌گرفت و مشکلی پیش نمی‌آمد.
با پیشرفت سریع فناوری در دنیا، چه بحث‌های فلسفی مطرح می‌شوند؟
پیشرفت بسیار سریع فناوری هوش مصنوعی یک معضل اساسی برای دولت‌ها به وجود آورده است؛ بالاخص دولت‌های دموکراتیک. برای حل معضلات حاصل از هوش مصنوعی، برای مثال، نشر اطلاعات کاذب، باید گریبان دولت‌ها را گرفت تا با قانونگذاری‌های درست محدودیت‌هایی را در کاربری فناوری اتخاذ کنند که البته این فرآیند بسیار طولانی است.
مساله‌ای که در اینجا مطرح می‌شود این است که قدرت غول‌های فناوری آمریکایی بسیار بسیار بیشتر از دولت‌ها شده و یک معضل فلسفه سیاسی به وجود آورده است. شرکتی مثل متا یا فیس‌بوک هم‌اکنون قدرتی بالاتر از به عنوان نمونه کشوری مثل ویتنام دارند. در صورتی که قرار نبود فردی مانند ایلان ماسک یا مارک زاکربرگ مثل یک رئیس جمهور عمل کند، چون ما نقشی در انتخاب آنها نداشتیم. اما این غول‌ها به دلیل داده‌هایی که جمع‌آوری کرده‌اند، قدرت بسیاری به دست آورده‌اند. و این قدرت به حدی زیاد شده که حتی دولت‌های اروپایی جلودار آن نیستند تا جایی که این شرکت‌ها می‌توانند جلوی قانونگذاری در اروپا را نیز بگیرند.
به غیر از اینها، غول‌های فناوری می‌توانند مسیر ذهنی ما را هم تغییر دهند. می‌توانند اخبار را نیز دستکاری کنند و اخبار کذب به خورد ما بدهند. رسوایی پیش آمده برای فیس‌بوک در انتخابات سال ۲۰۱۶ در آمریکا یکی از نمونه‌هاست. الگوریتم‌ها بنا بر مدل محبوبیت تصمیم می‌گیرند که چه خبری منتشر شود و چه خبری منتشر نشود. در نتیجه ممکن است یک سری افراد صدای یک سری افراد دیگر را نشنوند و این موضوع باعث آسیب و دوقطبی شدن جامعه می‌شود.
در این صورت است که به قول فیلسوفان، انسان‌ها در درون «حباب‌های معرفتی» خودشان گیر می‌افتند. از سال ۲۰۱۲ که شبکه‌های اجتماعی ظهور بیشتری پیدا کردند و ما در این فضا زیست می‌کنیم، گویا حبابی دور و برمان را گرفته و ما احساس می‌کنیم که اطرافیان و کسانی که مثل ما فکر می‌کنند در این حباب هستند. این حباب شاید پیش از ظهور شبکه‌های اجتماعی به شکل دیگری وجود داشت، اما تاثیر این حباب‌های مجازی البته ۲ چندان است.
با وجود تمام مسائل اخلاقی‌ای که عرض کردم، توجه ویژه‌ای از جانب کسانی که در صنعت فعالیت می‌کنند به این موضوعات نمی‌شود. از آنجا که رشته من میان‌رشته‌ای است طبیعی است که با متخصصان رشته کامپیوتر به ویژه هوش مصنوعی همکاری می‌کنم و متوجه شده‌ام که معمولا این افراد بحث‌های اخلاقی را بحث‌های دست و پاگیر می‌دانند و معتقدند که این بحث‌ها جلوی نوآوری پیشرفت جامعه را می‌گیرد!
خب پس به نظر شما چه راهکاری برای این وجود دارد که اخلاق نیز تقریبا همپا با پیشرفت فناوری پیش برود؟
به نظر من در هر گروه و پروژه‌ای که قرار است یک فناوری جدید طراحی و تولید شود، دست‌کم باید یک متخصص اخلاق وجود داشته باشد تا بتواند آینده‌ای را برای آن تحلیل و مخاطراتش را ارزیابی کند. ولی متاسفانه شرکت‌ها تصور می‌کنند که بحث اخلاق یک امر زائد است و برای متخصصان آن هزینه نمی‌کنند. اگر اشتباه نکنم حتی اخیرا دیدم که شرکت مایکروسافت تیم اخلاق خود را اخراج کرد!
تصور کنید که پیش‌بینی می‌شود یک فناوری برای انسان‌ها خطرناک خواهد بود. آیا سازمان یا بنیادی در دنیا وجود دارد که بتواند این پروژه را متوقف کند؟
از نظر حقوقی می‌توان پروژه‌ای را متوقف کرد؛ اگر بتوان نشان داد که برای مثال حقوق ابتدایی افراد را نقض می‌کند یا به جهت اخلاقی نشان داد که مضرات آن از منافع آن بسیار بیشتر است. برخی از کشورها برای مثال آنهایی که سیستم‌های حقوقی محافظه‌کارانه‌تری دارند معمولا با احتیاط قدم برمی‌دارند. مثلا به یاد دارم که ایتالیا زمانی هر چند کوتاه استفاده از ChatGPT را به خاطر ملاحظات حریم خصوصی در این کشور ممنوع کرد. یا مثلا انگلستان نسبت به ماشین‌های خودران با احتیاط حرکت می‌کند، چون معتقد است خطر آن برای عموم مردم زیاد است.
در واقع سازوکاری وجود دارد که از طریق بحث‌های اخلاقی می‌توان یک فناوری را به چالش کشاند و سپس بسته به سیستم هر کشور، آن را درون پارلمان برد و برای آن یک قانون نوشت. من خودم شخصا برای پروژه‌های مربوط به محدود کردن شبکه‌های اجتماعی برای کودکان فعال بودم و از طریق کار دانشگاهی به همراه همکارانم برای دولت انگلستان مقاله تحقیقی نوشتم. اما از یاد نباید برد که انگیزه‌های اقتصادی دولت‌ها بسیار قدرتمندتر از انگیزه‌های اخلاقی آنهاست.
با توجه به تجربیات و اطلاعاتی که از دنیای امروزی دارید، آینده دنیای علم و فناوری را چطور می‌بینید؟
آینده دنیا را با توجه به سرعت بسیار زیاد فناوری خیلی پیچیده می‌بینم. پیش‌بینی من این است که دولت‌های اقتدارگرا به دلیل تسلط‌شان روی تکنولوژی و شبکه‌های اجتماعی بیشتر بر سر کار خواهند آمد و دوقطبی‌گرایی در جوامع بیشتر خواهد شد، چون آدمیان صدای همدیگر را به دلیل وجود فناوری نخواهند شنید و این مساله تاثیرات بسیار زیادی از نظر روانشناسی روی افراد خواهد گذاشت. و از آنجا که سرعت قانونگذاری آهسته‌تر از ظهور فناوری‌هاست، محتمل دیر به داد قربانیان و آسیب‌دیدگان خواهیم رسید.
البته فناوری همانطور که مضراتی دارد، با خود رفاه هم می‌آورد، به طوری که گویی اصلا نمی‌شود از فناوری دل کند و از شر آن خلاص شد: حتی اگر بخواهیم از دست فناوری خلاص شویم، باید دست به دامن فناوری شویم!
به نظر شما سیستم‌های آموزش عالی ایران و انگلیس و آمریکا چه تفاوت‌هایی با هم دارند؟ و خود شما زمانی که وارد دانشگاه خارج از کشور شدید چه چیزی بیشتر از همه برایتان غریبه یا جالب بود؟
اولین چیزی که نظر من را جلب کرد، این بود که تلاش سیستم آموزش عالی مستقل بار آوردن دانشجو است. یعنی وظیفه استاد نیست که از الف تا ی درس را به دانشجو یاد بدهد. استاد فقط مسیر را به دانشجو نشان می‌دهد و دست او را می‌گیرد و این مسیر را با او طی می‌کند.
یک اصطلاح حقوقی در دانشگاه‌ها وجود دارد که دانشجویان یا براساس میزان ساعات ارتباط با اساتید شهریه پرداخت می‌کنند یا بر اساس میزان ساعاتی که آموزش و یادگیری دارند. در انگلیس سیستم دوم شایع‌تر است؛ یعنی سیستم آموزش فرض کرده است علاوه بر ساعاتی که استاد با دانشجو ارتباط دارد، دانشجو مستقلا با استفاده از راهنمایی استاد به امر آموزش و یادگیری می‌پردازد. این امر نشان می‌دهد که استاد همیشه دائما با دانشجو در ارتباط نیست و فقط زمانی که نیاز به راهنمایی دارد، در دسترسش هست. اینگونه است که دانشجو مستقل بار می‌آید و از طرف دیگر، استاد ایده‌اش را به دانشجو تحمیل نمی‌کند. این مورد در رشته‌های خلاقیت‌محور از فلسفه تا علوم اجتماعی بیشتر دیده می‌شود و مسیری برای دانشجو مشخص می‌شود که به شکل تدریجی ایده‌های جدید پیدا کند.
خود من، زمانی که از ایران به انگلستان آمدم، دچار پریشانی شده بودم، چون سیستم‌های آموزش کاملا با هم متفاوت بود و احساس می‌کردم که به حال خودم رها شدم. اما به مرور زمان حس استقلال پیدا کردم و کار تحقیقاتی را به صورت عملی یاد گرفتم.
یکی از مواردی که در سیستم آموزش عالی در ایران مرا به شدت آزار می‌داد، حفظیات در رشته‌های علوم انسانی اجتماعی بود. امتحاناتی که از ما گرفته می‌شد براساس محفوظات دانشجوها بود که به نظر من شیوه منصفانه‌ای نبود. چون با این روش نمی‌شود شیوه استدلال و منطقی دانشجو را سنجید. علاوه بر این اساتید هنگام تصحیح اوراق به دانشجویان فیدبک یا بازخورد تحلیلی ارائه نمی‌کردند تا در آینده دانشجویان برای بهبود کار خود از آن استفاده کنند. اکنون که در کسوتی معلمی کار می‌کنم، هیچگاه امتحانی که مربوط به حفظیات دانشجو باشد طراحی نمی‌کنم. ترجیح می‌دهم دانشجو از قوه تفکر انتقادی‌اش بهره بگیرد.
برای کسی که رشته فلسفه خوانده است، آیا در آمریکا یا انگلیس فرصت شغلی در صنعت وجود دارد؟
حقیقت این است که فرصت شغلی چندان مناسب نیست. یکی از نقدهایی که به رشته‌هایی مثل فلسفه وارد است، این است که ارتباط با صنعت تقریبا صفر است. این در حالی است که هر چقدر فناوری پیشرفت می‌کند، نیاز بیشتری به وارد شدن بحث‌های اخلاقی در صنعت وجود دارد. البته در زمان‌هایی که شرکت‌های فناوری نیاز به امضای قرارداد و همکاری دارند، بحث حقوقی پیش می‌آید که باعث می‌شود متخصصان این رشته وارد صنعت شوند، اما در بحث فلسفه هنوز هیچ اتفاقی رخ نداده است و این جای نقد دارد.
ورود بحث‌های فلسفی و اخلاقی و سیاسی نه تنها در بخش صنعت، بلکه در دولت نیز برای حکمرانی و سیاستگذاری ضروری است. بر همین اساس هم دانشگاه آکسفورد یک دانشکده حکمرانی تاسیس کرده است و به تازگی متوجه شده‌ام که دانشگاه تهران نیز دست به همچین کاری زده است.
در توسعه فناوری فلسفه چطور با انسان همگام می‌شود؟
زمانی که یک ایده شکل می‌گیرد، یا یک ابزار طراحی می‌شود و به شکل یک فناوری توسعه پیدا می‌کند، فکر فلسفی یا اندیشه اخلاقی به کمک می‌آید تا ابتدا ارزش‌های فردی و جامعه را بشناسیم. چون چه بخواهیم و چه نخواهیم این ارزش‌ها در فناوری ریزش می‌کند. در واقع، این بحث‌ها باعث می‌شوند که با چشم باز یک فناوری را طراحی کنیم.
در مورد ارزش‌های جامعه و تفاوت ارزش‌ها در جوامع مختلف یک مثال می‌زنم. آلمان کشوری است که به شدت روی حریم خصوصی سختگیر است و به قولی این مساله ارزش جامعه و فردی به شمار می‌آید. در دوره شیوع کرونا، دولت آلمان دستور داد که شهروندان از پول اسکناس استفاده نکنند. شهروندان نسبت به این دستور اعتراض کردند، چون اعتقاد داشتند در صورت استفاده کردن از کارت‌های اعتباری، دولت براساس تراکنش‌های مالی بیشتر می‌تواند آنها را رصد کند و در واقع حریم خصوصی‌شان را نقض می‌کند. این مساله شاید در کشوری مثل چین یا سنگاپور باعث چالش نمی‌شد، زیرا در این کشور حریم خصوصی ارزش بالایی محسوب نمی‌شود.
پس زمانی که ارزش‌ها در جامعه در تقابل با یکدیگر درمی‌آیند، این بحث‌های فلسفی و اخلاقی است که به کمک انسان می‌آید. در برخی از کشورها این ارزش‌ها بعدا به یک حق انسانی تبدیل می‌شود و از این رو شناسایی آن بسیار مهم است.
در واقع کار فلسفه و اخلاق این است که در همه امور انسانی نور می‌افکند تا تصمیم درست‌تری برای عموم مردم اتخاذ شود.
مجله «نیچر» سال گذشته مقاله‌ای منتشر کرده بود که در آن از بحران سلامت روانی دانشمندان و محققان سرتاسر جهان صحبت کرده بود. خود شما به شخصه چه بحرانی را پشت سر گذاشته‌اید؟
بنا بر تجربه محدود من، می‌توانم اذعان کنم که محققان تحت فشار فضای آکادمیک قرار دارند و البته این موضوع رشته به رشته متفاوت است. به نظرم، شغل آکادمیک در یک ساختار اقتصادی کپیتالیستی می‌تواند به شدت استرس‌آور باشد و سلامت روانی افراد آکادمیک را تهدید کند. ساختار اقتصادی سرمایه‌داری وقتی به حوزه تحقیق وارد می‌شود کاری با محققان می‌کند که گویی یک موش را روی یک تردمیل گذاشته‌اند و این موش برای رسیدن به اهدافی که سیستم برایش در نظر گرفته است، می‌دود. محققان باید این اهداف را پله به پله طی کنند؛ تدریس کنند، مقاله چاپ کنند، گرنت بگیرند، دانشجو بگیرند و آزمایشگاه‌شان را تجهیز کنند و الی آخر. من هم درگیر همه این مراحل بوده‌ام.
یکی از بحث‌های پر تکرار در حوزه آکادمیا، بحث عدم تعادل بین زندگی شخصی و کار آکادمیک در میان محققان است که باعث بحران‌های روانی آنها می‌شود. فلسفه در این زمینه چه می‌گوید و چه چیزی باعث شده است که محققان به حدی غرق در کار شوند که به بحران برسند؟
گاهی اوقات آنقدر مرز بین علاقه و کار به ویژه برای رشته‌هایی که خلاقیت در آنها اهمیت ویژه‌ای دارد، کمرنگ می‌شود که باعث می‌شود محقق حتی در اوقات فراغتش هم به مسائل علمی-و برای من به مسائل فلسفی- فکر کند. فلسفه به ما کمک می‌کند که ارزش‌های زندگی‌مان را بشناسیم. دوره بحران در واقع دوره‌ای است که ما از ارزش‌های خودمان دور شده‌ایم و دچار پریشانی و اضطراب شده‌ایم و همواره به این فکر می‌کنیم آن چیزی که دنبال می‌کنیم، آن چیزی نیست که می‌خواهیم. مثلا یک محقق سال‌ها برای گرفتن یک شغل یا برای ارتقاء در آکادمی‌تلاش می‌کند و به یکباره متوجه می‌شود که به یک بحران هویتی و استرس شدید برخورده است و با خودش فکر می‌کند که این ارزش یا هدف زندگی من نبوده و من باید دنبال چیز دیگری می‌رفتم.
در این زمان، آگاهی از ارزش‌های فردی یکی از مسائل مهم فلسفه زندگی است که از فیلسوفان یونان باستان می‌آموزیم. آنها به ما می‌گویند که پیدا کردن ارزش‌های زندگی یک رضایت خاطر و خرسندی برای انسان به ارمغان می‌آورد. پس بهتر است که هر از گاهی به خودمان برگردیم و ارزش‌هایمان را ارزیابی کنیم و ببینیم چقدر از آنها دور یا به آنها نزدیک شده‌ایم. البته در ساختارهایی مثل ساختار سرمایه‌داری که انسان را وادار به کار زیاد می‌کند، این برگشتن به خود خیلی کمتر اتفاق می‌افتد، چون شخص خود را چنان غرق در کار می‌کند که از خودش غافل می‌شود.
اگر بخواهید به جوانان ایرانی توصیه‌ای بکنید که بتوانند در شرایط اقتصادی و اجتماعی کنونی مسیر موفقیت را طی کنند، چیست؟
تجربه محدود و متواضعانه من این بوده که استقلال فکری خیلی خیلی در زندگی فردی مهم است؛ یعنی انسان بداند که با خودش چند چند است. بالاخص در جامعه ایرانی با یک فرهنگ جماعت‌گرا -که تبعیت از بزرگان و افراد دیگر یک حسن محسوب می‌شود. البته حواسمان باشد که این استقلال فکری می‌تواند هزینه‌زا باشد. رشد اجتماعی ما از همین استقلال فکری و سپس گفت‌وگو با دیگری در عین حفظ استقلال فکری به دست می‌آید.
استقلال فکری داشتن مسئولیت‌آور است و باعث می‌شود که ما به عنوان بخشی از جامعه در این رشد موثر باشیم.
به نظر شما شبکه‌های اجتماعی چه تاثیری در نقش‌گیری استقلال فکری دارند؟
شبکه‌های اجتماعی باعث کثرت‌گرایی فکری و ارزشی در جامعه می‌شود، اما نداشتن استقلال فکری می‌تواند منجر به ایجاد مشکلات عدیده‌ای برایمان شود. زمانی که ارزش‌های کثیری در اطراف ما وجود داشته باشد و ما نتوانیم تشخیص دهیم کدام را برگیریم و کدام را فروگذاریم، دچار بحران هویت و شخصیت می‌شویم و جامعه‌مان مملو از شهروندانی می‌شود که در بحران به سر می‌برند. به همین دلیل است که ما نیاز به استقلال فکری داریم؛ اگر استقلال فکری نداشته باشیم، مسئولیت‌پذیری هم نداریم و تقصیر را در خودمان نمی‌بینیم، بلکه در دیگری می‌بینیم. شاید از اطرافیان خود این جمله را شنیده باشد: من که کاره‌ای نیستم، سیستم را نمی‌شود تغییر داد!
یکی از مشکلاتی که شبکه‌های اجتماعی برایمان ایجاد می‌کند، اطمینان بیش از حدی است که ما به آنها پیدا می‌کنیم و تصور می‌کنیم که هر چه در آنها می‌بینیم درست است و باید آن را باور کنیم. به غیر از این، همانطور که قبل‌تر هم گفتم شبکه‌های اجتماعی ما را درون حباب‌های خودمان حبس کرده است و با توجه به الگوریتم‌هایی که شبکه‌هایی مثل اینستاگرام دارند، ما را با کسانی هم‌حباب می‌کند که در یک فاز هستیم و سیستم‌های ارزشی شبیه به هم داریم. در نتیجه به مرور زمان از افرادی که مثل ما فکر نمی‌کنند، دور می‌شویم. و این همان چیزی است که فیلسوفان به آن «جامعه پارتیزانی» یا دوقطبی می‌گویند. یعنی افراد با وجودی که روبه‌روی هم می‌ایستند، صدای همدیگر را نمی‌شنوند.
معمولا در اوقات فراغت‌تان چه کارهایی انجام می‌دهید؟ آیا فیلم تماشا می‌کنید و کتاب می‌خوانید؟ معمولا چه کتاب‌هایی می‌خوانید و چه فیلم‌هایی تماشا می‌کنید؟
معمولا موسیقی گوش می‌دهم و سنتور می‌نوازم. فیلم تماشا می‌کنم و ادبیات چه کتاب رمان و چه شعر می‌خوانم. فلسفه برای من هم کار است و هم سرگرمی و از این رو، در اوقات فراغت هم به سراغ فلسفه می‌روم.
معمولا فیلم‌های فلسفی و اخلاقی تماشا می‌کنم و در تدریسم نیز از این فیلم‌ها بهره می‌برم. مثلا در کلاس‌های اخلاق پزشکی زمانی که روی «اتانازی» یا مرگ اختیاری بحث می‌کردیم، از فیلم «محبوب میلیون دلاری» با کارگردانی «کلینت ایستوود» استفاده می‌کردم. به غیر از اینها فیلم‌هایی مثل «جدایی نادر از سیمین» و «قهرمان» برایم بسیار جذاب بود و در مباحث اخلاقی از آنها استفاده می‌کردم. این فیلم‌ها به من ابزاری برای تحلیل جامعه ارائه می‌دهند. در کل فیلم‌هایی را دوست دارم که به عواطف انسانی و وجود انسان – مثل ترس، تنهایی و خشم- می‌پردازد.
به کتاب‌های روانشناسی و فلسفی علاقه‌مندم. از کتاب‌های روانشناسی می‌توانم «بدن امتیاز را حفظ می‌کند» (Your Body Keeps the Score) نوشته «بسل ون در کولک» را پیشنهاد کنم که نویسنده شرح می‌دهد که چگونه تروما به معنای واقعی کلمه بدن و مغز را تغییر می‌دهد و ظرفیت‌های افراد مبتلا را برای لذت، تعامل، کنترل نفس و اعتماد به خطر می‌اندازد. او درمان‌های نوآورانه‌ای را بررسی می‌کند – از نوروفیدبک و مدیتیشن گرفته تا ورزش، نمایش، و یوگا – که با فعال کردن نوروپلاستیسیته طبیعی مغز، مسیرهای جدیدی را برای بهبودی ارائه می‌کند.
از میان کتب فلسفی اخیرا به کتاب «هاوس و فلسفه» برخوردم با ترجمه امیرحسین خداپرست این کتاب نوشته «هنری یاکوبی» برگرفته از سریال هاوس، یکی از درام‌های معروف تلویزیونی است که به بحث‌های اخلاق پزشکی می‌پردازد.
برای چه چیزی بیشتر از همه در ایران دلتنگ می‌شوید؟
برای خانواده و جمع‌های فکری که در ایران داشتم -که البته به تازگی با ابزارهای پیام‌رسان این فاصله به شدت کم شده است، اما همچنان حس و حال معاشرت فیزیکی را ندارد.
شما ازدواج کرده‌اید و فرزند دارید؟ خود شما به شخصه چطور می‌توانید بین زندگی شخصی و کاری خود تعادل ایجاد کنید؟
بله ازدواج کرده‌ام، اما فرزندی ندارم. یکی از درس‌هایی که برای دانشجویان ایرانی تدریس می‌کنم، پیدا کردن ارزش‌های زندگی براساس فلسفه زندگی است. گفتنی است که این ارزش‌ها با مرور زمان تغییر می‌کند و به طور مثال ارزشی که ۱۰ سال پیش داشته‌اید با ارزشی که در حال حاضر دارید، متفاوتند. باید دائما درگیر ارزش‌ها شویم تا از خودمان و زندگی‌مان غافل نشویم. برای این کار هم خودم را درگیر می‌کنم و هم از اساتیدم مشورت می‌گیرم.
محققان در فضای آکادمی گاهی مجبورند به موضوعی بپردازند که به آن بودجه‌ای تعلق می‌گیرد و دانشگاه یا موسسه علمی در این صورت از آنها حمایت می‌کند. این مساله ممکن است به محققان حس از خودبیگانگی القا کند و زخم روانی ایجاد کند. از این رو، به شخصه تلاش می‌کنم که تا جایی که ممکن است از خودبیگانگی پرهیز کنم.
نقش همسرتان در ایجاد تعادل چیست؟
نقش همسرم فوق‌العاده زیاد است. من به غیر از امنیت شغلی نیاز به امنیت ذهنی هم دارم که این امنیت را به واسطه همسرم به دست می‌آورم. از آنجا که همسرم شغل هنری دارد، به تعبیری هر دوی ما همدردیم و به خوبی می‌توانیم از همدیگر حمایت کنیم.
انتهای پیام/
نظر شما