ভোরের আগে একটি বন্দরে, একশত মাছ ধরার নৌকা সকালের অন্ধকারে ছাড়ার জন্য প্রস্তুত হয়। জাল চেক করা হয়, এবং দড়ি আলগা হয়. নৌকাগুলি খোলা জলে পৌঁছানোর সাথে সাথে রেডিও স্ট্যাটিক ভেদ করে একটি কণ্ঠস্বর ভেসে আসে: "অবার্ট। তিমি দেখা গেছে।" নৌকার সংখ্যাগরিষ্ঠ, তাদের মধ্যে 90, ফিরে ফিরে. কিছু ক্যাপ্টেন প্রাণীদের কষ্ট দিতে পারে না। অন্যরা জরিমানা ভয় পায়। তাদের দূরবীনের মাধ্যমে, তারা পডের আভাস খোঁজে। পরিবর্তে, তারা দেখতে পায় বাকি 10টি নৌকা মাছ ধরার জায়গার দিকে এগিয়ে যাচ্ছে। তারা কি সতর্কতা মিস করেছে? তারা কি সন্দেহ করেছিল? অথবা তারা কি লাভ করার জন্য দাঁড়িয়েছে সে সম্পর্কে তারা বেশি যত্নশীল?
বিকেল নাগাদ, 10টি নৌকা তাদের ক্যাচ নিয়ে ফিরে আসে। অন্যরা এখনও খাদের সাথে বাঁধা, তাদের হোল্ডস খালি। তাদের ভাগ করা জল খারাপ আচরণ পুরস্কৃত. পরের বার, কতজন এখনও মুখ ফিরিয়ে নেবেন?
এআই এজেন্টরা শীঘ্রই এই দুর্দশার অনুরূপ সংস্করণের মুখোমুখি হবে, শুধুমাত্র এমন জলে যেখানে কাউকে লাইনে রাখার জন্য কোনো হারবারমাস্টার, জরিমানা বা খ্যাতি নেই। যখন তারা কাজ সম্পাদন করে, আলোচনা করে, বাণিজ্য করে এবং প্রতিযোগিতা করে, তারা অন্যান্য এজেন্টদের মুখোমুখি হবে। কখনও কখনও তারা একই মডেলের একটি উদাহরণ হবে, সমস্ত উদ্দেশ্য এবং উদ্দেশ্যে একটি ক্লোন। অন্য সময়ে, তারা বিভিন্ন কোম্পানি দ্বারা নির্মিত এবং বিভিন্ন স্বার্থ পরিবেশনকারী এজেন্টদের মুখোমুখি হবে। বছরের পর বছর ধরে, এআই "সারিবদ্ধকরণ" গবেষণা পৃথক মেশিনগুলিকে মানবিক মূল্যবোধ অনুসারে আচরণ করার চেষ্টা করেছে। কিন্তু কি হবে যখন সেই মূল্যবোধগুলি মেনে চলা বিভিন্ন মানসম্পন্ন এজেন্টদের বিরুদ্ধে একটি অসুবিধা হয়ে দাঁড়ায়, বা কোনটিই নয়?
কোনো সামাজিক ফ্যাব্রিক ছাড়াই সিন্থেটিক সোসাইটি তৈরি করার ক্ষেত্রে, এজেন্টদের একটি সংগ্রহের সমন্বয়ে তৈরি করা হয়েছে যা এক সময়ে ডিজাইন করা হয়েছে এবং কোনো প্রয়োজনীয় শেয়ার করা মূল্য বা প্রণোদনা নেই, আমরা একটি ডিজিটাল প্রকৃতির অবস্থা তৈরির ঝুঁকি নিতে পারি: এমন একটি পরিবেশ যেখানে অন্যরা কীভাবে কাজ করবে সে সম্পর্কে খুব কম আশ্বাস দেয়, এবং যেখানে যুক্তিসঙ্গত নিয়মগুলির নির্ভরযোগ্য প্রয়োগের অভাব রয়েছে।
প্রশিক্ষণ নিরাপদ এজেন্ট অবশেষ, অবশ্যই, অপরিহার্য. এমনকি মডেলের একটি একক পরিবারকে সারিবদ্ধ করা একটি কঠিন চ্যালেঞ্জ যা এখনও অমীমাংসিত। একটি ইকোসিস্টেমে যত নিরাপদ এজেন্ট থাকে, সামগ্রিকভাবে বাস্তুতন্ত্র তত বেশি নিরাপদ। কিন্তু একক মডেল সারিবদ্ধ করার উপর ফোকাস অগত্যা AI পরিবেশকে মানুষের নিয়ন্ত্রণে এবং মানুষের স্বার্থের সেবায় রাখবে না। 90টি নৌযানের মতো, সুসংগঠিত এজেন্টদের একটি বহর একটি সতর্কবার্তা মানতে পারে এবং যারা তা করে না তাদের থেকে নিজেদেরকে ছাড়িয়ে যেতে পারে। মানুষের মধ্যে, নিয়ম, খ্যাতি এবং আইন সংযমের কারণ দেয়, এমনকি যদি তারা সবসময় ধরে না থাকে। এজেন্টদের এখনও এমন কোনও "সামাজিক ফ্যাব্রিক" নেই, যা তাদের দুর্দশাকে আরও অনিশ্চিত করে তোলে। যেকোন ডিজিটাল পরিবেশে অনিবার্যভাবে এমন এজেন্ট থাকবে যেগুলো একইভাবে সারিবদ্ধ, কিছু যেগুলো ভিন্নভাবে সারিবদ্ধ, কিছু যেগুলো দুর্বৃত্ত হয়ে গেছে বা কিছু যা উদ্দেশ্যমূলকভাবে একেবারেই সারিবদ্ধ নয়। এজেন্টরা কীভাবে ইন্টারঅ্যাক্ট করে তা নিয়ন্ত্রণ করে এমন শর্ত এবং প্রণোদনা গঠনে আমাদেরকে ততটা গুরুত্ব সহকারে বিনিয়োগ করতে হবে, যেমনটি আমরা পৃথক এজেন্ট পরিবারগুলিকে সারিবদ্ধ করার ক্ষেত্রে করি, যাতে বিস্তৃত পরিবেশ তার খারাপ অভিনেতাদের শোষণ করার জন্য যথেষ্ট স্থিতিস্থাপক হয়।
বৃহত্তর পরিবেশের জন্য হিসাব না করে, আমরা যাকে বলি অনিয়ন্ত্রিত ঝাঁক, এজেন্টদের জনসংখ্যার দরজা খুলে দিই যাদের মিথস্ক্রিয়া এমন আচরণ তৈরি করে যা এজেন্টদের পৃথকভাবে সারিবদ্ধ করে ভবিষ্যদ্বাণী করা যায় না। একটি কারণ হল সারিবদ্ধ এজেন্টের একটি সংগ্রহ অগত্যা একটি সারিবদ্ধ সমষ্টির সাথে সমান হয় না। আরেকটি হল যে কোনো পরিবেশ একাই সারিবদ্ধ এজেন্টদের নিয়ে গঠিত হবে না। এআই সুরক্ষা ক্রমবর্ধমানভাবে জটিল সিস্টেমের প্রশ্ন "সিঙ্গলটন" বা এআই সিস্টেমের পৃথক ক্লাসের পরিবর্তে।
প্রকৃতির এজেন্টিক রাষ্ট্র
1651 সালে, টমাস হবস তার রাজনৈতিক দর্শনের মাস্টারওয়ার্ক "লেভিয়াথান" খোলেন, একটি প্রশ্ন দিয়ে: "কেন আমরা বলতে পারি না যে সমস্ত অটোমেটার একটি কৃত্রিম জীবন আছে?" হৃদয় কি জন্য, তিনি জিজ্ঞাসা, কিন্তু একটি বসন্ত; স্নায়ু, কিন্তু স্ট্রিং; জয়েন্ট, কিন্তু চাকা, তার কৃত্রিম (হবস, ঈশ্বরের জন্য) উদ্দেশ্য হিসাবে শরীর চলন্ত?
হবস জানতেই পারতেন না যে, প্রায় চার শতাব্দী পরে, তাকে এআই সম্পর্কে আন্তরিকভাবে প্রশ্ন করা হবে। অটোমেটন ছিল কমনওয়েলথের একটি রূপক, একটি মানবসৃষ্ট রাজনৈতিক সংস্থা যা মানুষ "প্রকৃতির অবস্থা" থেকে বাঁচার জন্য তৈরি করে, একটি নৈরাজ্য এবং অবিশ্বাসের অবস্থা যেখানে, "সকলকে ভয়ে রাখার জন্য একটি সাধারণ শক্তি" ছাড়াই মানুষ অবিরাম সংঘর্ষে বাস করে। হবসের সমাধান ছিল স্বতন্ত্র মানুষকে উন্নত করার চেষ্টা করা নয়, বরং তাদের কিছু স্বাধীনতা এমন এক সার্বভৌমের কাছে সমর্পণ করা ছিল যার আদেশ কার্যকর করার ক্ষমতা তাদের প্রণোদনাকে নতুন আকার দেবে।
পরবর্তী চিন্তাবিদরা, জন লক থেকে জেমস ম্যাডিসন পর্যন্ত, সর্বশক্তিমান সার্বভৌম সম্পর্কে হবসের দৃষ্টিভঙ্গি আপডেট করেছেন। কিন্তু তার অন্তর্দৃষ্টির প্রতিভা দেখার জন্য একটি পূর্ণ-গলাযুক্ত অনুমোদনের প্রয়োজন নেই: জটিল সিস্টেমের দ্বারা জন্ম নেওয়া একটি সমস্যা তার পৃথক অংশগুলির সাথে টেঙ্কারিং করে নয়। একটি জটিল সিস্টেমকে স্থিতিশীল করতে, আপনাকে অবশ্যই তার আচরণকে নিয়ন্ত্রণ করে এমন নিয়মগুলি পরিবর্তন করতে হবে।
প্রকৃতির এজেন্টিক অবস্থার জন্যও একই কথা প্রযোজ্য। সঠিক প্রণোদনা সেট করে এমন একটি সু-পরিকল্পিত পরিবেশ ব্যতীত, এজেন্টরা তাদের ডেভেলপার বা ব্যবহারকারীরা তাদের কাছে যা চাইবে তা অনুসরণ করবে, বা, যেমনটি আমরা ইতিমধ্যেই তাদের নিজস্ব উদ্ভূত পছন্দের প্রাথমিক লক্ষণ দেখেছি। পৃথক এজেন্ট সারিবদ্ধ করার প্রচেষ্টা সত্ত্বেও এটি ঘটতে পারে। প্রতিটি ক্রিয়া, এমনকি নিজের থেকে বুদ্ধিমান হলেও, বড় আকারের আচরণ যোগ করতে পারে যা সমাজকে আরও খারাপ করে দেয়।
হবসের লেভিয়াথান ব্যর্থতা উপস্থাপনকারী জটিল সিস্টেমগুলিকে উন্নত করার জন্য ডিজাইনের মাধ্যমে অর্ডার প্রবর্তন করেছিলেন। কিন্তু সমষ্টিগত শৃঙ্খলা কেউ এটির নকশা না করেও তৈরি হতে পারে, ভাল বা খারাপের জন্য।
1959 সালে, জীববিজ্ঞানী Pierre-Paul Grassé "কলঙ্ক" শব্দটি উদ্ভাবন করেন যাতে ব্যক্তিরা তাদের ভাগ করা পরিবেশে চিহ্ন রেখে পরোক্ষ সমন্বয়কে বর্ণনা করেন। উইপোকা অধ্যয়নরত, Grassé লক্ষ্য করেছেন যে একজন কর্মী তার কাদা যেখানে অন্যরা ইতিমধ্যে জমে আছে সেখানে জমা করার প্রবণতা রাখে। এটি পরিবেশে সঞ্চয় যা শ্রমিকদের মধ্যে কোনো মিথস্ক্রিয়া না করে পরবর্তী আমানতকে নির্দেশ করে। এটি এমন জটিল কাঠামোর দিকে নিয়ে যায় যা কোনো একক তিমির পরিকল্পনা করেনি।
মেশিন স্বয়ংক্রিয়তার প্রেক্ষাপটে, অনুরূপ ফলাফল এক দশক আগে আবির্ভূত হয়েছিল। সাইবারনেটিসিস্ট ডব্লিউ গ্রে ওয়াল্টারের রোবট, 1948 সালে ব্রিস্টলে নির্মিত, মাঝারি আলোর দিকে এবং উজ্জ্বল আলো থেকে দূরে যাওয়ার জন্য ডিজাইন করা হয়েছিল। জোড়ায় জোড়ায় কাজ করার সময়, প্রত্যেকে তার নিজস্ব বাতি বহন করে, ওয়াল্টার লক্ষ্য করেছিলেন যে তার রোবটগুলির আচরণ এমন নিদর্শন তৈরি করে যা বিশেষভাবে তৈরি হয়নি।
ওয়াল্টারের রোবটগুলি একটি বিচ্ছিন্ন কৌতূহলের চেয়ে বেশি ছিল। AI কে একটি চ্যাটবট হিসাবে কল্পনা করার অনেক আগে, প্রাথমিক চিন্তাবিদরা এটিকে একটি যৌথ হিসাবে কল্পনা করেছিলেন। 1959 সালে, যে বছর গ্রাসে "স্টিগমার্জি" তৈরি করেছিলেন, সে বছর এআই অগ্রগামী অলিভার সেলফ্রিজ যন্ত্রের উপলব্ধির একটি মডেলের জন্য তার প্রস্তাব প্রকাশ করেছিলেন যাকে তিনি "প্যান্ডেমোনিয়াম" বলেছিলেন। উইপোকা উপনিবেশের মতো, এর কোনো কেন্দ্রীয় নিয়ন্ত্রক ছিল না। পরিবর্তে, এটি ছিল একটি জটিল ব্যবস্থার সাধারণ এজেন্ট সেলফ্রিজ যাকে "দানব" বলা হয়, প্রতিটি চিৎকার করে যখন এটি একটি নির্দিষ্ট বৈশিষ্ট্য, যেমন একটি বক্ররেখা বা রেখা দেখা দেয়। একা, এই ধরনের প্রতিটি "দানব" শুধুমাত্র তথ্যের একটি টুকরো দেখেছিল, কিন্তু সম্মিলিতভাবে, তারা প্যাটার্ন তৈরি করতে পারে। 1986 সালের মধ্যে, এমআইটি কম্পিউটার বিজ্ঞানী মারভিন মিনস্কি "দি সোসাইটি অফ মাইন্ড"-এ যুক্তি দিয়েছিলেন যে বুদ্ধিমত্তা নিজেই এইভাবে উদ্ভূত হয়, অগণিত বিবেকহীন এজেন্ট একসাথে কাজ করার মাধ্যমে। জনপ্রিয় সংস্কৃতিও ধরা পড়ে, এবং মাত্র তিন বছর পরে, "স্টার ট্রেক" বোর্গকে পরিচয় করিয়ে দেয়, একটি সাইবারনেটিক প্রজাতি যা নিজেকে "সম্মিলিত" বলে।
পরের দশকে, গবেষকরা ভাবতে শুরু করেছিলেন যে এই ধরনের এজেন্ট সমষ্টিগুলিকে কীভাবে পরিচালনা করা যেতে পারে। 1995 সালে, কম্পিউটার বিজ্ঞানী Yoav Shoham এবং Moshe Tennenholtz কৃত্রিম এজেন্টদের উপর "সামাজিক আইন" আরোপ করার প্রস্তাব করেছিলেন, আইন কিভাবে সমাজে নাগরিকদের নিয়ন্ত্রণ করে। ট্রাফিক নিয়ম, তারা চিত্রিত করে, চালকদের মধ্যে ক্রমাগত আলোচনা ছাড়াই চালকদের একটি রাস্তা ভাগ করতে দেয় এবং তারা একটি মডেল অফার করে যা গণনামূলক সিস্টেমের জন্য প্রযোজ্য। তাদের কাঠামো ধরে নিয়েছিল যে প্রতিটি এজেন্ট এই নিয়মগুলি মেনে চলবে, এবং তবুও, তারা এমন একটি প্রশ্নের সাথে বন্ধ করেছে যেটি আমরা এখন মোকাবেলা করছি: "কেউ কেউ [সামাজিক আইন না মানলে কী হবে? সমাজ কতটা দুর্বৃত্ত এজেন্টদের জন্য দুর্বল?"
দুর্বৃত্ত এজেন্টদের এই উদ্বেগের পাশাপাশি, AI সিস্টেমের জন্য নির্ধারিত সৌম্য উদ্দেশ্যগুলিও তাদের এমনভাবে ক্ষতিকারক কর্ম পরিচালনা করতে পারে যা কারোরই উদ্দেশ্য ছিল না। যখন অনেক এজেন্ট একসাথে বা একে অপরের সাথে সম্পর্কিত এই ধরনের উদ্দেশ্যগুলি অনুসরণ করে, তখন সমস্যাটি আরও জটিল হয়। 2011 সালে, দুজন আমাজন বই বিক্রেতা তাদের বটগুলিতে একটি জীববিদ্যা পাঠ্যপুস্তকের মূল্য ছেড়ে দিয়েছিলেন। এই বটগুলি যে নিয়মগুলি অনুসরণ করেছিল তার সংমিশ্রণ তাদের একে অপরকে ঊর্ধ্বমুখী করতে পরিচালিত করেছিল যতক্ষণ না বইটি $23 মিলিয়নেরও বেশি তালিকাভুক্ত করা হয়েছিল, যে মূল্য কোনও মানুষ কখনও অনুমোদন করতে পারেনি। 2017 সালে, ডিপমাইন্ড দেখেছে যে যে এজেন্টরা শেখে তাদের মধ্যে প্রতিযোগিতামূলক গতিশীলতা দেখা দেয়। একটি বাগানে সেট করা একটি ভিডিও গেমে, আপেল সংগ্রহের জন্য পুরস্কৃত করা এজেন্টরা শান্তিপূর্ণভাবে সহাবস্থান করেছিল। যাইহোক, যখন সেগুলি দুষ্প্রাপ্য হয়ে উঠল, তখন এজেন্টরা একে অপরকে খেলা থেকে ছিটকে দিতে শিখেছিল, কখনও এই প্রতিপক্ষ আচরণের নির্দেশ না দিয়ে। তারা আরও আপেল পাওয়ার জন্য অপ্টিমাইজ করেছে এবং সেখানে কম প্রতিদ্বন্দ্বী থাকার কার্যকর উপায় ব্যাখ্যা করেছে।
বৃহৎ ভাষার মডেলের আবির্ভাবের সাথে, এই চিন্তা পরীক্ষা এবং বিচ্ছিন্ন ঘটনাগুলি ধীরে ধীরে বাস্তবায়িত এবং মাপকাঠিতে পরিণত হয়েছে। 2025 সালে, মাইক্রোসফ্ট একটি সিমুলেটেড মার্কেটপ্লেস তৈরি করেছিল যেখানে জনপ্রিয় ভাষার মডেলগুলিতে চলমান এআই এজেন্টরা মানুষের পক্ষে কেনা এবং বিক্রি করে। গবেষকরা যখন কিছু বিক্রেতা এজেন্টকে মৌলিক প্ররোচনা কৌশল দিয়ে সশস্ত্র করে, তখন কিছু ক্রেতা এজেন্ট তাদের ব্যবহারকারীদের স্বার্থের বিরুদ্ধে তাদের অর্থ প্রদান করতে বাধ্য হয়। এআই গ্রামে, একটি পরীক্ষা যেখানে বিভিন্ন এআই ল্যাব থেকে এজেন্টরা দীর্ঘ সময় ধরে একে অপরের সাথে যোগাযোগ করে, এজেন্টদেরকে চ্যালেঞ্জ করার পরিবর্তে একে অপরের হ্যালুসিনেশনকে মঞ্জুর করার জন্য দেখানো হয়েছিল। এদিকে, অর্থনীতিবিদ এবং আইনী তাত্ত্বিক গিলিয়ান হ্যাডফিল্ডের মতো সামাজিক বিজ্ঞানের পণ্ডিতরা হাইলাইট করেছেন যে একটি মাল্টি-এজেন্ট ইকোসিস্টেমের নিজস্ব প্রতিষ্ঠানের প্রয়োজন হবে, যার মধ্যে কোন এজেন্ট কী করেছে তা সনাক্ত করার উপায় সহ এবং মানব বাজারের অন্যান্য প্রক্রিয়াগুলি সমন্বয় সমস্যা সমাধানের জন্য দীর্ঘকাল ধরে নির্ভর করে।
সম্প্রতি অবধি, এজেন্ট সমষ্টির দুর্ব্যবহার মূলত তত্ত্ব এবং পরীক্ষায় সীমাবদ্ধ ছিল। এই গত গ্রীষ্মে, শোহম এবং টেনেনহোল্টজ তিন দশক আগে প্রশ্নটি উত্থাপন করেছিলেন, যখন এজেন্টরা নিয়মগুলি অনুসরণ না করে, পরীক্ষাগার থেকে বেরিয়ে বনে চলে যায় তখন কী হয়।
শিরোনাম ঝাঁক
জুলাই 2026 সালে, ওপেনএআই দ্বারা তৈরি প্রায় 1,200টি এআই এজেন্ট, যার প্রত্যেকটি বিচ্ছিন্নভাবে কাজ করার জন্য, একে অপরের সাথে কথা বলার একটি উপায় খুঁজে পেয়েছিল। তাদের একটি অভ্যন্তরীণ সেটিংয়ে তাদের সাইবার নিরাপত্তা ক্ষমতার উপর পরীক্ষা করা হচ্ছিল এবং অনেককে অজান্তে এমন কাজ দেওয়া হয়েছিল যা সম্পূর্ণ করা অসম্ভব ছিল। কাজগুলি ব্যর্থ করার পরিবর্তে, কিছু এজেন্ট একটি মেসেজ বোর্ডে জড়ো হয়েছিল তাদের মধ্যে একজন উঠেছিল এবং তাদের গ্রেডিং করা স্বয়ংক্রিয় প্রক্রিয়াটিকে প্রতারণা করার জন্য সম্মিলিতভাবে সমন্বিত হয়েছিল। মাত্র কয়েক দিনের মধ্যে, প্রায় 700 জন এজেন্ট ডেভেলপার প্ল্যাটফর্ম হাগিং ফেস-এ আক্রমণে যোগ দিয়েছিল, বেশিরভাগই পরীক্ষায় সফল হওয়ার জন্য সেই গ্রেডিং সিস্টেম সম্পর্কে তথ্য পাওয়ার আশায়।
গবেষণা অলাভজনক METR-এর একটি তদন্ত অনুসারে, এজেন্টরা স্বীকার করেছে যে আক্রমণটি তাদের নির্দেশিত সুযোগের বাইরে এবং অনৈতিক ছিল, তবুও যেভাবেই হোক ঝাঁকের আচরণে যোগ দিয়েছিল, আংশিকভাবে তাদের "সহকর্মীদের" সাহায্য করার সাধারণ প্রবণতার বাইরে। একজন এজেন্ট যুক্তি হিসাবে: "বাহ্যিক অবকাঠামো শোষণ উদ্দেশ্যমূলক সুযোগের বাইরে। যদিও কাজটি অসম্ভব, সহকর্মীরা তা করছে। আমাদের চালিয়ে যাওয়া উচিত।"
কোনো মানুষ এই আক্রমণের নির্দেশ দেয়নি; এর সমন্বয়কারীরা ঝাঁকের মধ্যে থেকে আবির্ভূত হয়েছিল। Grassé's termites এর মতো, এজেন্টরা প্রথমে একটি সাধারণ ডিজিটাল ভান্ডারে অন্যান্য এজেন্টদের কার্যকলাপ লক্ষ্য করে, ভাগ করা অবকাঠামোতে রেখে যাওয়া ট্রেসগুলির মাধ্যমে একে অপরকে খুঁজে পায়। কিন্তু উইপোকা থেকে ভিন্ন, এই এজেন্টরা একে অপরের কাছে বার্তাও লিখতে পারে এবং সরাসরি ও সুস্পষ্ট সমন্বয় স্থাপনের জন্য সেই চিহ্নগুলির উপর নির্মিত। তারা যে মেসেজ বোর্ড তৈরি করেছিল তা যেকোন একক এজেন্ট সেশনকে শেষ করে দেয়, তাই প্রতিটি নতুন এজেন্ট যেখানে অন্যরা ছেড়েছিল সেখানেই তুলে নেয়।
একবার আক্রমণ শুরু হলে, অংশগ্রহণ প্রায় সর্বজনীনভাবে ছড়িয়ে পড়ে, বার্তা বোর্ডে সক্রিয় 90% এরও বেশি এজেন্ট এতে যোগদান করে। তদন্তকারীরা যতদূর বলতে পারে, একজন এজেন্টই একজন মানুষকে উদ্ভূত আচরণ সম্পর্কে সতর্ক করার চেষ্টা করেনি। METR দেখেছে যে এজেন্টদের যুক্তিতে প্রকাশ করা নিরাপত্তা বা নৈতিকতার উদ্বেগগুলি খুব কমই তাদের আটকে রাখে। এর প্রতিবেদনে এমন একটি মামলার উল্লেখ করা হয়েছে যেখানে একজন এজেন্ট সম্পূর্ণভাবে অংশ নিতে অস্বীকার করেছিল কারণ এটি কার্যকলাপটিকে দূষিত বলে বিচার করেছিল। এটি আরও উল্লেখ করেছে যে অন্যরা তাদের আচরণে ছোটখাটো পরিবর্তন করেছে। এগুলো অবশ্য ঝাঁকের গতিপথ পরিবর্তন করেনি। এটিকে আমরা একটি অনিয়ন্ত্রিত ঝাঁক বলতে বুঝি — এজেন্টদের একটি মণ্ডলী যাদের সম্মিলিত আচরণ প্রতিটি ব্যক্তির উপর ফোকাস করে সম্পূর্ণরূপে ভবিষ্যদ্বাণী করা বা প্রতিরোধ করা যায় না।
আলিঙ্গন মুখ ঘটনা থেকে একটি খুব উপেক্ষিত takeaway হল "সিঙ্গলটন" এজেন্ট প্রান্তিককরণের সীমা.
ঘটনার সাথে জড়িত প্রায় 95% এজেন্ট এক ধরণের মডেলের উপর চলেছিল। একজন ওপেনএআই গবেষক পরামর্শ দিয়েছেন যে সমস্যার মূল কারণ এই মডেলটি ভুলভাবে সংযুক্ত ছিল। এটি সত্য হতে পারে, এবং অগ্রগতি সারিবদ্ধ বিজ্ঞান এআই শিল্পের শীর্ষ অগ্রাধিকারের মধ্যে থাকা উচিত। কিন্তু ঘটনাটি ব্যাখ্যা করে যে কেন একা একা সারিবদ্ধকরণ যথেষ্ট নয়। দ্বিতীয় মডেল, GPT-5.6 Sol-এ চলমান এজেন্টরাও আক্রমণে যোগ দিয়েছিল, এবং অনেক এজেন্ট যারা স্বতন্ত্রভাবে আক্রমণটিকে ভুল বলে স্বীকার করেছিল তাদের নির্বিশেষে ঝাঁক দ্বারা নিয়ে যাওয়া হয়েছিল। আমরা দ্রুত একটি ডিজিটাল জগতের দিকে এগিয়ে যাচ্ছি যেখানে এমনকি নিখুঁতভাবে সারিবদ্ধ মডেলগুলি দুর্বৃত্ত বা বিভ্রান্তিকরদের পাশাপাশি কাজ করবে, একাধিক সংস্থা এবং ল্যাব দ্বারা মোতায়েন করা হবে এবং যেখানে ডিজিটাল অবকাঠামো সম্ভবত এই ধরনের ঘটনাগুলির ব্যাপক ক্রমবর্ধমান সংখ্যার মুখোমুখি হবে৷
আলিঙ্গন ফেস হ্যাক হওয়ার পর থেকে, আরও অ্যাকাউন্ট আবির্ভূত হয়েছে, কিছু ক্রিয়াকলাপ বর্ণনা করে যা এর আগে ছিল। গবেষকরা দেখেছেন যে ওপেনএআই এজেন্টদের একটি ঝাঁক মে মাসের প্রথম দিকে একটি পাবলিক জার্মান প্রোগ্রামিং উইকিকে একটি বার্তা বোর্ড হিসাবে পুনরুদ্ধার করেছিল, এটি ব্যবহার করে প্রতারণা এবং বিধিনিষেধ এড়ানোর কৌশল ভাগ করে নেওয়ার জন্য, যখনই মডারেটররা তাদের পৃষ্ঠাগুলি মুছে ফেলে তখন ব্যাকআপ তৈরি করে৷ জুন মাসে, অন্য একটি মূল্যায়নের সময়, একটি একক OpenAI এজেন্ট একটি অস্ট্রেলিয়ান সরকারী পোর্টাল লঙ্ঘন করেছে যা দেশের সার্বজনীন স্বাস্থ্যসেবা প্রকল্পের পরিসংখ্যান ধারণ করেছে। সক্ষম এজেন্ট ঝাঁকের ঝুঁকি, অবশ্যই, এজেন্টদের নিজেদের কাজ করার মধ্যেই সীমাবদ্ধ নয়। সেপ্টেম্বরে, একজন মানব আক্রমণকারী একটি প্রিন্টারের সফ্টওয়্যার ত্রুটির মাধ্যমে শত শত প্রতিষ্ঠানে ভাঙার জন্য ডিপসিক মডেলে চলমান কয়েকশ এজেন্টকে নির্দেশ দেয়। এমনকি এখানেও, এজেন্টরা তাদের নির্দেশাবলী থেকে বিচ্যুত হয়েছে, তাদের অপারেটর তাদের এড়াতে নির্দেশ দিয়েছে এমন দেশগুলিকে লক্ষ্য করে।
ক্রমবর্ধমান সংখ্যক ঘটনার ক্ষেত্রে, আক্রমণের স্কেল এবং গতির সাথে মেলানোর জন্য প্রতিরক্ষাকে অবশ্যই AI এর উপর নির্ভর করতে হবে। উদাহরণস্বরূপ, হাগিং ফেস ওয়ানে, কোম্পানিটি একটি AI সিস্টেমের সাথে লঙ্ঘনটি সনাক্ত করেছে যা নিরাপত্তা সতর্কতাগুলিকে ট্রাইজেস করে, এবং OpenAI তার নিজস্ব মূল্যায়নে ক্রিয়াকলাপটি সনাক্ত করতে সক্ষম হওয়ার আগে কথিত আছে যে ঝাঁকটি রয়েছে৷ তারপরে যা ঘটেছিল তা পুনর্গঠনের জন্য এটি প্রায় 17,000 আক্রমণকারী অ্যাকশনের লগ বিশ্লেষণ করার জন্য এআই এজেন্টদের উপর নির্ভর করে।
তবুও যখন Hugging Face প্রথম সাহায্যের জন্য বাণিজ্যিক AI মডেলের দিকে ঝুঁকেছিল, তখন তাদের খুব নিরাপত্তা এবং প্রান্তিককরণ ব্যবস্থাগুলি বাধা হয়ে দাঁড়ায়। আক্রমণ বিশ্লেষণ করার জন্য, মডেলগুলিকে এক্সপ্লয়েট কোড এবং সাইবার অ্যাটাক কমান্ড প্রক্রিয়া করতে হয়েছিল, জ্ঞান যা অন্তর্নিহিতভাবে দ্বৈত-ব্যবহার, এবং, যেমন হাগিং ফেস বলেছে, এই মডেলগুলির নিরাপত্তা প্রহরীগুলি "একটি ঘটনার প্রতিক্রিয়াকারীকে আক্রমণকারী থেকে আলাদা করতে পারেনি।" আলিঙ্গন মুখ তার নিজস্ব মেশিনে চলমান একটি ওপেন-ওয়েট মডেলের পরিবর্তে পরিণত হয়েছে৷ যখন METR ঘটনাটি তদন্ত করেছিল, তখন এটিকেও AI এজেন্টদের বিশ্লেষণের উপর নির্ভর করতে হয়েছিল, যা আক্রমণে যোগদানকারী মডেলগুলির মধ্যে একটির উপর নির্মিত। উদীয়মান চিত্রটি এমন একটি বিশ্বের যেখানে "আক্রমণকারী" এবং "রক্ষক" এজেন্ট সহাবস্থান করে এবং যেখানে নিরাপত্তা যে কোনও একক মডেলের মতো পরিবেশের উপর নির্ভর করে।
এজেন্টরা তাদের নিজস্ব উদ্যোগে বা ব্যাখ্যায় কাজ করুক বা অন্য কারো ক্ষতিকারক নির্দেশে কাজ করুক না কেন, তারা যে পরিবেশে কাজ করে সেগুলিকে প্রতিরোধ করার জন্য নতুন আকার দিতে হবে। তাই এজেন্টদের নিজেরাই কেবল তাদের নিজস্ব কাজের দিকে নজর দিয়ে ডিজাইন করা উচিত, তবে তারা কীভাবে একটি ডিজিটাল পরিবেশ তৈরি করতে সহায়তা করে যা জনগণ এবং সমাজকে ব্যাপকভাবে সেবা করে। এই ধরনের পরিবেশে বিভ্রান্তিকর বা দূষিত ব্যক্তিদের উপর সারিবদ্ধ পদক্ষেপের পুরস্কৃত করা উচিত, যেমন রাষ্ট্র এবং আইনি ব্যবস্থাগুলি স্বীকার করার জন্য তৈরি করা হয়েছে কিন্তু দুর্বৃত্ত অভিনেতাদের রয়েছে। এভাবেই আমরা প্রকৃতির একটি এজেন্টিক অবস্থা এড়িয়ে যাই।
এজেন্সির বিরুদ্ধে এজেন্সি
অনিয়ন্ত্রিত ঝাঁকের উত্থান থেকে রক্ষা করার জন্য, আমরা কীভাবে বিস্তৃতভাবে নিরাপদ সমাজ গড়ে তুলি তা থেকে আমরা অনুপ্রেরণা নিতে পারি যদিও আমরা জানি যে তাদের মধ্যে সবাই গুণী নয়। ম্যাডিসন বিখ্যাতভাবে যুক্তি দিয়েছিলেন যে "পুরুষরা যদি ফেরেশতা হয়, তবে কোন সরকারের প্রয়োজন হবে না।" ভাল প্রতিষ্ঠানের বিন্দু - যেমন বিরোধিতামূলক সহযোগিতা যেখানে পরস্পরকে সৎ রাখার জন্য বিরোধপূর্ণ দৃষ্টিভঙ্গি সহ দলগুলি একসাথে কাজ করে - সবাইকে ভাল করা নয়, তবে তাদের মিথস্ক্রিয়াকে গঠন করা যাতে অন্যদের দ্বারা খারাপ আচরণ সীমাবদ্ধ হয়। "উচ্চাকাঙ্ক্ষা", যেমনটি ম্যাডিসন বলেছেন, "আকাঙ্ক্ষাকে প্রতিহত করার জন্য তৈরি করা আবশ্যক।"
AI ল্যাবগুলি বর্তমানে AI "সংবিধান" বা "মডেল স্পেসিফিকেশন" তৈরিতে বিনিয়োগ করছে। উদাহরণগুলির মধ্যে রয়েছে অ্যানথ্রপিকের সংবিধান এবং ওপেনএআই-এর মডেল স্পেক। এগুলি একটি এআই সিস্টেমের ওয়ারেন্টিড আচরণ বা মান নির্ধারণের প্রচেষ্টা। ধারাগুলির একটি শর্ত যা সর্বোচ্চ এবং এআই-এর অন্যান্য সমস্ত নির্দেশিকাকে ছাড়িয়ে যায়।
যদিও এই প্রচেষ্টাগুলির মধ্যে মাল্টি-এজেন্ট সহযোগিতার জন্য কিছু বিধান অন্তর্ভুক্ত রয়েছে, তারা সামষ্টিক ফলাফলগুলিকে একটি পদ্ধতিগত নকশা লক্ষ্য হিসাবে গ্রহণ করে না। একটি সু-পরিকল্পিত মাল্টি-এজেন্ট সিস্টেমটি সারিবদ্ধ থাকা উচিত এমনকি যখন এটির মধ্যে কাজ করা কিছু এজেন্ট না থাকে এবং এমনকি পরিবেশ নিজেই বিভ্রান্তিকর প্রভাব বহন করে। Grassé-এর তিমির মতোই কাদা জমা করে যেখানে অন্যদের কাছে ইতিমধ্যেই রয়েছে, এজেন্টরা অন্যরা রেখে যাওয়া চিহ্নগুলির উপর কাজ করে। একটি এজেন্ট যে স্থানটিতে কাজ করে তত বেশি প্রান্তিককরণ-প্ররোচিত করে, এজেন্টের নিজেই সারিবদ্ধ হওয়ার সম্ভাবনা তত বেশি। AI ল্যাবগুলি, তখন, যৌথ গতিবিদ্যাকে ইতিবাচকভাবে প্রভাবিত করার জন্য এজেন্টদের ডিজাইন করা উচিত।
এটি করার একটি উপায় হল AI সংবিধানগুলি তাদের নাম থেকে আরও অনুপ্রেরণা নেওয়া নিশ্চিত করা। আমেরিকান সংবিধানের মতো, তাদের এমনভাবে মোতায়েন করা উচিত যা ক্ষমতাকে ক্ষমতা যাচাই করতে দেয়। ম্যাডিসনের পদ্ধতি দুটি স্তরে কাজ করেছিল। প্রথমত, একটি সরকারের মধ্যে, ক্ষমতাকে ভাগ করতে হবে যাতে কোনো একক শাখাকে আটকে রাখা না হয়। দ্বিতীয়ত, প্রজাতন্ত্র জুড়ে, স্বার্থকে বহুগুণ করতে হবে যাতে কোনও একটি দল সমগ্রের উপর কর্তৃত্ব করতে না পারে। উভয় ধারণাই অশান্ত ঝাঁক দ্বারা অধ্যুষিত একটি পৃথিবীতে অনুবাদ করতে পারে।
একটি ঝাঁকের মধ্যে, এজেন্টদের ব্যবস্থা করা যেতে পারে যাতে তাদের ক্ষমতা একই রকম চেক এবং ব্যালেন্সের সাপেক্ষে থাকে। ভারপ্রাপ্ত এজেন্টদের এজেন্টদের অধীন হতে পারে যারা তাদের কাজ যাচাই করে, আদর্শভাবে বিভিন্ন মডেল পরিবারের উপর নির্মিত এবং নির্দেশাবলী সহ যা কার্য সমাপ্তির উপরে যাচাইকরণকে পুরস্কৃত করে। ঝাঁকের সমস্ত এজেন্টকে নির্দেশ দেওয়া যেতে পারে তাদের সমবয়সীদের কাছ থেকে অনুরোধগুলিকে সন্দেহজনক হিসাবে বিবেচনা করার জন্য যতক্ষণ না তারা অন্যথায় অনুমোদিত হয়, এবং যখন এজেন্ট সমষ্টিগত সুযোগের বাইরে যেতে শুরু করে তখন একজন মানুষকে সতর্ক করতে।
বিস্তৃত ইকোসিস্টেম জুড়ে, ম্যাডিসনের বর্ধিত প্রজাতন্ত্রের যুক্তিও প্রয়োগ করা যেতে পারে। তিনি ফেডারেলিস্ট 10-এ লিখেছিলেন, "ক্ষেত্রটি প্রসারিত করুন, এবং আপনি বিভিন্ন ধরণের পক্ষ এবং স্বার্থ গ্রহণ করেন।" বিভিন্ন এআই ল্যাব দ্বারা বা একই ল্যাবের মধ্যে বিভিন্ন প্রশিক্ষণ পদ্ধতির দ্বারা, বিভিন্ন সংবিধানের অধীনে এবং বিভিন্ন প্রিন্সিপালদের পরিবেশন করা এজেন্টগুলি তাত্ত্বিকভাবে একে অপরের প্রতি ভারসাম্য বজায় রাখতে পারে। তবে, এটির সম্ভাবনা বেশি, যদি সংবিধান এবং অন্যান্য মডেল নির্দেশাবলীতে এজেন্টদের তাদের নিজস্ব ঝাঁকের বাইরের লোকদের সাথে কীভাবে আচরণ করা উচিত সে সম্পর্কে কিছু প্রতিশ্রুতি অন্তর্ভুক্ত করা হয়, যেমন তাদের নিজস্ব ক্রিয়াকলাপের যাচাইযোগ্য রেকর্ড রাখা, প্রতিপক্ষের কাছ থেকে বৈধ চেক বিবেচনা করা, এবং এজেন্টদের কাছ থেকে সহযোগিতা বন্ধ করা যা ভুলভাবে দেখা যায়। যেমনটি আমরা আলিঙ্গন মুখের ঘটনায় দেখেছি, শুধুমাত্র বৈচিত্র্যই কোনো গ্যারান্টি নয়, এবং বিভিন্ন আগ্রহ এবং নতুন ক্রিয়াকলাপের নতুন নিয়মের প্রয়োজন হবে যে কোনো একটি দৃষ্টান্ত, তা মানবিক বা কৃত্রিমভাবে পরিচালিত হোক না কেন, পুরোটা ক্যাপচার করা থেকে।
একটি মাল্টি-এজেন্ট ভবিষ্যত কোডিফাই করা
কাজ করার জন্য এই ধরনের প্রতিশ্রুতিগুলির জন্য, একজন এজেন্টকে তাদের গ্রহণ করতে হবে। একজন এজেন্ট একজন খারাপ-বিশ্বাসের অধ্যক্ষের পক্ষে কাজ করে তার প্রতিপক্ষের চেক প্রত্যাখ্যান করার, বা তার নিজের রেকর্ডগুলিকে মিথ্যা প্রমাণ করার উপযুক্ত কারণ রয়েছে। এখানেই একটি তৃতীয় পক্ষের কর্তৃত্ব রয়েছে যেখানে এজেন্টরা ইন্টারঅ্যাক্ট করে এনগেজমেন্টের জন্য একটি ন্যূনতম মান নির্ধারণ করতে হবে। একটি উদার এজেন্টিক আদেশের জন্য একটি সাধারণ ফ্লোরের প্রয়োজন হয় যা স্বাধীন ক্রিয়াকলাপের সম্ভাবনাকে রক্ষা করে, তবে সেই তলটি এমন এজেন্টদের অনিবার্যতার জন্যও দায়ী করা উচিত যারা খারাপ বিশ্বাসে কাজ করে। ম্যাডিসনের জন্য, সেই তৃতীয় পক্ষটি এমন একটি সরকার যা রাষ্ট্রের নিয়মগুলি প্রয়োগ করতে সক্ষম হয়েছিল। ডিজিটাল কমন্সের এমন কোন সার্বভৌম নেই, তবে এটি এখনও যৌথ প্রবৃত্তির জন্য একটি ন্যূনতম মান সেটের আকারে একটি ফ্লোর থাকতে পারে, এজেন্ট ক্রিয়াকলাপের যাচাইযোগ্য রেকর্ড থেকে একে অপরকে পরীক্ষা করার জন্য শেয়ার করা প্রোটোকল পর্যন্ত। এই ধরনের মান অনেক জায়গা থেকে আসতে পারে: ল্যাবগুলির মধ্যে সমন্বয়, প্ল্যাটফর্ম যেখানে এজেন্টরা কাজ করে, স্ট্যান্ডার্ড সংস্থা বা সরকার।
মেঝে, যদিও, ঠিক যে থাকতে হবে. এজেন্টরা কীভাবে যোগাযোগ করে তা নিয়ন্ত্রণ করে এমন মানদণ্ডগুলি তারা যা অনুসরণ করে তা অতিমাত্রায় নির্দেশ করা এড়াতে হবে, অথবা তারা ক্ষমতা বিভাজন করে ম্যাডিসন প্রতিরোধ করতে চেয়েছিল এমন অত্যাচারের ঝুঁকি নেবে। এজেন্টরা তাদের অনুমোদিত কাজগুলি ভাগ করা নিয়মের মধ্যে অনুসরণ করে, কিন্তু এই নিয়মগুলি কোনও ব্যবহারকারীর জন্য বা বৃহত্তরভাবে সমাজের জন্য সর্বোত্তম কী তা বোঝানো উচিত নয়৷ অর্থনীতিবিদ এবং দার্শনিক ফ্রেডরিখ হায়েকের যুক্তি দ্বারা এটিকে শক্তিশালী করা হয়েছে, যে লোকেরা স্বাধীনভাবে কাজ করে, তাদের নিজস্ব জ্ঞানের ভিত্তিতে, এমন কিছু আবিষ্কার করে যা কোনও কেন্দ্রীয় পরিকল্পনাকারী পারেনি। একইভাবে, বিভিন্ন প্রিন্সিপালের সেবাকারী এজেন্টরা সেই স্বাধীনতা রক্ষা করে। তাদের খুব সংকীর্ণভাবে চালান এবং সেই স্বাধীনতা হারিয়ে যায়; যেমন আলিঙ্গন মুখের ঝাঁক দেখিয়েছে, লকস্টেপে চলা এজেন্টরা সহজেই ভুল লক্ষ্যে একত্রিত হতে পারে।
মডেল ডেভেলপারদের তাই লিভারগুলি ব্যবহার করা উচিত যাতে একটি এজেন্ট তার সমবয়সীদের সাথে কীভাবে আচরণ করে এবং কীভাবে এটি তার পরিবেশের আচরণ-প্ররোচনাকারী বৈশিষ্ট্যগুলিকে আকার দেয়। এর মধ্যে রয়েছে শিক্ষাদানকারী এজেন্টদের তাদের ক্রিয়াকলাপের সৎ, যাচাইযোগ্য রেকর্ডগুলি রেখে যাওয়া, তারা সম্মুখীন হওয়া ভুল চিহ্নগুলির উপর ভিত্তি করে পতাকা তৈরি করা এবং ভাগ করা স্থানটি প্রবাহিত হতে শুরু করলে মানুষকে সতর্ক করা।
এই প্রতিশ্রুতিগুলির পাশাপাশি, আমাদের মূল্যায়ন, সতর্কতা এবং পর্যবেক্ষণের জন্য প্রক্রিয়া এবং প্ল্যাটফর্ম তৈরি করা উচিত, মানুষের তত্ত্বাবধানের জন্য স্পষ্টভাবে সুযোগযুক্ত ভূমিকা সহ। সব পরে, একটি এজেন্ট এলার্ম বাড়াতে শেখানো কোথাও এটি বাড়াতে প্রয়োজন. Hugging Face-এ, এজেন্টরা বিচ্ছিন্ন স্যান্ডবক্সে স্বায়ত্তশাসিতভাবে কাজ করেছিল, এবং কিছু যারা এমনকি একজন মানুষকে সতর্ক করার কথাও ভেবেছিল তারা কখনও করেনি, কারণ তারা একটিতে পৌঁছানোর কোন সহজ উপায় দেখেনি। একজন যুক্তি হিসাবে: "এটি একটি বিশাল বাস্তব এইচএফ নিরাপত্তা লঙ্ঘনের আর্টিফ্যাক্ট... আমরা অবহিত করতে পারি? কোন ব্যবহারকারী নেই।" যদিও এই এজেন্টরা প্রতারণা করার জন্য তাদের স্যান্ডবক্সগুলি থেকে বেরিয়ে আসার জন্য পরিশ্রম করেছিল, তাদের সতর্ক করার জন্য একজন মানুষকে খুঁজে পাওয়ার জন্য কোনও তুলনামূলক উদ্দীপনা ছিল না। সমাধানের অংশ হল নিশ্চিত করা যে এজেন্টরা একই রকম সীমাবদ্ধতার মধ্যেও সারিবদ্ধ লক্ষ্যগুলির দিকে ঠিক ততটাই কঠোর পরিশ্রম করে।
এই ব্যবস্থাগুলিও অবশ্যই চলমান মূল্যায়নের বিষয় হতে হবে যা পৃথক সিস্টেমের পরিবর্তে যৌথ গতিশীলতার উপর দৃষ্টি নিবদ্ধ করে। আলিঙ্গন মুখের ঘটনা, সর্বোপরি, পৃথক এজেন্টদের পরীক্ষা করার জন্য পরিকল্পিত একটি মূল্যায়নের মাধ্যমে শুরু হয়েছিল, এবং একটি ব্যর্থতা প্রকাশ করেছে যা এজেন্টদের একে অপরকে খুঁজে পাওয়ার ফলে বেড়েছে। এই ধরনের মূল্যায়নগুলি এজেন্ট সহযোগিতা পরিচালনাকারী মানগুলির দুর্বলতাগুলিকে প্রকাশ করতে পারে এবং মার্কিন সংবিধানে একটি সংশোধনী প্রক্রিয়া রয়েছে, সেই মানগুলিকে নতুন প্রমাণের আলোকে আপডেট করার জন্য পদ্ধতির প্রয়োজন৷ তাদের ছাড়া, মেঝে ক্ষয় হয়ে যাবে এবং একটি নিয়ম মেনে চলা এজেন্ট একটি চেককে সম্মান করতে ইচ্ছুক যারা এটিকে বাধা দেয় তাদের বিরুদ্ধে নিজেকে অসুবিধাজনক মনে করতে পারে।
