এআই-সহায়ক ওয়েব-স্ক্র্যাপিং-এ আমার সাম্প্রতিক পরীক্ষাগুলি আমার কাছে ক্রমবর্ধমান মাত্রায় নিয়ে এসেছে যে ওয়েব 'লক-ডাউন' হয়ে উঠছে। এই ছাঁটাইয়ের জন্য অনুপ্রেরণামূলক ইভেন্ট, অবশ্যই, AI ওয়েব-স্ক্র্যাপিংয়ের চমকপ্রদ বৃদ্ধি, যার নতুন ডেটার জন্য আপসহীন চাহিদা ডোমেনগুলি অফলাইনে নিয়ে যেতে পারে।

ডোমেনগুলির জন্য এটি একটি ভাল অজুহাত যা তাদের মধ্যে অনেকেই দীর্ঘদিন ধরে করতে চেয়েছিল: ব্যবহারকারী লগ ইন করলেই তাদের সামগ্রী অ্যাক্সেসযোগ্য করে তোলে (যদিও স্বাভাবিকভাবেই, Googlebot সাধারণত একটি বিনামূল্যে পাস পায়)৷ Facebook 2023 সালে এই নীতিটি ধীরে ধীরে গ্রহণ করেছে এবং একই বছর টুইটার/X একইভাবে করেছে। রেডডিট এই মাসের শেষের দিকে এটি গ্রহণ করবে।

এইভাবে, কোনো দেশ-নির্দিষ্ট বয়স-সীমাবদ্ধতা প্রয়োগের সাথে সম্মতি ডোমেনের জন্য একটু সহজ হয়ে যায়, যেহেতু ব্যবহারকারী ইতিমধ্যেই নিবন্ধিত। আরও গুরুত্বপূর্ণভাবে, ব্যবহারকারীর ডেটা সংরক্ষণ করা যেতে পারে, স্থানীয় বিশ্লেষণের জন্য শোষণ করা যেতে পারে এবং – স্থানীয় আইন অনুমোদন করে – ডেটা ব্রোকার এবং এআই কোম্পানির কাছে বিক্রি করা যেতে পারে।

অন্যত্র, ক্লাউডফ্লেয়ার অনুসারে, বটগুলির বিরুদ্ধে (ব্যবহারকারীদের নথিভুক্ত করার পরিবর্তে) প্রতিরক্ষার লক্ষ্যে নেওয়া পদক্ষেপগুলি বছরে 58% এরও বেশি বেড়েছে; এবং সমস্ত ক্রমবর্ধমান বট কার্যকলাপ স্বাভাবিকভাবেই ওয়েবসাইটগুলিকে VPN এবং প্রক্সি ঠিকানাগুলি যাচাই করতে উত্সাহিত করে, সম্ভাব্য বৈধ ব্যবহারকারীদের অ্যাক্সেস অস্বীকার করে, যে কোনও 'দূষিত' ট্র্যাফিকের সাথে।

এর উপাখ্যানগত দিকটি হল যে আমি আরও বেশি করে 'ব্লকিং' প্রতিক্রিয়া বা চ্যালেঞ্জগুলির বিরুদ্ধে এসেছি বলে মনে হচ্ছে, যেখানে আমি এমন একটি সাইট পরিত্যাগও করতে পারি যা সেগুলি লোড করা শুরু করে; এবং যেহেতু ক্যাপচা -ওয়ালগুলি ব্যবহারকারীদের এবং সম্ভাব্য গ্রাহকদের নিরুৎসাহিত করার জন্য পাওয়া গেছে, যে চাপের কারণে ডোমেনের মালিকরা সেই খারাপ দিক থাকা সত্ত্বেও তাদের গ্রহণ করতে পারে তা কেউ কল্পনা করতে পারে।

এই সমস্ত নতুন এবং বর্ধিত ঘর্ষণটি আংশিকভাবে যৌক্তিক (কারণ সমস্ত ডোমেইন আক্রমণ সহ্য করতে পারে না) তবে প্রায়শই এক ধরণের আলোচনার কৌশল এটি দেখতে যে AI কোম্পানিগুলি তাদের এতটা আকাঙ্ক্ষিত সমস্ত ডেটার জন্য একক বা সম্মিলিতভাবে পারিশ্রমিক দেবে কিনা, এবং যা এতদিন ধরে বিনামূল্যে পাওয়া গেছে।

যেহেতু এআই ক্রলারদের স্কেলে কাজ করতে হয়, তাই তারা নাট্যকার কাঠামোর অধীনে ক্রোমের 'হেডলেস' উদাহরণ ব্যবহার করার প্রবণতা রাখে। আজকাল, ক্রমবর্ধমান সংখ্যক ডোমেনের জন্য, এটি আপনাকে একটি 403 ('নিষিদ্ধ') ত্রুটি পাবে (অর্থাৎ, হোস্ট জানে যে আপনি স্বয়ংক্রিয় ট্রাফিক, এখন স্ক্র্যাম):

যা চাই তা হল '200' ('ঠিক আছে') ক্লায়েন্টের প্রতিক্রিয়া, এমনকি যদি এটি পাওয়ার জন্য একজনকে একটি আবাসিক প্রক্সি ফার্মে অর্থের স্তূপ হস্তান্তর করতে হয়, অন্যান্য বৈচিত্র্যময় অ-মানবিক গোপন কৌশলগুলির সাথে একত্রিত হয়ে।

200 প্রতিক্রিয়ার চেয়ে ভাল কিছু নেই; যার অর্থ হল, উচ্চ স্তরের ইতিবাচক সংকেত সহ কোনও ক্লায়েন্ট প্রতিক্রিয়া কোড নেই। এটি একটি অস্পষ্ট প্রতিক্রিয়া নয়; এটা কখনই 'প্রায় ঠিক আছে', 'পরে ঠিক হয়ে যাবে', বা 'আরো ঠিক হয়ে যাচ্ছে'; এটা 'ঠিক আছে!' এটি ঠিক না হলে, এটি একটি 200 প্রতিক্রিয়া নয়।

নমস্কার! চলে যাও

একটি নতুন গবেষণাপত্র অনুসারে, গ্রানুলারিটির এই অভাবটি ব্যতীত, AI ডেটাসেট, পরিসংখ্যানগত অনুমান এবং রিপোর্টিং 'ভাল' অবস্থার ক্ষেত্রে উল্লেখযোগ্যভাবে তির্যক হতে পারে।

অধ্যয়ন* অনুমান করে যে 200-শ্রেণীর প্রতিক্রিয়াগুলির প্রায় পঞ্চমাংশে কোনও ব্যবহারযোগ্য পৃষ্ঠা সামগ্রী নেই, পরিবর্তে খালি ওয়েবসাইট শেল, ক্যাপচা চ্যালেঞ্জ, অ্যাক্সেস সীমাবদ্ধতা, বা বিকল্প পৃষ্ঠাগুলি সরবরাহ করে।

কাগজটি বলে:

'একটি স্ট্যাটিক ক্লায়েন্ট স্ট্যাটাস 200 সহ যে পৃষ্ঠাগুলি পায় তার 20.9% পৃষ্ঠার মূল বিষয়বস্তু থাকে না: অ্যাপ শেল, বট চ্যালেঞ্জ, ব্লক পৃষ্ঠা, ত্রুটি এবং স্থানধারক পৃষ্ঠা এবং আংশিক সামগ্রী৷'

এই বিষয়ে, অধৈর্য স্বয়ংক্রিয় সিস্টেমগুলি তাদের নিজস্ব স্পর্সনেস দ্বারা ট্রিপ করা হয়, যেহেতু '200' প্রতিক্রিয়াকে সফল আনার সাথে সমান করার অনুমতি দেওয়া হয়, এমনকি যখন ফেচ শুধুমাত্র একটি ক্যাপচা-ওয়াল, একটি পেওয়াল বা অন্য কোনো বাধা তৈরি করে।

কাগজটি প্রায়শই একটি 200 প্রতিক্রিয়াকে জটিল করে এমন সাত ধরণের সামগ্রীর রূপরেখা দেয়:

অধ্যয়নের জন্য, তিন দিনের মধ্যে, 10,307টি ওয়েব ঠিকানা একটি বেসিক ওয়েব-ফেচিং প্রোগ্রাম এবং জাভাস্ক্রিপ্ট লোড করতে সক্ষম একটি ব্রাউজার ব্যবহার করে পরীক্ষা করা হয়েছিল, তাদের HTTP স্ট্যাটাস কোডের পরিবর্তে পুনরুদ্ধার করা বিষয়বস্তু অনুসারে শ্রেণীবদ্ধ প্রতিক্রিয়া সহ।

'অব্যবহারযোগ্য' 202 প্রতিক্রিয়াগুলির বৃহত্তম বিভাগগুলি ছিল খালি ওয়েবসাইটের শেল এবং ত্রুটি বা বিকল্প পৃষ্ঠাগুলি, একসাথে ব্যর্থতার দুই-তৃতীয়াংশেরও বেশি।

খালি সাইট শেল সম্পর্কে, অনুরোধ করা নিবন্ধ বা পণ্য তালিকা ফাঁকা রেখে একটি ওয়েবসাইট তার মেনু এবং নেভিগেশন প্রদর্শন করতে পারে; পরবর্তী ক্ষেত্রে, অনুরোধ করা বিষয়বস্তুর পরিবর্তে একটি সম্পর্কহীন পৃষ্ঠা বা হোমপেজ প্রদর্শিত হতে পারে – তবে উভয়ই ব্যবহারযোগ্য এবং দরকারী সামগ্রী অফার করে সফল পুনরুদ্ধার হিসাবে একই HTTP 200 স্থিতি পেতে পারে।

একটি প্রতিকারের উপায়ে, কাগজটি সুপারিশ করে যে ওয়েব-ফেচিং সরঞ্জামগুলি HTTP স্ট্যাটাস কোডের উপর নির্ভর না করে প্রকৃতপক্ষে কী পুনরুদ্ধার করা হয়েছিল তা রিপোর্ট করে, যেহেতু অস্বাভাবিকভাবে ছোট পৃষ্ঠাগুলি, সন্দেহজনক পুনঃনির্দেশ এবং অস্তিত্বহীন পৃষ্ঠাগুলির অনুরূপ বিষয়বস্তুগুলির জন্য সাধারণ পরীক্ষাগুলি বেশিরভাগ ব্যর্থতা সনাক্ত করতে পারে৷

আরও রিসোর্স-ইনটেনসিভ ব্রাউজার টুলগুলি তখনই ব্যবহার করা যেতে পারে যখন একটি পৃষ্ঠা সঠিকভাবে লোড হতে ব্যর্থ হয়েছে বলে মনে হয়। অতিরিক্তভাবে, AI মূল্যায়নগুলি উদ্ধৃত উত্সগুলিতে প্রত্যাশিত তথ্য রয়েছে কিনা তা পরীক্ষা করতে পারে, একটি HTTP 200 প্রতিক্রিয়া মানে বিষয়বস্তু সফলভাবে পুনরুদ্ধার করা হয়েছে বলে অনুমান করার পরিবর্তে।

নতুন কাজের লেখক আরও উল্লেখ করেছেন যে 'সস্তা হিউরিস্টিকস' প্রায় 86% অব্যবহারযোগ্য প্রতিক্রিয়াগুলিকে তুচ্ছভাবে সনাক্ত করতে পারে, পৃষ্ঠার দৈর্ঘ্য, পুনঃনির্দেশ এবং অস্তিত্বহীন পৃষ্ঠাগুলির সাথে মিলের প্রাথমিক চেকগুলি ব্যবহার করে:

কেন এত ভুল 200 প্রতিক্রিয়া?

কয়েক বছর ধরে, বিকাশকারী সম্প্রদায়গুলিতে কিছু যুক্তি রয়েছে যে 202 ('স্বীকৃত') ত্রুটি ('অনুরোধ গৃহীত কিন্তু এখনও সম্পূর্ণ হয়নি') এই 'ব্যর্থ' 200-স্ট্যাটাস অনুরোধগুলিকে দ্ব্যর্থিত করতে পারে; কিন্তু সত্যিই, 202 নতুন কাগজে বর্ণিত সমস্ত ক্ষেত্রে মিটমাট করতে পারে না, এবং এমন কোনও বিদ্যমান কোড নেই যা করতে পারে।

যদিও কাগজটি গভীরতার সাথে সমস্যাটির সাথে মোকাবিলা করে না, ডোমেনের মালিকরা কেন 200টি ত্রুটির অনুমতি দেয় তার কারণ ভবিষ্যতে সম্পর্কিত কাজগুলিতে আরও তদন্তের মূল্য হতে পারে।

একটি কারণ হতে পারে যে কোনো কিছু যা 200 নয় তা মূলত কোনো ধরনের ত্রুটির পৃষ্ঠা বা বাধা, যার মধ্যে সবচেয়ে সাধারণ, 404 ('পাওয়া যায় না') ত্রুটি রয়েছে – যেখানে লক্ষ্য বিষয়বস্তু অনুপস্থিত। কিছু ব্যবহারকারী বিশ্বাস করেন যে এই ধরনের ত্রুটির অতিরিক্ত এসইও (এবং, সম্ভবত, জিও) তে জরিমানা হবে, যদিও গুগল এটি অস্বীকার করে।

প্রকৃতপক্ষে, ভুল 200 ত্রুটিগুলিকে Google দ্বারা 'সফ্ট' 404 হিসাবে বিবেচনা করা হয় এবং স্পষ্টতই সাধারণ 404 ত্রুটির চেয়ে বেশি সমস্যা হিসাবে বিবেচিত হতে পারে, কারণ এগুলি মূলত 'প্রতারণামূলক' ফলাফল, ইচ্ছাকৃত বা না।

উদ্ধৃতি ড্রিফ্ট

যদি এই সমস্ত কিছু পেডানট্রির মতো মনে হয়, তবে এআই প্রশিক্ষণের উদ্দেশ্যে নিয়মিতভাবে যে ডেটা সংগ্রহ করা হয় (বা সংগ্রহ করার চেষ্টা করা হয়) তার পেটাবাইট-স্তরের স্কেল বিবেচনা করতে হবে। যদি সেই ডেটার পূর্ণ পঞ্চমাংশ অবিশ্বস্ত হয় বা সম্পূর্ণ প্রতারণামূলক হয়, তবে নিম্নধারার পরিণতিগুলিকে একধরনের 'কোলাটারাল ভুলতা' হিসাবে বন্ধ করা কঠিন; বরং, এই ধরনের মিথ্যা প্রতিক্রিয়াগুলি ডেটাসেটের বিতরণ এবং এআই মডেলগুলিতে এই জাতীয় ডেটা প্রশিক্ষণের ফলাফলগুলিকে উল্লেখযোগ্যভাবে এবং বিরূপভাবে প্রভাবিত করতে পারে।

উদাহরণস্বরূপ, ভুল 200টি প্রতিক্রিয়ার আশেপাশে একটি উল্লেখযোগ্য সমস্যা 'উদ্ধৃতি ড্রিফ্ট' নিয়ে উদ্বেগ প্রকাশ করে, যেখানে একটি AI-উত্পাদিত উত্তরটি আর সমর্থন করে না যেটি ওয়েব পৃষ্ঠাটি মূলত প্রমাণ হিসাবে উদ্ধৃত করা হয়েছিল, অর্থাৎ, পৃষ্ঠাটি পরিবর্তিত হতে পারে, প্রাসঙ্গিক পাঠ্যটি সরানো হয়েছে বা লিঙ্কটি এখন অন্য কোথাও নিয়ে যেতে পারে।

নতুন সমীক্ষায় দেখা গেছে যে আপাত উদ্ধৃতি ড্রিফ্ট 5.8% থেকে 21.9% বেড়েছে যখন সমস্ত HTTP 200 প্রতিক্রিয়াগুলি সফল পুনরুদ্ধার হিসাবে গৃহীত হয়েছিল, তাতে যা থাকুক না কেন।

এর মানে হল যে একটি উৎসকে ভুলভাবে বিচার করা যেতে পারে যে পরিবর্তন হয়েছে, অদৃশ্য হয়ে গেছে বা AI-উত্পাদিত দাবিকে সমর্থন করা বন্ধ করা হয়েছে, কেবলমাত্র মূল উপাদানের জায়গায় একটি ক্যাপচা, খালি পৃষ্ঠা বা অন্যান্য বাধা পুনরুদ্ধার করা হয়েছে।

শুধু বল এটা তাই!

ইচ্ছাকৃতভাবে অস্তিত্বহীন ওয়েব ঠিকানা জড়িত পরীক্ষা দ্বারাও সমস্যাটি প্রদর্শিত হয়েছিল। যখন ওয়েবসাইটগুলি থেকে এলোমেলো, উদ্ভাবিত পাথগুলির জন্য অনুরোধ করা হয়েছিল, তাদের মধ্যে 13.1% যারা সাড়া দিয়েছিল তারা 200 ('ঠিক আছে') স্ট্যাটাস দিয়েছে, যদিও অনুরোধ করা পৃষ্ঠাগুলি বিদ্যমান ছিল না†।

'র্যান্ডম-পাথ প্রোবের উত্তর দেওয়া সাইটগুলির 13.1% 200 (S1 10.5%, S2 13.3%, S3 17.3%, S4 13.7%, S5 13.1%) ফেরত দিয়েছে। এই ধরনের প্রতিটি প্রতিক্রিয়া নির্মাণ দ্বারা একটি নরম 404, কিন্তু প্রত্যেকে তাই বলে না।

'172টি সফট-404 প্রতিক্রিয়াগুলির একটি অনুসন্ধানমূলক ব্রেকডাউনে, লেবেলার 98টিকে একটি ত্রুটি বা বিকল্প পৃষ্ঠা, 32টি একটি শেল এবং 28টি বিষয়বস্তু বলেছেন: একটি হোমপেজ বা তালিকা একটি এলোমেলো পথে পরিবেশিত একটি সাধারণ পৃষ্ঠার মতো পড়ে৷'

উপসংহার

যদি সমস্যাটি উচ্চতর স্তরে স্বীকৃত হয়, তাহলে IANA অনুমানযোগ্যভাবে একটি নতুন এবং আরও বেশি উপযুক্ত HTTP স্ট্যাটাস কোড তৈরি করতে পারে, যেমন [X] ('অনুরোধ সফল হয়েছে, কিন্তু অনুরোধ করা বিষয়বস্তু বিতরণ করা হয়নি')। যদিও এটি আসলে কী ঘটছে তা বর্ণনা করবে, এটি স্বভাবতই হোস্টের পক্ষের লেনদেনের মধ্যে একটি অসম্ভাব্য পরিমাণ অন্তর্দৃষ্টি প্রয়োজন।

অনুরূপ কোডগুলি ইতিমধ্যেই বিদ্যমান, যদিও কোনটিই সত্যিই উপযুক্ত: 451 ('আইনগত কারণে অনুপলব্ধ'), অস্পষ্ট এবং বরং উদ্বেগজনক (!); 206 ('আংশিক বিষয়বস্তু'), প্রযুক্তিগতভাবে উপযুক্ত, কিন্তু অসম্পূর্ণ ডেটা (আনয়ন) এর উদ্দেশ্যে; এবং আশ্চর্যজনক-এটি-অস্তিত্বশীল 203 ('নন-অথরিটেটিভ ইনফরমেশন'), যা 1997 সালে তৈরি করা হয়েছিল, এবং এটি কেবলমাত্র হাতে থাকা ব্যবহারের ক্ষেত্রে পেরিফেরাল।

সম্ভবত নিকটতম প্রার্থী প্রকৃতপক্ষে অজ্ঞাতভাবে-নামযুক্ত 103 ('প্রাথমিক ইঙ্গিত'), যা নির্দেশ করে যে সমস্ত URL এর সংস্থান এখনও লোড করা হয়নি (যদিও এটি স্পষ্টভাবে কোডের উদ্দেশ্যের একটি স্থূল ভুল ব্যাখ্যা হবে)।

* শিরোনাম 'When 200 OK একটি উত্তর নয়: এজেন্টিক ওয়েব বিষয়বস্তু অধিগ্রহণে নীরব ফেচ ব্যর্থতা।' অনুগ্রহ করে সচেতন থাকুন যে কাগজটি লেখা হয়েছে, স্পষ্টতই, প্রাথমিকভাবে মেশিন-পঠনযোগ্য হতে পারে, সম্ভবত AI দ্বারা জিজ্ঞাসা করা হবে এবং এটি নিজেই সহজে পড়া নয়।

† আমি যান্ত্রিক উদ্ধৃতির জন্য ক্ষমাপ্রার্থী, কিন্তু পুরো কাগজটি এইভাবে লেখা হয়েছে, যেমনটি আমি উপরে উল্লেখ করেছি, মানব-ব্যাখ্যাযোগ্য না হয়ে 'মেশিন রিডেবল' হওয়ার জন্য, যদিও এটি JSON ফর্ম্যাটে উপস্থাপিত হওয়া বন্ধ করে।