सोशल मीडिया प्लेटफ़ॉर्म reddit मंगलवार को कहा कि यह प्लेटफॉर्म द्वारा उपयोग किए जाने वाले एक वेब मानक को अपनी वेबसाइट से स्वचालित डेटा स्क्रैपिंग को ब्लॉक करने के लिए अपडेट करेगा, रिपोर्ट के बाद ऐ स्टार्टअप्स अपने सिस्टम के लिए सामग्री इकट्ठा करने के लिए नियम को दरकिनार कर रहे थे।
यह कदम ऐसे समय में आता है जब कृत्रिम खुफिया फर्मों पर प्रकाशकों से सामग्री को साहस देने का आरोप लगाया गया है, ताकि बिना क्रेडिट दिए या अनुमति के लिए एआई-जनित सारांश बनाने के लिए।
Reddit ने कहा कि यह रोबोट बहिष्करण प्रोटोकॉल, या “robots.txt” को अपडेट करेगा, एक व्यापक रूप से स्वीकृत मानक का अर्थ यह निर्धारित करने के लिए है कि किसी साइट के किन हिस्सों को क्रॉल करने की अनुमति है।
कंपनी ने यह भी कहा कि वह दर -सीमित बनाए रखेगा, एक विशेष इकाई से अनुरोधों की संख्या को नियंत्रित करने के लिए उपयोग की जाने वाली एक तकनीक, और डेटा स्क्रैपिंग से अज्ञात बॉट्स और क्रॉलर को अवरुद्ध करेगी – कच्ची जानकारी को एकत्र करना और सहेजना – अपनी वेबसाइट पर।
हाल ही में, robots.txt एक महत्वपूर्ण उपकरण बन गया है जो प्रकाशक AI एल्गोरिदम को प्रशिक्षित करने और कुछ खोज प्रश्नों के जवाब में सारांश बनाने के लिए अपनी सामग्री मुक्त-चार्ज का उपयोग करने से रोकने के लिए तकनीकी कंपनियों को रोकने के लिए नियोजित करते हैं।
पिछले हफ्ते, कंटेंट लाइसेंसिंग स्टार्टअप टोलबिट द्वारा प्रकाशकों को एक पत्र ने कहा कि कई एआई फर्म प्रकाशक साइटों को परिमार्जन करने के लिए वेब मानक को दरकिनार कर रहे थे।
यह एक वायर्ड जांच का अनुसरण करता है जिसमें पाया गया कि एआई सर्च स्टार्टअप विकलता संभावित रूप से रोबोट के माध्यम से अपने वेब क्रॉलर को ब्लॉक करने के प्रयासों को बायपास कर दिया।
इससे पहले जून में, बिजनेस मीडिया प्रकाशक फोर्ब्स ने बिना क्रेडिट के जेनेरिक एआई सिस्टम में उपयोग के लिए अपनी खोजी कहानियों को साहित्यिक बनाने का आरोप लगाया।
Reddit ने मंगलवार को कहा कि इंटरनेट संग्रह जैसे शोधकर्ताओं और संगठनों को गैर-वाणिज्यिक उपयोग के लिए इसकी सामग्री तक पहुंच बना रहेगा।
© थॉमसन रॉयटर्स 2024
