মেশিন লার্নিং ধারণা - সহজ ভাষায় বাংলায়
মনে করেন একদিন বাজারে গেলেন আম কিনার জন্য । দোকানদার আমের অনেক গুলা ঝুড়ি নিয়ে বসে আছে। কেজি হিসাবে আম সেল হয় তাই নির্দিষ্ট দামের ঝুড়ি থেকে যে কোন আম ইচ্ছামত বেছে নিতে পারেন। আর অবশ্যই আপনি চাইবেন পাকা মিষ্টি আম কিনতে । কিন্তু কিভাবে বুঝবেন যে, কোন আম গুলো মিষ্টি হবে ?
বাসা থেকে আপনাকে বলে দেওয়া হয়েছে যে, উজ্জ্বল হলুদ আম কিনার জন্য, কারণ এই গুলো মিষ্টি হবে। তাই আপনি ঝুড়ি থেকে উজ্জ্বল হলুদ আম বেছে নিলেন এবং দাম মিটিয়ে বাসায় আসলেন। মনে মনে খুব খুশি হলেন যে ভাল আম কিনতে পারলেন।
কিন্তু জীবন এত সহজ না
Life is very complicated
বাসায় এসে খাওয়ার পর দেখলেন যে কিছু কিছু আম মিষ্টি আর বাকি গুলা একদমই বাজে। আপনি খুব আশাহত হলেন। বাসা থেকে বলে দেওয়া বূদ্ধি কাজে লাগল না ।
অবশ্যই শুধু উজ্জ্বল হলুদ ফিচার ছাড়াও আরো কিছু আছে, যেটা Indicate করে কোন আম গুলা মিষ্টি হবে।
আম গুলা খাওয়ার পর এবং অনেক চিন্তা ভাবনা করে আপনি বুজতে পারলেন যে বড় এবং উজ্জ্বল হলুদ আম গুলো মিষ্টি আর ছোট উজ্জ্বল হলুদ আম গুলা ৫০% টাইমস মিষ্টি না ।
মানে ১০০ টি ছোট উজ্জ্বল হলুদ আমের মধ্যে ৫০% মিষ্টি না ।
আপনি খুব খুশি হলেন যে এখন থেকে মিষ্টি আম কিনতে পারবেন আর ধরা খেতে হবে না টক, টেস্টলেস আম কিনে ।
কিন্তু পরের দিনে বাজারে গিয়ে দেখলেন যে, আপনার সেই আগের দোকানদার ব্যবসা গুটিয়ে চলে গেছে। তাই নিরুপায় হয়ে অন্য দোকান থেকে আম কিনতে গেলেন এবং দেখেলেন যে এই দোকানের আম অন্যা জাতের । এবং আপনি বুজতে পারলেন যে, আগের দোকানের আমের উপর এক্সপেরিমেন্ট / টেস্ট করে যে রুলটা বের করেছিলেন যে "বড় এবং উজ্জ্বল হলুদ আম মিষ্টি হবে" তা আর এই দোকানের আমের উপর আর Applicable না ।
কিন্তু আম তো কিনতেই হবে, তাই এই দোকান থেকেই আম কিনলেন এবং খাওয়ার পর বুজলেন যে এইখানে ভিন্ন রুল । এই দোকানের হালকা হলুদ এবং সাইজে ছোট আম গুলা মিষ্টি ।
এখন আপনি আবারও খুশি হলেন যে এখন থেকে সব সময় মিষ্টি আম কিনতে পারবেন। একদিন বাসায় আপনার কাজিন বেড়াতে আসল এবং ভাবলেন তাকে আম খাওয়াবেন, ভাল আম কিনার রুল তো আপানর জানাই আছে । কিন্তু তার টেস্ট আবার অন্য রকম। Regardless of মিষ্টি/ টক, সে জুসি আম লাইক করে। আপনি পড়লেন মহা ঝমেলায় কারণ কোন আম জুসি, এই সম্পর্কে আপনার কোন আইডিয়া নেই ।
তাই আবারও আম কিনে এক্সপেরিমেন্ট / টেস্ট করে আপনি বুজলেন যে নরম আম গুলা বেশী জুসি।
.
তারপর একদিন চলে গেলেন দেশের বাইরে চাকরি করতে। আম তো আপনার খুব প্রিয় তাই আসার কয়েকদিনের মধ্যেই বাজারে গেলেন আম কিনতে এবং দেখলেন যে এইখানে আবারও ভিন্ন রুল । এখানের সবুজ আম গুলা মিষ্টি হলুদ আমের চেয়ে।
ইভেনচুয়ালি আপনি বিয়ে করলেন এবং আপানর ওয়াইফ আম একদমই দেখতে পারে না । সে আপেল লাইক করে। এখন আম সম্পর্কে আপনার এত দিনের নলেজ/ ধারনার কোন মূল্য নেই । কারন আপেল কিনার জন্য এই নলেজ/ ধারনা কোন কাজে লাগবে না ।
এখন থেকে আপনাকে জানতে হবে আপেল সম্পর্কে । আপেলের সাইজ, কালার, কোন দেশের , কোন দোকানের ইত্যাদি কো-রিলেশন নিয়ে জানতে হবে কোন আপেল গুলা টেস্টী হবে ।
এখন মনে করলেন যে একটি প্রোগ্রাম লিখবেন যেটা আপনকে সহজেই ভাল আম/ আপেল চুজ করতে হেপ্ল করবে। এইভাবে লিখলেন যে
যদি কালার = = উজ্জ্বল হলুদ এবং সাইজ == বড়
এবং দোকান == XYZ
তাহলে আম মিষ্টি হবে ।
আর
যদি নরম হয়, তাহলে জুসি হবে ।
এখন থেকে আপনি এই রুল ব্যবহার করবেন আম কিনার জন্য। অন্য কারো সাথে ফেইসবুকে শেয়ারও করতে পাবেন, যাতে আপানর আবিষ্কার করা রুলটা তারাও ব্যবহার করে ভাল আম কিনতে পারে ।
কিন্তু প্রবলেম হল প্র্যতেকবার আম কিনার পর এক্সপেরিমেন্ট / টেস্ট করে নতুন অভজারবেশন পাবেন এবং সেই গুলাকে ম্যানুয়ালি এড করে আগের বানানো প্রোগ্রামটা মডিফাই করতে হবে । এবং আমের কুয়ালিটিকে এফেক্ট করতে এই রকম সকল ছোট খাট ব্যাপার জানতে হবে । এবং প্রোগ্রামে এড করতে হবে ।
এবং এক সময় এই প্রোগ্রামে নতুন কিছু ম্যানুয়ালি এড করাটা অনেক জটিল হয়ে যাবে । সেই সাথে আমের কুয়ালিটি প্রেডিকশনের একুরেসিও অনেক কমে যাবে।
,
বাসা থেকে আপনাকে বলে দেওয়া হয়েছে যে, উজ্জ্বল হলুদ আম কিনার জন্য, কারণ এই গুলো মিষ্টি হবে। তাই আপনি ঝুড়ি থেকে উজ্জ্বল হলুদ আম বেছে নিলেন এবং দাম মিটিয়ে বাসায় আসলেন। মনে মনে খুব খুশি হলেন যে ভাল আম কিনতে পারলেন।
কিন্তু জীবন এত সহজ না
Life is very complicated
বাসায় এসে খাওয়ার পর দেখলেন যে কিছু কিছু আম মিষ্টি আর বাকি গুলা একদমই বাজে। আপনি খুব আশাহত হলেন। বাসা থেকে বলে দেওয়া বূদ্ধি কাজে লাগল না ।
অবশ্যই শুধু উজ্জ্বল হলুদ ফিচার ছাড়াও আরো কিছু আছে, যেটা Indicate করে কোন আম গুলা মিষ্টি হবে।
আম গুলা খাওয়ার পর এবং অনেক চিন্তা ভাবনা করে আপনি বুজতে পারলেন যে বড় এবং উজ্জ্বল হলুদ আম গুলো মিষ্টি আর ছোট উজ্জ্বল হলুদ আম গুলা ৫০% টাইমস মিষ্টি না ।
মানে ১০০ টি ছোট উজ্জ্বল হলুদ আমের মধ্যে ৫০% মিষ্টি না ।
আপনি খুব খুশি হলেন যে এখন থেকে মিষ্টি আম কিনতে পারবেন আর ধরা খেতে হবে না টক, টেস্টলেস আম কিনে ।
কিন্তু পরের দিনে বাজারে গিয়ে দেখলেন যে, আপনার সেই আগের দোকানদার ব্যবসা গুটিয়ে চলে গেছে। তাই নিরুপায় হয়ে অন্য দোকান থেকে আম কিনতে গেলেন এবং দেখেলেন যে এই দোকানের আম অন্যা জাতের । এবং আপনি বুজতে পারলেন যে, আগের দোকানের আমের উপর এক্সপেরিমেন্ট / টেস্ট করে যে রুলটা বের করেছিলেন যে "বড় এবং উজ্জ্বল হলুদ আম মিষ্টি হবে" তা আর এই দোকানের আমের উপর আর Applicable না ।
কিন্তু আম তো কিনতেই হবে, তাই এই দোকান থেকেই আম কিনলেন এবং খাওয়ার পর বুজলেন যে এইখানে ভিন্ন রুল । এই দোকানের হালকা হলুদ এবং সাইজে ছোট আম গুলা মিষ্টি ।
এখন আপনি আবারও খুশি হলেন যে এখন থেকে সব সময় মিষ্টি আম কিনতে পারবেন। একদিন বাসায় আপনার কাজিন বেড়াতে আসল এবং ভাবলেন তাকে আম খাওয়াবেন, ভাল আম কিনার রুল তো আপানর জানাই আছে । কিন্তু তার টেস্ট আবার অন্য রকম। Regardless of মিষ্টি/ টক, সে জুসি আম লাইক করে। আপনি পড়লেন মহা ঝমেলায় কারণ কোন আম জুসি, এই সম্পর্কে আপনার কোন আইডিয়া নেই ।
তাই আবারও আম কিনে এক্সপেরিমেন্ট / টেস্ট করে আপনি বুজলেন যে নরম আম গুলা বেশী জুসি।
.
তারপর একদিন চলে গেলেন দেশের বাইরে চাকরি করতে। আম তো আপনার খুব প্রিয় তাই আসার কয়েকদিনের মধ্যেই বাজারে গেলেন আম কিনতে এবং দেখলেন যে এইখানে আবারও ভিন্ন রুল । এখানের সবুজ আম গুলা মিষ্টি হলুদ আমের চেয়ে।
ইভেনচুয়ালি আপনি বিয়ে করলেন এবং আপানর ওয়াইফ আম একদমই দেখতে পারে না । সে আপেল লাইক করে। এখন আম সম্পর্কে আপনার এত দিনের নলেজ/ ধারনার কোন মূল্য নেই । কারন আপেল কিনার জন্য এই নলেজ/ ধারনা কোন কাজে লাগবে না ।
এখন থেকে আপনাকে জানতে হবে আপেল সম্পর্কে । আপেলের সাইজ, কালার, কোন দেশের , কোন দোকানের ইত্যাদি কো-রিলেশন নিয়ে জানতে হবে কোন আপেল গুলা টেস্টী হবে ।
এখন মনে করলেন যে একটি প্রোগ্রাম লিখবেন যেটা আপনকে সহজেই ভাল আম/ আপেল চুজ করতে হেপ্ল করবে। এইভাবে লিখলেন যে
যদি কালার = = উজ্জ্বল হলুদ এবং সাইজ == বড়
এবং দোকান == XYZ
তাহলে আম মিষ্টি হবে ।
আর
যদি নরম হয়, তাহলে জুসি হবে ।
এখন থেকে আপনি এই রুল ব্যবহার করবেন আম কিনার জন্য। অন্য কারো সাথে ফেইসবুকে শেয়ারও করতে পাবেন, যাতে আপানর আবিষ্কার করা রুলটা তারাও ব্যবহার করে ভাল আম কিনতে পারে ।
কিন্তু প্রবলেম হল প্র্যতেকবার আম কিনার পর এক্সপেরিমেন্ট / টেস্ট করে নতুন অভজারবেশন পাবেন এবং সেই গুলাকে ম্যানুয়ালি এড করে আগের বানানো প্রোগ্রামটা মডিফাই করতে হবে । এবং আমের কুয়ালিটিকে এফেক্ট করতে এই রকম সকল ছোট খাট ব্যাপার জানতে হবে । এবং প্রোগ্রামে এড করতে হবে ।
এবং এক সময় এই প্রোগ্রামে নতুন কিছু ম্যানুয়ালি এড করাটা অনেক জটিল হয়ে যাবে । সেই সাথে আমের কুয়ালিটি প্রেডিকশনের একুরেসিও অনেক কমে যাবে।
,
এই সিচুয়েসনে, এখন আপানাকে ভাল আম কিনার জন্য মেশিন লার্নিং এ মুভ করা ছাড়া আর কোন উপায় নাই ।
.
.
Automatically Data থেকে লার্ন করে, মেশিন লার্নিং এলগরিদম আপানার প্রোগ্রামেকে স্মার্ট করবে।
এক্ষেত্রে ট্রেনিং ডেটা তৈরি করতে হবে। আমের সব ফিজিক্যাল Characteristic নিয়ে যেমনঃ কালার, সাইজ, সেইপ, কোন দোকানের, কোন জায়গার, ইত্যাদি নিয়ে ফিচার তৈরি করতে হবে । এবং আউটপুট হিসাবে থাকবে, মিষ্টি, টক, জুসি, ইত্যাদি ।
এখন এই ট্রেনিং ডেটা, মেশিন লার্নিং এলগরিদমে (Classification / Logistic Regression) ফিড করতে হবে এবং এটা একটা মডেল তৈরি করবে, যেখানে আমের
ফিজিক্যাল Characteristic এর সাথে আমের কুয়ালিটির একটি কো - রিলেশন থাকবে।
.
এক্ষেত্রে ট্রেনিং ডেটা তৈরি করতে হবে। আমের সব ফিজিক্যাল Characteristic নিয়ে যেমনঃ কালার, সাইজ, সেইপ, কোন দোকানের, কোন জায়গার, ইত্যাদি নিয়ে ফিচার তৈরি করতে হবে । এবং আউটপুট হিসাবে থাকবে, মিষ্টি, টক, জুসি, ইত্যাদি ।
এখন এই ট্রেনিং ডেটা, মেশিন লার্নিং এলগরিদমে (Classification / Logistic Regression) ফিড করতে হবে এবং এটা একটা মডেল তৈরি করবে, যেখানে আমের
ফিজিক্যাল Characteristic এর সাথে আমের কুয়ালিটির একটি কো - রিলেশন থাকবে।
.
এখন থেকে পরের বার যখন বাজারে যাবেন, তখন আমের ফিজিক্যাল Characteristic নিবেন এবং মেশিন লার্নিং এলগরিদমে ফিড করবেন। মেশিন লার্নিং এলগরিদম আগের তৈরি করা মডেলটি ব্যবহার করে প্রেডিকশন করবে আম মিষ্টি, না টক , না জুসি ।
এই এলগরিদমটা হয়ত ইন্টারনালি আপনার আগের তৈরি করা প্রোগ্রামটার মত একই রকম রুল ব্যবহার করবে অথবা অন্য কিছুও ব্যবহার করতে পারে । কিন্তু আপানর চিন্তার কিছু নেই ।
গ্রেট! আপনি এখন আম কিনার ক্ষেত্রে অনেক বেশী কনফিডেন্ট । টক আম কিনে ধরা খাওয়ার আর কোন ঝুঁকি নেই ।
আরও একুরেট প্রেডিকশন পাওয়ার জন্য Reinforcement Learning ব্যবহার করতে পারেন, যেটা তার ভুল প্রেডিকশন থেকে শিখবে । যত বেশী ট্রেনিং ডেটা ফিড করাবেন তত একুরেট প্রেডিকশন দিতে পারবে ।
আর সবচেয়ে বড় কথা হল আপনি এই এলগরিদমটা ব্যবহার করে বিভিন্ন মডেলকে ট্রেইন করতে পারবেন। যেমন আপনার ওয়াইফের জন্য আপেল কিনার ক্ষেত্রেও ব্যবহার করতে পারবেন। আরও বিভিন্ন কিছু যেমন কলা, পেয়ার, তরমুজ কিনার জন্যও ব্যবহার করতে পারবেন।
এই এলগরিদমটা হয়ত ইন্টারনালি আপনার আগের তৈরি করা প্রোগ্রামটার মত একই রকম রুল ব্যবহার করবে অথবা অন্য কিছুও ব্যবহার করতে পারে । কিন্তু আপানর চিন্তার কিছু নেই ।
গ্রেট! আপনি এখন আম কিনার ক্ষেত্রে অনেক বেশী কনফিডেন্ট । টক আম কিনে ধরা খাওয়ার আর কোন ঝুঁকি নেই ।
আরও একুরেট প্রেডিকশন পাওয়ার জন্য Reinforcement Learning ব্যবহার করতে পারেন, যেটা তার ভুল প্রেডিকশন থেকে শিখবে । যত বেশী ট্রেনিং ডেটা ফিড করাবেন তত একুরেট প্রেডিকশন দিতে পারবে ।
আর সবচেয়ে বড় কথা হল আপনি এই এলগরিদমটা ব্যবহার করে বিভিন্ন মডেলকে ট্রেইন করতে পারবেন। যেমন আপনার ওয়াইফের জন্য আপেল কিনার ক্ষেত্রেও ব্যবহার করতে পারবেন। আরও বিভিন্ন কিছু যেমন কলা, পেয়ার, তরমুজ কিনার জন্যও ব্যবহার করতে পারবেন।
Comments
Post a Comment