কায়কোবাদ স্যারের ক্লাস…

ড. মোহাম্মদ কায়কোবাদ স্যারের ৩ ঘন্টার ক্লাস মূলত তিন ভাগে বিভক্ত। প্রথম এক ঘন্টাকে বলা যায় মোটিভেশন পার্ট। বাংলাদেশের মানুষ কি পরিমাণ অপচয় করে, আমাদের কেন গবেষণায় অর্থ বরাদ্দ নাই, শহরে এত যানজট, বুয়েট কেন এম আই টি এর সমপর্যায়ে যেতে পারছে না, পাশের দেশের রাজনীতিবিদগণ কী পরিমাণ বিচক্ষণ, আমরা কেন আমাদের মেধাগুলোকে সঠিকভাবে কাজে লাগাতে পারছি না এসব নিয়ে জ্ঞানগম্ভীর আলোচনা হয়।

দ্বিতীয় ঘন্টায় থাকে সিলেবাসের পড়াশোনা। তৃতীয় ঘন্টায় থাকে গাণিতিক গবেষণা। যা সবার মাথার অনেক উপর দিয়ে চলে যায়।

আমরা মূলত প্রথম ঘন্টাই মনযোগ ধরে রাখতে পারি। স্যারের কিছু কথা এরকম– আমরা যেন এমন কিছু সমস্যা মাথায় রাখি যেটা আইনস্টাইনের সমপর্যায়ের ব্যক্তিরাও সমাধান করতে পারে নাই। তাতে যে লাভটা হবে সেটা হচ্ছে, আমরা বলতে পারবো, আমি যেই সমস্যা নিয়ে চিন্তা করি, তা আইনস্টাইনও সমাধান করতে পারে নাই, সে দিক দিয়ে আমি আইনস্টাইনের সমান।

এই সমাধান বের করতে না পারলেও আমরা এই সমস্যা নিয়ে ঘাটাঘাটি করলে জ্ঞানের একদম শেষসীমায় উঁকি দিতে পারবো, যেটার পরে আর কোন কাজ হয়নি। আর সেই সমস্যা নিয়ে চিন্তা করলে যে ব্রেইন স্টর্মিং হবে সেটা দিয়ে অনেকদূর আগানো যাবে।

আর যদি কোনভাবে এই সমস্যা সমাধান করে ফেলতে পারি, তাহলে আমি হবো নতুন আইনস্টাইন!

আরেকটা গল্প বলি>>

ক্লাসে স্যারের লেকচার গুলো কখনোই গুরুত্ব দিয়ে নেই নি। খুব বেশী বোঝারও চেষ্টা করা হয় নি। কারন আমি জানি, স্যার যে টপিকটা নিয়ে আমাদের বোঝাতে গলদঘর্ম হচ্ছেন, সেটা ইন্টারনেটে ২ মিনিটের ভিডিও দেখলেই আরো বেশী বোঝা যাবে। কি দরকার এতো কষ্ট করে ক্লাসে মনোযোগ ধরে রাখার?

ঠিক একই কাজ করতে গেছিলাম কায়কোবাদ স্যারের ক্লাসে। ক্লাসের টপিক মেজোরিটি স্পানিং ট্রি। মোটামুটি নাগালের মতই হবার কথা। পরীক্ষার আগের রাতে গুগলে সার্চ দিলাম। কোন টিউটোরিয়াল তো নাইই, কোন ডকুমেন্ট ও নাই। কিচ্ছু নাই।

দুইটা পেজে মেজোরিটি স্পানিং ট্রিয়ের নাম আছে। সেই ২ টা পেজের একটা তে ক্লিক করলে স্যারের যে স্লাইডটা আমাদের দিছিলেন সেইটা ডাউনলোড হয়। ডাউনলোডের স্লাইডেও কায়কোবাদ স্যারের নাম লেখা।

আরেকটা লিংক আসে মিশিগান ইউনিভারসিটির। স্যার সেখানে ইনভাইটেড হয়েছিলেন এই বিষয়ে বলার জন্য।

পোস্টগ্রাজুয়েট লেভেলে এসে তাই আর ইন্টারনেটের আশায় বসে থাকা আর উচিৎ হবে না।

Advertisements

Machine Learning সম্পর্কিত প্রধান ভুল ধারণাগুলো…

১. আমরা খুব দ্রুতই মানুষের সমান বুদ্ধিমত্তা সম্পন্ন কৃত্রিম বুদ্ধিমত্তা দেখতে পাবো।

ভুল!

এটা ঠিক যে আমরা মানুষের চেয়ে নির্ভূলভাবে কিছু নির্দিষ্ট কাজ করতে পারে এমন অনেক কৃত্রিম বুদ্ধিমত্তা দেখতে পাচ্ছি। আমরা এদের সেবাও নিচ্ছি, কেননা যন্ত্রের গণনার ক্ষমতা মানুষ থেকে ঢের বেশী। কিন্তু কৃত্রিম বুদ্ধিমত্তার মূল লক্ষ্য, অর্থ্যাৎ General Al থেকে আমরা এখনো যোজন যোজন দূরে। ইমেজ কিংবা অবজেক্ট ডিটেক্টশনে এখনকার কৃত্রিম বুদ্ধিমত্তাগুলো বেশ পারদর্শী হলেও Natural Language Processing-য়ে এর অগ্রগতি এখনো বাচ্চাদের লেভেলের।

২. Deep Learning Neural Network Model খুব ভালো কাজ করে, তার কারণ হচ্ছে এটি মানুষ মস্তিষ্কের অনুকরণে তৈরী তাই এই মডেল মানব শিখন পদ্ধতির প্রতিকল্প তৈরী করে।

ভুল!!

DEEP LEARNING

বাস্তবে Deep Learning Neural Network Model ইদানিং বেশ ভালো কাজ করছে কারণ–

ক. আমাদের এখন আগের যেকোন সময়ের চেয়ে দ্রুত গতি সম্পন্ন কম্পিউটার আছে।
খ. আমাদের এখন আগের যেকোন সময়ের চেয়ে যন্ত্রের প্রশিক্ষণের জন্য বেশী ডেটা আছে।

৩. Machine Leaning বর্তমান সময়ের নতুন আবিষ্কার।

ভুল!!!

যদিও Machine Learning একটি নতুন শক্তিশালী ধারণা হিসেবে বর্তমানে আলোচিত হচ্ছে, কিনতু এই ধারণাটি মূলত লিনিয়ার এলজেব্রা, আসন্ন পদ্ধতি, সাংখ্যিক বিশ্লেষণ এবং পরিসংখ্যানের কিছু ধারণার মিলিত রূপ। বর্তমানে এই ধারণাগুলো Machine Learning নামে speech recognition, image classification ইত্যাদি ক্ষেত্রে ব্যবহৃত হচ্ছে। কিন্তু এই ধারণাগুলো আজকের না, বরং কয়েক শতাব্দি আগের।

মূলঃ https://www.quora.com/What-are-the-most-common-misconceptions-about-machine-learning

Got certificate on Machine Learning from Stanford University through Coursera

That was an amazing journey of Machine Learning. Professor Andrew Ng taught this course in such a way that was very easy to understand. I actually took this course to build a foundation of my thesis work in undergraduate level. I hope this knowledge will help me even further into the future. Again, I would like to thank the Coursera community for provided me with the necessary financial aid and helped me to complete the course.
MACHINE LEARNING@STANFORD
The feeling of that moment cannot be described in words. Course certificate link is provided here.

What I wrote asking financial aid regarding Machine Learning course in Coursera!!

Q: Please describe your financial need and explain the specific circumstances that motivate your request for financial aid. (50-300 words)

Answer: I’m an undergraduate student from Bangladesh and want to learn Machine Learning. I think it will be beneficial for my thesis work. But I’ve no job of my own to carry the expanses to pay for the certificate of this course. I earn money by teaching students in various institutions. As a matter of fact it is a part time earning. In this circumstance, it is very much difficult for me to gather such amount of money for the certificate. So I’m badly in need of this financial aid.

Q: Please tell us why you are taking this course. What is your interest in this field? How would a Course Certificate be valuable to you? (50-300 words)

Answer: I’m taking this course for my thesis work actually. My thesis field is on—“Semantic Parsing in Natural Language Processing in a view of Machine Learning Approach”. In graduate research level, this certificate will be valuable in my higher study education regarding in this field and I want to continue my research in Machine Learning field in future.

Q: When participating in this course, how do you intend to demonstrate academic integrity and contribute to the course’s community? (50-300 words)

Answer: I’ll keep track in this field and try to make some contribution in Machine Learning. I’m studying in Computer Science field and I also want to continue my education in Machine Learning in graduate level. I interested in keep contact with this community and want to make contribution along with them.

সবচেয়ে ভালো উপকরণটি বাছাইকরণের সম্ভাব্যতা!!!

অনেকগুলো একই ধরণের জিনিস আছে। যেকোন ধরণের জিনিস হতে পারে। এটি হতে পারে কোরবানির ঈদে গরুর হাটে সবচেয়ে ভালো গরুটি বাছাইকরণ অথবা পাবলিক টয়লেটের সারিতে সবচেয়ে ভালো টয়লেটটি বাছাইকরণ। হতে পারে কোন হোটেলের সবচেয়ে ভালো রুমটি বাছাই করা অথবা যাতায়াতের সময় সবচেয়ে ভালো সিটটি বাছাই করা। অর্থ্যাৎ যেকোন একই ধরনের জিনিসের মধ্যে সবচেয়ে ভালো জিনিসটি আমাকে বাছাই করতে হবে। জিনিস কি হবে সেটা নিয়ে আমাদের খুব বেশী মাথাব্যাথা নেই। আমরা যেটা দেখতে চাই সেটা হচ্ছে সবচেয়ে কম সংখ্যক উপকরণ পর্যবেক্ষণ করে গাণিতিক উপায়ে  সূত্রের সাহায্যে কীভাবে আমরা সবচেয়ে ভালো উপকরণটি বাছাই করতে পারি

ধরা যাক n সংখ্যক জিনিস পাশাপাশি সাজানো আছে। সবচেয়ে ভালো উপকরণটি বাছাই করতে হলে আমাকে অবশ্যই n সংখ্যক উপকরণের মধ্যে কিছু সংখ্যক উপকরণ আগে থেকেই পর্যবেক্ষণ করে নিতে হবে, যেন আমরা তুলনা করতে পারি আমাদের বাছাই করা উপকরণটি আগে পর্যবেক্ষণ করা উপকরণগুলো থেকে ভালো না খারাপ! ধরা যাক, আমরা যে কয়টি উপকরণ পর্যবেক্ষণ করবো তার সংখ্যা k, এবং k অবশ্যই n-য়ের সমান অথবা n থেকে ছোট। অর্থ্যাৎ ব্যাপারটি এরকম-n সংখ্যক সারি সারি পাবলিক টয়লেট পাশাপাশি আছে। আমি একটি ভালো টয়লেট বাছাই করতে চাই। কিন্তু বাছাই করার আগে আমাকে k সংখ্যক টয়লেট পর্যবেক্ষণ করে নিতে হবে, যেন আমার বাছাই করা টয়লেট, আগের পর্যবেক্ষণ করা k সংখ্যক টয়লেট থেকে ভালো কিনা সেটা তুলনা করা যায়।

BEST TOILET 01
চিত্রঃ বাছাইকরার উপকরণ যেকোন কিছু হতে পারে, এমনকি সেটা হতে পারে পাবলিক টয়লেটও!!

আলোচনা এবং উদ্দেশ্য বোঝা গেল। এখন গাণিতিকভাবে সম্ভাব্যতা হিসাব করার পালা।

k সংখ্যক উপকরণ পর্যবেক্ষণ করে সবচেয়ে ভালো উপকরণটি বাছাই করার সম্ভাব্যতা যদি P(k) হয়, তাহলে গাণিতিকভাবে P(k) হবে—

P(k)=∑P(পর্যবেক্ষণ করা k সংখ্যক উপকরণের n-তম অবস্থানে থাকার সম্ভাব্যতা)×P(n-তম উপকরণকেই বাছাই করার সম্ভাব্যতা)

অর্থ্যাৎ প্রথম সম্ভব্যতা হচ্ছে k-য়ের মান n-তম (1,2,3,…,n-1,n) হবার সম্ভাব্যতা এবং দ্বিতীয় সম্ভাব্যতাটি হচ্ছে n-তম (1,2,3,…,n-1,n) উপকরণকেই বাছাই করার সম্ভাব্যতা।

প্রথম k-তম উপকরণকে আমরা পর্যবেক্ষণ করবো। এরপর k+1-তম উপাদান থেকে n-তম উপকরণের ভিতর প্রথম যে উপকরণটি আগের পর্যবেক্ষণ করা k সংখ্যক উপকরণ থেকে ভালো হবে, আমরা সেই উপকরণটি বাছাই করবো। যদি k+1-তম উপকরণ থেকে n-তম উপকরণ পর্যন্ত আগেই পর্যবেক্ষণ করা k-সংখ্যক উপকরণের চেয়ে ভালো কোন উপকরণ পাওয়া না যায় তাহলে আমরা সর্বশেষ উপকরণটি অর্থ্যাৎ n-তম উপকরণটি বাছাই করব। সেটি আগের k সংখ্যক উপকরণ থেকে ভালো না খারাপ, সেটি আর বিবেচনায় আনবো না।

BEST TOILET 02চিত্রঃ বাছাই করার জন্য n-সংখ্যক উপকরণ। প্রথম k-সংখ্যক উপকরণ শুধুমাত্র পর্যবেক্ষণ করার জন্য। পরের গুলো বাছাই করার জন্য।

প্রথমে আমরা পর্যবেক্ষণ করা প্রথম k-সংখ্যক উপকরণের জন্য সম্ভাব্যতা হিসাব করি। যেহেতু আমাদের কাছে n-সংখ্যক উপকরণ আছে তাই k-তম উপকরণের n-তম অবস্থানে থাকার সম্ভাব্যতা 1/n। এবং প্রথম k-সংখ্যক উপকরণের বাছাই হবার সম্ভাব্যতা শূণ্য। কারণ, প্রথম k-সংখ্যক উপকরণ থেকে আমরা কোন উপকরণ বাছাই করবো না। k+1-তম উপকরণ থেকে বাছাই করা শুরু হবে।

তাই পর্যবেক্ষণ করা প্রথম k-সংখ্যক উপাদানের জন্য—

P(k)=∑(1/n)×0
P(k)=(k-সংখ্যক 1/n এর সমষ্টি)×(k-সংখ্যক 0-য়ের সমষ্টি)
P(k)=(k/n)×(k×0)
P(k)=0

দেখা যাচ্ছে যে, প্রথম k-সংখ্যক উপকরণের জন্য সম্ভাব্যতার সূত্রে কোন প্রভাব পরছে না। এখন বাছাই করার জন্য বাকি k+1-তম উপকরণ থেকে n-তম উপাদানের জন্য সম্ভাব্যতা হিসাব করা যাক। k+1-তম উপকরণ থেকে n-তম উপকরণ পর্যন্ত সকল উপকরণের জন্য k-তম উপকরণের n-তম অবস্থানে থাকার সম্ভাব্যতা 1/n। কারণ এখানেও আমাদের n-সংখ্যক উপকরণ আছে এবং k-য়ের মান n-সংখ্যক অবস্থানের যেকোন জায়গায় হতে পারে। তাই এখানেও প্রথম সম্ভাব্যতা 1/n।

এখন ধরা যাক, k-তম উপকরণের পর আর মাত্র একটি উপকরণই আছে বাছাইয়ের জন্য। অর্থ্যাৎ সেক্ষেত্রে k+1-তম উপকরণই n-তম উপকরণ এবং ঐ একটি উপকরণ বাছাই হবার সম্ভাব্যতা অবশ্যই 1। অর্থ্যাৎ বাছাই করার জন্য মাত্র একটি উপকরণই অবশিষ্ট আছে এবং আমাকে ঐ একটি উপকরণই বাছাই করতে হবে।

দ্বিতীয় সম্ভাব্যতার জন্য তাই k+1-তম বাছাই হবার সম্ভাব্যতা 1। এখন যদি বাছাই করার জন্য k+2-তম উপকরণ উপস্থিত থাকে তাহলে সেটি বাছাই করার সম্ভাব্যতা কত হবে? এই সম্ভব্যতা হিসাব করার জন্য আমাদের সামান্য কৌশলের আশ্রয় নিতে হবে।

k+2-তম উপকরণ বাছাই করার সম্ভাব্যতা হিসাব না করে আমরা k+2-তম উপকরণের বাছাই না হবার সম্ভাব্যতা হিসাব করতে পারি। যেহেতু k+2-তম উপকরণের আগে আরো k+1-সংখ্যক উপাদান আছে তাই k+2-তম উপাদান বাছাই না করে বাকি k+1-সংখ্যক উপকরণের যেকোন একটি বাছাইকরণের সম্ভাব্যতা হবে 1/k+1। এটি হচ্ছে k+2-তম উপকরণের বাছাই না হবার সম্ভাব্যতা। তাহলে 1 থেকে এই সম্ভব্যতা বিয়োগ করলে আমরা পাবো k+2-তম উপকরণের বাছাই হবার সম্ভাব্যতা, এবং সেটি হচ্ছে k/k+1।

ঠিক একইভাবে k+3-তম উপকরণের বাছাই হবার সম্ভাব্যতা k/k+2।

k+4-তম উপকরণের বাছাই হবার সম্ভাব্যতা k/k+3।

n-তম উপকরণের বাছাই হবার সম্ভাব্যতা k/n-1।

এখন k+1-তম উপকরণ থেকে n-তম উপকরণ পর্যন্ত সম্ভাব্যতা হিসেব করলে আমরা পাই

P(k)=(1/n)×1+(1/n)×(k/k+1)+(1/n)×(k/k+2)+(1/n)×(k/k+3)+…+(1/n)×(k/n-1)

এই সম্ভব্যতা রাশি থেকে k/n পৃথক করে নিলে সম্ভাব্যতা দাড়ায়—
P(k)=(k/n)×((1/k)+(1/k+1)+(1/k+2)+(1/k+3)+…+(1/n-1))
উপরের সম্ভাব্যতা রাশিতে k/n থেকে পৃথক করা অংশটুকু আমরা একটি ফাংশনের বিস্তৃতি হিসেবে লিখতে পারি।ফাংশনটি হচ্ছে, f(x)=1/x
এই ফাংশনটিকে আমরা যদি লেখচিত্রের মাধ্যমে প্রকাশ করি তাহলে মোটামুটি নিচের চিত্রর মত একটি চিত্র পাব-
FUNCTION GRAPHচিত্রঃ f(x)= 1/x ফাংশনের লেখচিত্র।

এই ফাংশনে x এর মান যত বেশী হবে আমাদের সম্ভাব্যতার সূত্রটি ততো ভালোভাবে কাজ করবে। অর্থ্যাৎ সম্ভাব্যতার সূত্রের সাহায্যে ভালো ফলাফল পেতে হলে আমাদের উপকরণের সংখ্যা বেশী হতে হবে। এই ফাংশনটিকে k থেকে n পর্যন্ত ইন্টিগ্রেশন করলে আমরা পাই—
∫(1/x), k to n
= [ln(x)]kn
= ln(n)-ln(k)
= ln(n/k)

সুতরাং, সম্ভব্যতা রাশির k/n থেকে পৃথক করা ফাংশনের বিস্তৃতিকে আমরা ln(n/k) দিয়ে প্রকাশ করতে পারি। সেক্ষেত্রে আমাদের সম্ভাব্যতা দাড়ায়—
P(k)=(k/n)×ln(n/k)
k/n-কে যদি আমরা অন্য একটি চলক z দিয়ে প্রতিস্থাপিত করি তাহলে পাই—

P(z)= z×ln(1/z)
P(z)= z×(ln(1)-ln(z))
P(z)= z×(0-ln(z))
P(z)= z×(-ln(z))
P(z)= -z×ln(z)

সম্ভাব্যতার এই ফাংশনটিকে যদি আমরা লেখচিত্রের মাধ্যমে প্রকাশ করি তাহলে নিচের চিত্রের মত একটি চিত্র পাওয়া যাবে—
PROBABILITY FUNCTIONচিত্রঃ সম্ভাব্যতা ফাংশনের লেখচিত্র।

সম্ভাব্যতা ফাংশনের প্রথম ডেরিভেটিভ যে বিন্দুতে শূণ্য হবে, সেই বিন্দুতে সম্ভাব্যতার মান সবচেয়ে বেশী হবে উপরের সম্ভাব্যতার ফাংশনকে প্রথম ডেরিভেটিভ করে আমরা পাই—

P’(z)= -ln(z)-z×(1/z)
P’(z)= -ln(z)-1

প্রথম ভেরিভেটিভের মান P’(z) কে 0 দিয়ে প্রতিস্থাপন করে পাই—

0= -ln(z)-1

এই সমীকরণ থেকে z-য়ের মান পাওয়া যায়—

z= e-1
z= 1/e
z= 0.368…
z~ 0.37

অর্থ্যাৎ z-য়ের মান মোটামুটি 0.37-য়ের সমান। অর্থ্যাৎ আমাদের যদি মোট 100-টি উপকরণ থাকে তাহলে প্রথম 37-টি উপকরণ আমরা পর্যবেক্ষণ করবো। 38-তম উপাদান থেকে 100-তম উপকরণ পর্যন্ত প্রথম যে উপকরণটি আগের 37-টি উপকরণ থেকে তুলনামূলকভাবে ভালো আমরা ঠিক সেই উপকরণটি বাছাই করবো। একইভাবে কোরবানির গরুর হাটে যদি 100-টি গরু থাকে তাহলে প্রথম 37-টি গরু আমরা পর্যবেক্ষণ করবো। এরপরের যে গরুটি আগের 37-টি গরুর চেয়ে ভালো আমরা সম্ভাব্যতার সূত্রের সাহায্যে সেই গরুটিই  কিনবো। এই সূত্রের সাহায্যে দেখানো যায় যে সবচেয়ে ভালো উপকরণটি এই পদ্ধতিতে বাছাইয়ের সম্ভাব্যতা 37%।

উপরের পদ্ধতিটি একটি জনপ্রিয় গাণিতিক সমস্যা।

তথ্যসূত্র এবং চিত্র কৃতজ্ঞতাঃ
১) www.numberphile.com
২) Mathematical Sciences Research Institute