Monday, 15 August 2022
تحقيق، محقق ۽ تحقيقي رويا
Saturday, 13 August 2022
Significance of usage of AR and VR technologies for tourist places
Dr. Mazhar Ali Dootio
Let's think and work...!!!
For More, Watch Videos on my YouTube Channel Learning Digitally
https://www.youtube.com/@learningdigitally
Monday, 8 August 2022
ڪمپيوٽر مشين لرننگ جو ماڊل برٽ ڇا آھي؟
ڇا آھي؟BERTمشين لرننگ جو مآڊل ڪمپيوٽر
ڊاڪٽر مظھر علي ڏوتيو
جو. Bidirectional Encoder Representationsبرٽ
مخفف آھي
برٽ مشين لرننگ جو ھڪ ماڊل آھي جيڪو نيچرل لئنگوئجز
پروسيسنگ لاءِ تيار ڪيو ويو آھي.
ھي ماڊل 2018ع ۾ گوگل جي آرٽيفيشل انٽيليجنس (ھٿراڌو ڏاھپ) ٻولين واري ليب ۾ محققن
طرفان ٺاھيو ويو ھو. ھي ماڊل ٻولي جي
مختلف پھلوئن تي ڪم ڪري ٿو مثال طور: احساسن جو تجزيو، جملن کي خودڪار طريقي سان پيدا
ڪرڻ، نيمڊ انٽٽي رڪگنيشن وغيرھ . ڪمپيوٽر
لاءِ ڪنھن بھ ٻولي کي سمجھڻ ھميشھ ھڪ ڏکيو عمل رھيو آھي پر ھٿراڌو ڏاھپ ۽ نيچرل
لئنگوئيج پروسيسنگ جي ذريعي ڪمپيوٽرن ٻولين کي سمجھڻ ۽ انھن کي مختلف ڪمن جي
استعمال لاءِ ھميشھ بھتر ڪم ڪيو آھي. ٻولين کي سمجھڻ لاءِ ڪمپيوٽر مشين جا ھٿراڌو
ڏاھپ جا اھم اوزار نيچرل لئنگوئيج پروسيس ۽ مشين لرننگ رھيا آھن جن ذريعي متن ۽
ڳالھايل لفظن مان مطلب ڪڍڻ، انھن جي گرائمر کي سمجھڻ ۽ انھن مان جذبن کي ڪڍڻ آسان ڪم بڻجي ويا آھن.
برٽ ماڊل کي ڪنھن بھ ٻولي يا ان ۾ لکيل مواد يا سوالن ۽ جوابن وغيرھ کي
سمجھڻ لاءِ ڪمپيوٽر مشين برٽ ماڊل کي مختلف ڪمن يا ٽاسڪس لاءِ استعمال ڪري ٿي.
مثال طور:
ڪنھن بھ فلم يا ڪتاب جي تجزيي
ڪرڻ وقت جيڪي رايا پيش ڪيا وڃن ٿا سي ڪيترا مثبت يا منفي آھي. (جذبن
جو تجزيو ڪرڻ)
چيٽ بوٽس کي ماڻھن طرفان
پڇيل سوالن جي جواب ڏيڻ ۾ مدد ڪري ٿو (سوالن جا جواب ڏيڻ)
ڪو بھ مواد لکڻ وقت يا جي ميل
ذريعي ايميل ڪرڻ وقت اڳين جملي جي خودڪار نظام ذريعي پاڻ اڳڪٿي ڪري تھ ھن قسم جو جملو استعمال ڪري سگھو
ٿا. (متن يا جملي جي پيشن گوئي)
خودڪار نظام ذريعي ڪنھن بھ
قسم جو آرٽيڪل لکڻ، جنھن لاءِ پھريان ڪجه جملا پاڻ لکڻ کانپوءِ ڪمپيوٽر پنھنجو پاڻ آرٽيڪل لکي وٺي. (پنھنجو
پاڻ جملا پيدا ڪرڻ يا لکڻ جنھن کي انگريزي ۾ ٽيڪسٽ جنريشن چئجي ٿو)
وڏن دستاويزن يا معاھدن خاص
ڪري قانوني دستاويزن يا معاھدن جو خلاصو پيش ڪرڻ. (مواد جو خلاصو يا سمرائيزيشن)
اھڙا ڪيترائي لفظ موجود
ھوندا آھن جن جون ڪيتريون ئي معنائون ٿي سگھن ٿيون. مثال لفظ وار، جنھنجو ٻھ
معنائون تھ آساني سان ٿي سگھن ٿيون. وار معني مٿي يا جسم تي موجود وار، وار
معني ڪھاڙي يا لٺ وغيرھ سان حملو. (پوليسيمي
رزوليوشن )
اھي ڪجھ خصوصيتيون آھن جيڪي
مشين لرننگ جي ماڊل برٽ کي اھم بڻائي رھيو آھن. نيچرل لئنگوئيج پروسيسنگ گوگل جي
ھر ڪم جي پٺيان ڪم ڪري رھي آھي. مثال طور ترجميڪاري وارو نظام، آواز وارو نظام
وغيرھ. تنھنڪري ڪنھن بھ ٻولي کي عالمي سطح تي آڻڻ لاءِ ان تي مشين لرننگ يا ڊيپ
لرننگ جي مختلف ماڊلز کي استعمال ڪيو وڃي ٿو پر انھن سمورن ماڊلن مان برٽ ھڪ اھم
ماڊل آھي. جنھنکي ڪمپيوٽر سائنس جا شاگرد يا ٻولي تي ڪم ڪندڙ محقق استعمال ڪري
سگھن ٿا ۽ پنھنجي ٻولين تي موجودھ دور جي گھرجن مطابق ڪم ڪري سگھن ٿا.
برٽ ماڊل ڪم ڪيئن ڪري ٿو؟
برٽ ماڊل ذريعي ڪمپيوٽر مشين
کي ڪنھن بھ ٻوليءَ جي متن يا جملن جي ڀنڊار يا ڪارپس ذريعي سکيا ڏني وڃي ٿي. ياد
رھي جملن جي ڀنڊار جو تعداد وڏو ھئڻ گھرجي، جنھنجو مطلب ٿيو تھ جنھن بھ موضوع تي اوھان ڪمپيوٽر مشين کي سکيا
ڏيڻ چاھيو ٿا تنھن موضوع جا گهٽ ۾ گهٽ ٽي چار ڪتابن جو ڪارپس يا جملن جو ڀنڊار
ٺاھي ماڊل کي سکيا ڏيو. اھي ڪتاب ماڊل جي داخلا جي سرشتي ذريعي اِنپٽ ڪجن يا
وجھجن. ان عمل سان ماڊل مختلف قسم جا لفظ، جملا ۽ خيال ملي ويندا، جنھن ڪري ھو
اڳتي صحي اڳڪٿي ڪندو. جيڪڏھن سکيا صحي نھ ڪئي ويندي تھ نتيجا ۽ اڳڪٿيون بھ صحي نھ
ٿينديون.
ماسڪ ٿيل ٻولي جو ماڊل ( Masked Language Model).
MLM برٽ
ماڊل کي قابل بڻائي ٿو تھ ھو ڪنھن بھ قسم جي متن کي ٻھ
طرفي سکيا Bidirectional learning ذريعي
ان جو تجزيو ڪري يا ڪنھن بھ مسئلي کي حل ڪري مثال: ڪنھن بھ جملي مان ڪنھن بھ لفظ
کي لڪائي ان کي ٻھ طرفي سکيا ذريعي حل ڪري سگھو ٿو. اھڙي قسم جو ڪم اڳ ۾ ڪڏھن بھ
ڪون ٿيو ھو پر برٽ BERT ماڊل ذريعي اھو ڪم آساني سان
ٿي سگھي ٿو.
مثال: پئرس فرانس جو [ Mask] آھي. ھي
جملو برٽ ماڊل ۾ سکيا دوران وڌو ويو. ھڪ مخصوص پروسيسنگ کان پوءِ برٽ ان جو جواب
ڏنو
گادي جو ھنڌ
0.997 سيڪڙو
دل 0.001 سيڪڙو
مرڪز 0.000
سڪيڙو
سڀ کان ڪارائتو جواب گادي جو
ھنڌ آھي. جڏھن تھ دل ۽ مرڪز گھٽ سيڪڙو ڏيکارين ٿا.
اڳين جملي جي اڳڪٿي ڪرڻ( Next Sentence Prediction (NSP)).
ھي ماڊل برٽ ماڊل جي مدد ڪري
ٿو تھ جيئن جملن جي جوڙ کي صحي طريقي سان سمجھي سگھجي. ھن ماڊل زريعي خبر پوي ٿي
تھ ڇا پھرين جملي کان پوءِ آيل ٻيو جملو پھرين جملي سان مشاھبت رکي ٿو. جيڪڏھن رکي
ٿو تھ برٽ ماڊل NSP ذريعي ٻڌائيندو تھ پويون جملو اڳين جملي سان مشاھبت رکي پر جيڪڏھن
پويون جملو اڳين جملي کان مختلف آھي تھ ماڊل ٻڌائيندو تھ پويون جملو اڳين جملي کان مختلف آھي. مثال:
اسلم خريداري ڪرڻ ويو. ھن ھڪ
قميص ورتي (پويون جمل اڳين جملي سان مشاھبت رکي ٿو تنھنڪري ھي صحي آھي. ھنن ٻنھي
جملن جو جوڙ بھ صحي آھي)
مريم ڪافي ٺاھي. آئيسڪريم کپائي. ( پويون جملو پھرين جملي کان مختلف آھي. اھڙي
طرح پھرين جملي سان مشاھبت بھ نٿو رکي تنھنڪري جملن جو جوڙ صحي نھ آھي)
برٽ ماڊل کي سکيا ڏيڻ وقت 50
سيڪڙو صحي جملا ڏنا ويندا آھن ۽ 50 سيڪڙو بغير ترتيب ڏنل جملا ڏنا ويندا آھن. اھڙي
طرح ترتيب ڏنل ۽ بغير ترتيب ڏنل جملن کي پاڻ ۾ ملايو ويندو آھي تھ جيئن برٽ مآڊل بھتر قسم جي اڳڪٿي ڪري سگھي ۽ اڳڪٿي جي
درستگي بھ وڌيڪ ھجي.
برٽ ماڊل جي ماپ ۽ آرڪيٽيڪچر
يا تعمير( (BERT Model
size and architecture
برٽ ماڊل متن جي ماپ يا
سائيز مطابق تيار ڪيا وڃن ٿا. ھي اھڙو ماڊل آھن جنھن ۾ ملين جي تعداد ۾ متن يا
ڊيٽا ڏئي سگھجي ٿي يا input ڪري سگھجي ٿي. برٽ ماڊل ۾ عمومن ٻن قسم جا آرڪيٽيڪچر موجود آھن.
ھڪ بنيادي برٽ ماڊل، جنھن کي BERT Base چيو وڃي ٿو ۽ ٻيون ڊگهو برٽ ماڊل، جنھن کي BERT Large چيو وڃي ٿو. بنيادي برٽ ماڊل ۾ 110M پئراميٽر ۽ ڊگھي برٽ ماڊل ۾ 340M پئراميٽر تائين ڊيٽا وجھي سگھجي ٿي.
ھي بلاگ مشين لرننگ جي ماڊل برٽ
جو ھڪ ننڍڙو تعارف آھي، جيڪو اوھان جي
اڳيان پيش ڪيو آھي. برٽ ماڊل جا مختلف قسم ٿين ٿا۽ انھن جو استعمال بھ مختلف طريقن
سان ڪري سگھجي ٿو. اوھان جيڪڏھن نيچرل لئنگوئيجز پروسيس جي شعبي ۾ ڪم ڪرڻ چاھيو ٿا
تھ مشين لرننگ سان گڏ برٽ ماڊل کي بھ سمجھو تھ جيئن بھتر ڪم ڪري سگھو.
ڪوشش ڪندس تھ برٽ ماڊل جي
مختلف قسمن ۽ انھن جي استعمال تي بلاگ سنڌي ٻولي ۾ لکان ۽ اوھان جي آڏو پيش ڪريان تھ جيئن پنھنجي ٻولي ۾ ڪمپيوٽر سائينس ۽ ھٿراڌو ڏاھپ جي علمن کي پڙھڻ
جو لطف وٺجي. پنھنجو گھڻو خيال رکندا.
Learning, Growth, and Success
Dr. Mazhar Ali Dootio In the dynamic landscape of personal and professional development, the principles of learning, growth, and success s...
-
Mazhar Ali Dootio In the fast-paced and ever-changing landscape of the 21st century, young people are faced with unprecedented opportunitie...
-
Mazhar Ali Dootio mazhar.myresearch@gmail.com A rtificial intelligence (AI) is a branch of computer science that focuses on creating intell...
-
Mazhar Ali Dootio Artificial Intelligence (AI) stands at the forefront of technological evolution, a realm where minds and machines converg...