Monday 8 August 2022

ڪمپيوٽر مشين لرننگ جو ماڊل برٽ ڇا آھي؟


 
 ڇا آھي؟BERTمشين لرننگ جو مآڊل  ڪمپيوٽر

ڊاڪٽر مظھر علي ڏوتيو

  جو.  Bidirectional Encoder Representationsبرٽ مخفف آھي

 برٽ مشين لرننگ جو  ھڪ ماڊل آھي جيڪو  نيچرل لئنگوئجز  پروسيسنگ  لاءِ تيار ڪيو ويو آھي. ھي ماڊل 2018ع ۾ گوگل جي آرٽيفيشل انٽيليجنس (ھٿراڌو ڏاھپ) ٻولين واري ليب ۾ محققن طرفان ٺاھيو ويو ھو.  ھي ماڊل ٻولي جي مختلف پھلوئن تي ڪم ڪري ٿو مثال طور: احساسن جو تجزيو، جملن کي خودڪار طريقي سان پيدا ڪرڻ، نيمڊ انٽٽي رڪگنيشن  وغيرھ . ڪمپيوٽر لاءِ ڪنھن بھ ٻولي کي سمجھڻ ھميشھ ھڪ ڏکيو عمل رھيو آھي پر ھٿراڌو ڏاھپ ۽ نيچرل لئنگوئيج پروسيسنگ جي ذريعي ڪمپيوٽرن ٻولين کي سمجھڻ ۽ انھن کي مختلف ڪمن جي استعمال لاءِ ھميشھ بھتر ڪم ڪيو آھي. ٻولين کي سمجھڻ لاءِ ڪمپيوٽر مشين جا ھٿراڌو ڏاھپ جا اھم اوزار نيچرل لئنگوئيج پروسيس ۽ مشين لرننگ رھيا آھن جن ذريعي متن ۽ ڳالھايل لفظن مان مطلب ڪڍڻ، انھن جي گرائمر کي سمجھڻ ۽  انھن مان جذبن کي ڪڍڻ آسان ڪم بڻجي ويا آھن.

برٽ ماڊل  کي ڪنھن بھ ٻولي  يا ان ۾ لکيل مواد يا سوالن ۽ جوابن وغيرھ کي سمجھڻ لاءِ ڪمپيوٽر مشين برٽ ماڊل کي مختلف ڪمن يا ٽاسڪس لاءِ استعمال ڪري ٿي. مثال طور:

ڪنھن بھ فلم يا ڪتاب جي تجزيي ڪرڻ وقت جيڪي رايا پيش ڪيا وڃن ٿا سي ڪيترا مثبت يا منفي آھي.   (جذبن جو تجزيو ڪرڻ)

چيٽ بوٽس کي ماڻھن طرفان پڇيل سوالن جي جواب ڏيڻ ۾ مدد ڪري ٿو   (سوالن جا جواب ڏيڻ)

ڪو بھ مواد لکڻ وقت يا جي ميل ذريعي ايميل ڪرڻ وقت اڳين جملي جي خودڪار نظام ذريعي پاڻ  اڳڪٿي ڪري تھ ھن قسم جو جملو استعمال ڪري سگھو ٿا. (متن يا جملي جي پيشن گوئي)

خودڪار نظام ذريعي ڪنھن بھ قسم جو آرٽيڪل لکڻ، جنھن لاءِ پھريان ڪجه جملا پاڻ لکڻ  کانپوءِ ڪمپيوٽر پنھنجو پاڻ آرٽيڪل لکي وٺي. (پنھنجو پاڻ جملا پيدا ڪرڻ يا لکڻ جنھن کي انگريزي ۾ ٽيڪسٽ جنريشن چئجي ٿو)

وڏن دستاويزن يا معاھدن خاص ڪري قانوني دستاويزن يا معاھدن جو خلاصو پيش ڪرڻ. (مواد جو خلاصو يا سمرائيزيشن)

اھڙا ڪيترائي لفظ موجود ھوندا آھن جن جون ڪيتريون ئي معنائون ٿي سگھن ٿيون. مثال لفظ وار، جنھنجو ٻھ معنائون تھ آساني سان ٿي سگھن ٿيون. وار معني مٿي يا جسم تي موجود وار، وار معني ڪھاڙي يا لٺ وغيرھ سان حملو.  (پوليسيمي رزوليوشن )

 

اھي ڪجھ خصوصيتيون آھن جيڪي مشين لرننگ جي ماڊل برٽ کي اھم بڻائي رھيو آھن. نيچرل لئنگوئيج پروسيسنگ گوگل جي ھر ڪم جي پٺيان ڪم ڪري رھي آھي. مثال طور ترجميڪاري وارو نظام، آواز وارو نظام وغيرھ. تنھنڪري ڪنھن بھ ٻولي کي عالمي سطح تي آڻڻ لاءِ ان تي مشين لرننگ يا ڊيپ لرننگ جي مختلف ماڊلز کي استعمال ڪيو وڃي ٿو پر انھن سمورن ماڊلن مان برٽ ھڪ اھم ماڊل آھي. جنھنکي ڪمپيوٽر سائنس جا شاگرد يا ٻولي تي ڪم ڪندڙ محقق استعمال ڪري سگھن ٿا ۽ پنھنجي ٻولين تي موجودھ دور جي گھرجن مطابق ڪم ڪري سگھن ٿا.

برٽ ماڊل ڪم ڪيئن ڪري ٿو؟

برٽ ماڊل ذريعي ڪمپيوٽر مشين کي ڪنھن بھ ٻوليءَ جي متن يا جملن جي ڀنڊار يا ڪارپس ذريعي سکيا ڏني وڃي ٿي. ياد رھي جملن جي ڀنڊار جو تعداد وڏو ھئڻ گھرجي، جنھنجو مطلب ٿيو تھ  جنھن بھ موضوع تي اوھان ڪمپيوٽر مشين کي سکيا ڏيڻ چاھيو ٿا تنھن موضوع جا گهٽ ۾ گهٽ ٽي چار ڪتابن جو ڪارپس يا جملن جو ڀنڊار ٺاھي ماڊل کي سکيا ڏيو. اھي ڪتاب ماڊل جي داخلا جي سرشتي ذريعي اِنپٽ ڪجن يا وجھجن. ان عمل سان ماڊل مختلف قسم جا لفظ، جملا ۽ خيال ملي ويندا، جنھن ڪري ھو اڳتي صحي اڳڪٿي ڪندو. جيڪڏھن سکيا صحي نھ ڪئي ويندي تھ نتيجا ۽ اڳڪٿيون بھ صحي نھ ٿينديون.

ماسڪ ٿيل ٻولي جو ماڊل ( Masked Language Model).

 

MLM  برٽ ماڊل کي قابل بڻائي ٿو تھ ھو ڪنھن بھ قسم جي متن کي ٻھ طرفي سکيا Bidirectional learning  ذريعي ان جو تجزيو ڪري يا ڪنھن بھ مسئلي کي حل ڪري مثال: ڪنھن بھ جملي مان ڪنھن بھ لفظ کي لڪائي ان کي ٻھ طرفي سکيا ذريعي حل ڪري سگھو ٿو. اھڙي قسم جو ڪم اڳ ۾ ڪڏھن بھ ڪون ٿيو ھو پر برٽ BERT ماڊل ذريعي اھو ڪم آساني سان ٿي سگھي ٿو.

مثال:  پئرس فرانس جو [ Mask] آھي. ھي جملو برٽ ماڊل ۾ سکيا دوران وڌو ويو. ھڪ مخصوص پروسيسنگ کان پوءِ برٽ ان جو جواب ڏنو

گادي جو ھنڌ    0.997 سيڪڙو

دل   0.001 سيڪڙو

مرڪز  0.000 سڪيڙو

سڀ کان ڪارائتو جواب گادي جو ھنڌ آھي. جڏھن تھ دل ۽ مرڪز گھٽ سيڪڙو ڏيکارين ٿا.

 

اڳين جملي جي اڳڪٿي ڪرڻ( Next Sentence Prediction (NSP)).

 

ھي ماڊل برٽ ماڊل جي مدد ڪري ٿو تھ جيئن جملن جي جوڙ کي صحي طريقي سان سمجھي سگھجي. ھن ماڊل زريعي خبر پوي ٿي تھ ڇا پھرين جملي کان پوءِ آيل ٻيو جملو پھرين جملي سان مشاھبت رکي ٿو. جيڪڏھن رکي ٿو تھ برٽ ماڊل NSP ذريعي ٻڌائيندو تھ پويون جملو اڳين جملي سان مشاھبت رکي پر جيڪڏھن پويون جملو اڳين جملي کان مختلف آھي تھ ماڊل ٻڌائيندو  تھ پويون جملو اڳين جملي کان مختلف آھي.  مثال:

 

اسلم خريداري ڪرڻ ويو. ھن ھڪ قميص ورتي (پويون جمل اڳين جملي سان مشاھبت رکي ٿو تنھنڪري ھي صحي آھي. ھنن ٻنھي جملن جو جوڙ بھ صحي آھي)

مريم ڪافي ٺاھي. آئيسڪريم کپائي.  ( پويون جملو پھرين جملي کان مختلف آھي. اھڙي طرح پھرين جملي سان مشاھبت بھ نٿو رکي تنھنڪري جملن جو جوڙ صحي نھ آھي)

 

برٽ ماڊل کي سکيا ڏيڻ وقت 50 سيڪڙو صحي جملا ڏنا ويندا آھن ۽ 50 سيڪڙو بغير ترتيب ڏنل جملا ڏنا ويندا آھن. اھڙي طرح ترتيب ڏنل ۽ بغير ترتيب ڏنل جملن کي پاڻ ۾ ملايو ويندو آھي تھ جيئن  برٽ مآڊل بھتر قسم جي اڳڪٿي ڪري سگھي ۽ اڳڪٿي جي درستگي بھ وڌيڪ ھجي.

 

برٽ ماڊل جي ماپ ۽ آرڪيٽيڪچر يا تعمير( (BERT Model size and architecture

 

برٽ ماڊل متن جي ماپ يا سائيز مطابق تيار ڪيا وڃن ٿا. ھي اھڙو ماڊل آھن جنھن ۾ ملين جي تعداد ۾ متن يا ڊيٽا ڏئي سگھجي ٿي يا input ڪري سگھجي ٿي. برٽ ماڊل ۾ عمومن ٻن قسم جا آرڪيٽيڪچر موجود آھن. ھڪ بنيادي برٽ ماڊل، جنھن کي  BERT Base چيو وڃي ٿو ۽ ٻيون ڊگهو برٽ ماڊل، جنھن کي BERT Large چيو وڃي ٿو. بنيادي برٽ ماڊل ۾  110M پئراميٽر ۽ ڊگھي برٽ ماڊل ۾ 340M پئراميٽر تائين ڊيٽا وجھي سگھجي ٿي.

 

ھي بلاگ مشين لرننگ جي ماڊل برٽ جو  ھڪ ننڍڙو تعارف آھي، جيڪو اوھان جي اڳيان پيش ڪيو آھي. برٽ ماڊل جا مختلف قسم ٿين ٿا۽ انھن جو استعمال بھ مختلف طريقن سان ڪري سگھجي ٿو. اوھان جيڪڏھن نيچرل لئنگوئيجز پروسيس جي شعبي ۾ ڪم ڪرڻ چاھيو ٿا تھ مشين لرننگ سان گڏ برٽ ماڊل کي بھ سمجھو تھ جيئن بھتر ڪم ڪري سگھو.

ڪوشش ڪندس تھ برٽ ماڊل جي مختلف قسمن ۽ انھن جي استعمال تي بلاگ سنڌي ٻولي ۾ لکان ۽ اوھان جي آڏو  پيش ڪريان تھ جيئن پنھنجي ٻولي ۾  ڪمپيوٽر سائينس ۽ ھٿراڌو ڏاھپ جي علمن کي پڙھڻ جو لطف وٺجي. پنھنجو گھڻو خيال رکندا.

 


2 comments:

  1. Its very good blog written in Sindhi language on new technology called BERT model. This will rich the Sindhi language and benefit the Sindhi students of computer science to get significant knowledge in your mother language. Please write such type of the articles in Sindhi language

    ReplyDelete
  2. سائين اوھان بھترين ڪم ڪري رھيا آھيو. سنڌي ٻولي ۾ جديد ٽيڪنالاجي جي اوزارن کي پيش ڪرڻ سچ ۾ اھم ڪم آھي. ھي بلاگ تمام گھڻو ڪارائتو آھي. اھڙي قسم جا بلاگ لکندا رھو.

    ReplyDelete

International Mother Language Day 2024: Linguistic Complexities in Pakistan and Global Impact

  Dr. Mazhar Ali Dootio International Mother Language Day, observed annually on February 21st, serves as a global platform to celebrate li...