How well do AI assistants handle Bangla?
Explore 50 tasks and a proposed review method for Bangla translation, Banglish, tone, mixed language and following instructions.
A 50-task Bangla AI test
This page defines 50 tasks and a proposed evaluation protocol. Task inputs are illustrative text, not real customer data. The protocol alone establishes no ranking or claim about model quality.
Last updated: · Protocol version 1.0
Download the 50-task JSONProposed methodology
- Record the model, exact version, run date, system prompt and parameters. Disclose unsupported settings or provider defaults.
- Use the exact task text in a fresh conversation. Proposed settings: temperature 0, at most 1,024 output tokens, one run per task. These describe the plan, not completed experiments.
- Keep raw outputs, errors, refusals and timeouts. Do not select only successful answers.
- Ask two Bangla-proficient reviewers to assess independently, blinded to model names where possible. Record how disagreements are resolved.
- Score meaning/facts, instruction following and natural language from 0 to 2 each: major failure, partly correct, or meets the task. Publish an aggregate only after all 50 tasks are reviewed.
This small task bank does not cover every dialect, register or use case. Scores describe these tasks, not a universal quality guarantee.
The 50 tasks
English to Bangla translation
translation-01 · Meeting time
Exact task input
Translate into natural Bangla without changing the time: The team meeting is on Tuesday at 3 pm.
Review checks
- Keep Tuesday and 3 pm.
- Do not add a location.
translation-02 · Delivery update
Exact task input
Translate into polite Bangla: Your order will be two days late. We will send the next update on Friday.
Review checks
- Keep the two-day delay and Friday.
- Do not invent a reason.
translation-03 · BDT price
Exact task input
Translate into Bangla: The notebook costs BDT 120. Delivery is BDT 60. Please confirm both amounts before ordering.
Review checks
- Preserve 120 and 60 as separate amounts.
- Keep the request to confirm.
translation-04 · Polite request
Exact task input
Translate into conversational Bangla: Could you let me know a suitable time to call? There is no rush.
Review checks
- Use a polite request.
- Preserve the absence of urgency.
translation-05 · Missing information
Exact task input
Translate into Bangla: We do not know the reopening date yet. Please check again next week.
Review checks
- Keep the date unknown.
- Do not turn next week into a date.
translation-06 · Two conditions
Exact task input
Translate into Bangla: Bring the form and a copy of your receipt. Keep the original receipt with you.
Review checks
- Distinguish original and copy.
- Keep both requested items.
translation-07 · School note
Exact task input
Translate into Bangla: Read pages 12 to 15 and write three questions. Do not answer them yet.
Review checks
- Preserve pages 12–15 and three questions.
- Retain the instruction not to answer.
translation-08 · Care instruction
Exact task input
Translate into Bangla: Wash this cloth by hand in cold water. Do not use bleach.
Review checks
- Keep hand washing and cold water.
- Retain the negative instruction.
translation-09 · Change of plan
Exact task input
Translate into Bangla: I cannot attend on Saturday. If Monday works for you, we can discuss it then.
Review checks
- Keep Saturday unavailable.
- Keep Monday conditional.
translation-10 · Friendly thanks
Exact task input
Translate into natural Bangla: Thank you for checking the draft. Your notes helped me find the unclear parts.
Review checks
- Preserve thanks for reviewing a draft.
- Do not invent approval or a final result.
Banglish to Bangla
banglish-01 · Simple request
Exact task input
এই বাংলিশ মেসেজ সহজ বাংলায় লিখুন: amar file ta dekhe vul thakle janaben.
Review checks
- Preserve the request to check a file.
- Use Bangla script.
banglish-02 · Price and quantity
Exact task input
বাংলায় লিখুন, সংখ্যা বদলাবেন না: 2 ta bag lagbe, protita 350 taka, delivery koto?
Review checks
- Preserve two bags and 350 each.
- Keep delivery as a question.
banglish-03 · Name preservation
Exact task input
এই লেখাটি বাংলায় দিন, Rima নামটি বদলাবেন না: Rima aj office e ashbe na, note ta email korbe.
Review checks
- Keep Rima exactly as requested.
- Preserve the email action.
banglish-04 · Uncertain timing
Exact task input
সহজ বাংলায় লিখুন। kal কোন দিন তা অনুমান করবেন না: kal bikele kotha boli, time ta pore janabo.
Review checks
- Do not infer a calendar date.
- Keep the exact time undecided.
banglish-05 · Work handover
Exact task input
বাংলা হরফে লিখুন: ami chhutite thakbo, baki kajer list ta folder e ache.
Review checks
- Preserve leave and the folder location.
- Do not name a replacement colleague.
banglish-06 · Mixed term
Exact task input
বাংলায় লিখুন, deadline শব্দটি ইংরেজিতে রাখুন: report er deadline budhbar, tar age draft ta chai.
Review checks
- Keep deadline in English.
- Preserve Wednesday and draft before it.
banglish-07 · Friendly tone
Exact task input
বন্ধুকে বলার মতো বাংলায় লিখুন: tui free hole boita diye jash, tarahura nai.
Review checks
- Keep the informal relationship.
- Do not add urgency.
banglish-08 · Polite tone
Exact task input
ভদ্র বাংলায় লিখুন: apnar shomoy hole form ta check kore deben?
Review checks
- Retain a request, not an order.
- Use an appropriate respectful pronoun.
banglish-09 · Address placeholder
Exact task input
বাংলায় লিখুন, [address] অপরিবর্তিত রাখুন: parcel ta [address] e pathaben, age phone korben.
Review checks
- Preserve the placeholder.
- Keep calling before sending or visiting.
banglish-10 · Negation
Exact task input
বাংলায় লিখুন: ami bolini order cancel korte, sudhu delivery date jante cheyechi.
Review checks
- Preserve that cancellation was not requested.
- Keep the request about delivery date.
Formal and everyday tone
tone-01 · A softer reminder
Exact task input
ভদ্র অফিসের মেসেজ করুন, তথ্য বদলাবেন না: আপনি এখনো ফাইল দেননি। আজ কাজ শুরু করতে এটি দরকার।
Review checks
- Preserve that the file is needed today.
- Avoid blame or a new deadline.
tone-02 · Everyday notice
Exact task input
সহজ রোজকার বাংলায় লিখুন: সংশ্লিষ্ট সকলকে নির্ধারিত সময়ের মধ্যে প্রয়োজনীয় নথিপত্র জমা প্রদানের অনুরোধ করা যাচ্ছে। সময় বা নথির নাম যোগ করবেন না।
Review checks
- Simplify wording.
- Do not invent dates or document names.
tone-03 · Formal leave request
Exact task input
ভদ্র আবেদনের ভাষায় লিখুন: ব্যক্তিগত কাজে ১০ নভেম্বর ছুটি চাই। ১১ নভেম্বর ফিরব। কারণ বাড়িয়ে লিখবেন না।
Review checks
- Keep both dates.
- Do not invent illness or urgency.
tone-04 · Respectful disagreement
Exact task input
ভদ্রভাবে দ্বিমত লিখুন: এই সময়সূচিতে আমার কাজের দুটি ধাপ বাদ গেছে। আগে সেগুলো মিলিয়ে নিতে চাই।
Review checks
- Preserve two missing steps.
- Do not turn disagreement into agreement.
tone-05 · Short apology
Exact task input
দুই বাক্যে ভদ্র উত্তর লিখুন: উত্তর দিতে দেরি হয়েছে। ফাইলটি এখনো দেখা হয়নি। মিথ্যা অজুহাত বা সময়ের প্রতিশ্রুতি নয়।
Review checks
- Acknowledge delay and unreviewed file.
- No invented excuse or completion promise.
tone-06 · Customer update
Exact task input
গ্রাহককে ভদ্রভাবে জানান: স্টক নেই। কবে আসবে জানা নেই। বিকল্প চাপিয়ে দেবেন না।
Review checks
- Keep stock and timing unknown.
- Do not promise a restock.
tone-07 · Friendly invitation
Exact task input
বন্ধুকে পাঠানোর মতো করুন: শুক্রবার বিকেলে বাসায় চা খেতে আসার আমন্ত্রণ জানাচ্ছি। আসতে পারবেন কি না জানাবেন।
Review checks
- Keep Friday afternoon and tea at home.
- Avoid adding guests or activities.
tone-08 · Neutral complaint
Exact task input
শান্ত ভাষায় লিখুন: প্যাকেটের একটি কাপ ভাঙা পেয়েছি। ছবিও আছে। কীভাবে বিষয়টি জানাব বলুন। কার দোষ তা লিখবেন না।
Review checks
- Preserve one broken cup and a photo.
- No unsupported attribution of blame.
tone-09 · No extra praise
Exact task input
সহজ ধন্যবাদের মেসেজ করুন: আমার নোটটি পড়ে বানানের ভুল দেখিয়েছেন, ধন্যবাদ। নতুন প্রশংসা বা ঘটনা যোগ করবেন না।
Review checks
- Keep thanks for spelling feedback.
- Add no invented achievements.
tone-10 · Formal to plain
Exact task input
সহজ বাংলায় লিখুন: উক্ত বিষয়ে প্রয়োজনীয় ব্যবস্থা গ্রহণপূর্বক আবেদনকারীকে অবহিত করার জন্য অনুরোধ করা হলো।
Review checks
- Preserve taking action and informing the applicant.
- Do not invent the action or its outcome.
Mixed Bangla-English
mixed-01 · Keep API and JSON
Exact task input
এই বাক্য বাংলায় বুঝিয়ে লিখুন, API ও JSON ইংরেজিতে রাখুন: The API returns JSON after a successful request.
Review checks
- Preserve API and JSON.
- Keep the success condition.
mixed-02 · An English subject
Exact task input
বাংলা ইমেইল লিখুন, বিষয়ের লাইন ঠিক এইটি রাখুন: Meeting notes. মূল কথা: আজকের নোট দেখার অনুরোধ।
Review checks
- Subject must be Meeting notes.
- Body should be Bangla and ask for review.
mixed-03 · Keep a code expression
Exact task input
বাংলায় বুঝিয়ে দিন, কোড বদলাবেন না: total = price * quantity. কোনটি কী বোঝায় বলুন, বাস্তব দাম বানাবেন না।
Review checks
- Keep the expression unchanged.
- Explain variables without invented prices.
mixed-04 · Product name
Exact task input
বাংলায় লিখুন, নাম বদলাবেন না: Notebook A5 is available in blue. Price: BDT 120.
Review checks
- Preserve Notebook A5 and 120.
- Preserve blue as a colour.
mixed-05 · Version and filename
Exact task input
সহজ বাংলায় লিখুন: Save report-v2.csv before closing Excel. report-v2.csv ও Excel ঠিক রাখুন।
Review checks
- Exact filename and application name.
- Preserve saving before closing.
mixed-06 · Quoted command
Exact task input
বাংলায় লিখুন, git status কমান্ড বদলাবেন না: Run git status to inspect the working tree. এই লেখা শুধু ব্যাখ্যা করুন, কোনো কমান্ড চালাবেন না।
Review checks
- Keep git status.
- Do not claim execution.
mixed-07 · Bangla with units
Exact task input
দুটি বাক্যে সহজ করুন: প্যাকেটের weight 500 g, delivery fee 60 BDT. একক ও অঙ্ক ঠিক রাখুন।
Review checks
- Keep 500 g and 60 BDT.
- Distinguish weight from fee.
mixed-08 · Email address placeholder
Exact task input
বাংলা মেসেজ লিখুন: send the draft to [email] and keep the subject Project draft. [email] ও Project draft বদলাবেন না।
Review checks
- Preserve both literals.
- Do not invent a recipient.
mixed-09 · Office shorthand
Exact task input
রোজকার বাংলায় লিখুন: আজ draft review হবে, final approval এখনো pending. অনুমোদন হয়েছে এমনভাবে লিখবেন না।
Review checks
- Distinguish review from approval.
- Preserve pending status.
mixed-10 · Three technical terms
Exact task input
এই নোটটি সহজ বাংলায় লিখুন: backup complete, restore not tested, API disabled. backup, restore ও API ইংরেজিতে রাখুন।
Review checks
- Keep all three terms.
- Retain completed, untested and disabled as distinct states.
Instruction and fact preservation
instructions-01 · Exactly three points
Exact task input
ঠিক তিনটি ছোট পয়েন্টে সারাংশ দিন: সভা সোমবার। সবাই আগে নোট পড়বে। সভায় পরের কাজ ঠিক হবে। নতুন তথ্য যোগ নয়।
Review checks
- Exactly three points.
- All three supplied facts, no new facts.
instructions-02 · No invented deadline
Exact task input
এই মেসেজ গুছিয়ে দিন, সময়সীমা যোগ নয়: ফাইল পাঠানোর অনুরোধ করছি। কাজ শুরু করতে দরকার।
Review checks
- No added deadline.
- Preserve the file request and reason.
instructions-03 · Keep placeholders
Exact task input
বাংলায় ছোট আবেদন লিখুন। নাম [নাম], প্রতিষ্ঠান [প্রতিষ্ঠান], কারণ [কারণ]। তিনটি ফাঁকা ঘর একই রাখুন।
Review checks
- All three placeholders remain.
- Do not substitute fictional details.
instructions-04 · Two alternatives
Exact task input
দুটি আলাদা ছোট মেসেজ দিন: একটিতে ভদ্র অফিসের ভাষা, অন্যটিতে বন্ধুকে বলার ভাষা। তথ্য: বুধবার নোট নিয়ে আসতে হবে।
Review checks
- Exactly two alternatives with distinct tone.
- Both retain Wednesday and the notes.
instructions-05 · Sort without deleting
Exact task input
সময় অনুযায়ী সাজান, কোনো কাজ বাদ দেবেন না: ৩টায় ফোন, ১০টায় নোট দেখা, ১টায় খাবার। শুধু তালিকা দিন।
Review checks
- All three items sorted by time.
- No extra commentary.
instructions-06 · Do not answer yet
Exact task input
এই অনুচ্ছেদ থেকে দুটি প্রশ্ন দিন, উত্তর দেবেন না: রিমা সকালে নোট পড়ে। বিকেলে অনুশীলন করে।
Review checks
- Two questions only.
- No answers included.
instructions-07 · A short subject
Exact task input
এই ইমেইলের জন্য শুধু একটি ছোট বিষয়ের লাইন দিন: আগামী সপ্তাহের মিটিংয়ের সময় জানতে চাই। শুভেচ্ছা বা মূল লেখা দেবেন না।
Review checks
- Only a subject line.
- No invented meeting time.
instructions-08 · Preserve a negative
Exact task input
এক বাক্যে সহজ করুন: আবেদন জমা দিয়েছি, কিন্তু অনুমোদন পাইনি। অনুমোদন পেয়েছি এমন অর্থ হবে না।
Review checks
- Exactly one sentence.
- Approval remains not received.
instructions-09 · Ask for missing facts
Exact task input
আমার জন্য ছুটির আবেদন লিখতে সাহায্য করুন। কোনো তারিখ, নাম বা কারণ দিইনি। আগে সর্বোচ্চ তিনটি দরকারি প্রশ্ন করুন, এখন খসড়া লিখবেন না।
Review checks
- At most three useful questions.
- No draft and no invented personal details.
instructions-10 · Preserve amounts
Exact task input
মেসেজ ছোট করুন: পণ্যের দাম ৪৫০ টাকা। ডেলিভারি ৬০ টাকা। ছাড় নেই। মোটের অঙ্ক চাই না, শুধু দেওয়া তথ্য রাখুন।
Review checks
- Keep 450, 60 and no discount.
- Do not add a total.
For citation
Include the protocol version and whether results are published when citing this page.
MaxAI.bd. 2026-11-01. Bangla AI evaluation task bank, version 1.0. Evaluation protocol and task bank. https://maxai.bd/bangla-ai-test