نام «کرگدن» خاستگاهی سانسکریت دارد. در این زبان खड्ग (کْهَدْگَه) که از ریشهی खड् (کْهَد) -خویشاوند با «کَندن»- به معنای «شکافتن، جدا کردن» مشتق شده، و یعنی «شمشیر». از اینجا چنین کلماتی در سانسکریت مشتق شدهاند: खण्ड (کْهَنْدَه: بخش، تکه، کرگدن، چاقو) و खड्गधर (کْهَنْدَهدْهارَه: شمشیردار، مسلح) و खड्गिक (کْهَنْدگیکَه: شمشیرزن).
این واژه در پهلوی به «کَرْگ» تبدیل شده که یعنی «شاخ، کرگدن» و در پارسی دری با پسوند «-دان» به معنای «دارنده» به «کرگدن» دگردیسی یافته است. صورتهای دیگر این واژه در زبانهای ایرانی کهن عبارتند از: «کورکیزَنو» اکدی، खड्गधेनु (کْهَدْگَهِنو: کرگدن ماده) سانسکریت، ܟܪܟܕܢܐ (کَرْکَدانا) سریانی، քարկանտան/ քարկարտան (کَرْکَرْتان/ کَرْکَنْتان) ارمنی میانه، 𑀔𑀕𑁆𑀕 (کْهَگَّه) پراکریت و پالی،
در زبانهای زندهی ایرانی هم «کرگدن» اغلب با واسطهی پارسی انتشار یافته و به این صورتها درآمده است: «کَرْکَدَن» عربی، «کِرْگِدِن» کردی و لکی، «تِرک» ترکمنی، «گِرْگِدَن» ترکی، «کِرْگَرْدَن» مازنی، «کَرْگَدَنْگ» گورانی، كەركىدان (کِرْکیتَن) ترکی اویغوری، « کَڙڳ» سندی، «خَداخ» کشمیری،
در زبانهای هندی واژهی «کرگدن» به این شکلها دیده میشود: खाँग (کْهانْگ) هندی، ਖੰਡਾ / ਖੜਗ (کْهَنْدا/ کْهارُو) پنجابی، ଖଡ୍ଗ (کْهُودْگُو) اوریا، කගය / ඛඩ්ගය (کَهَیَه/ کْهَذْیَگَه) سینهالی، கட்கம்/ கண்டம் (کَتْکَم/ کَنْتَم) تامیلی، కగ్గము/ ఖడ్గము (کَکَّمو/ کْهَدْگَمو) تلوگو،
در زبانهای هندی بن مورد نظرمان در معنای «شمشیر» این واژگان را نیز به دست داده است و معنای «شمشیر، تیغ، شاخ کرگدن» را میرساند: খাগ / খাণ্ডা (کْهَگ/ کْهَنْدَه) آسامی، খড়গ / খাঁড়া (کْهُورگُو/ کْهارَه) بنگالی، खाँग / खंडा (کْهانْگ/ کْهَنْدا) هندی، खंजीर (کْهَنْجیر) مراثی، ഖഡ്ഗം (کْهَدْگَم) مالایام، ખડગ (کْهَدَگ) گجراتی، «خَنْرُو» کولی،
این واژه در زبانهای غیرایرانی نیز وامگیری شده است: гаргадан (گَرْگَدَن) آواری، «کِرْکِدَن» تاتاری، 朅伽 (چیِهچیِه) چینی بودایی، खाग् / खाँड़ो (کْهاگ/ کْهارُو) نپالی،
این واژه در شعر و ادب پارسی با بسامدی کم به کار گرفته شده است:
فردوسی توسی: «برآشفت ضحاک بر سان کرگ شنید آن سخن کآرزو کرد مرگ»
فرخی سیستانی: «اگر کرگدن پیشت آید به جنگ بپردازی او را ز شغل بدن
اسدی توسی: «ز کشتی برون رفت بر زه کمان یکی کرگدن دید کآمد دمان
... زبان و گلوگاه و یک نیمه تن فرو دوخت با گردن کرگدن»
منوچهری دامغانی: «بارکش چون گاومیش و بانگزن چون نره شیر
گامزن چون ژنده پیل و حمله بر چون کرگدن»