ロータリーエンジン（Rotary engine）とは、一般的なレシプロエンジンのような往復動機構による容積変化ではなく、回転動機構による容積変化を利用して、熱エネルギーを回転動力に変換して出力する原動機である。
ドイツの技術者フェリクス・ヴァンケルの発明による、三角形の回転子（ローター）を用いるオットーサイクルエンジンが実用化されている。ヴァンケル型ロータリーエンジンとレシプロエンジンとでは構造は大きく異なるが、熱機関としては同等に機能する。
ロータリーエンジンの研究は原理的には古くから行われてきたが、その中で唯一実用化されたいわゆるヴァンケルエンジンは、1957年に西ドイツ（当時）のNSU社とWankel社との共同研究により開発に成功した。
レシプロエンジンとは基本的に大きく異なる構造を持っており、エンジン本体にピストンのような往復運動部はなく、ローターの回転運動のみで動作している。またロータリーエンジンの吸気および排気のポートは、ハウジングの側面に設けられた孔がローター自体により開閉されるため、一般的な4ストロークレシプロエンジンのような、往復動する吸排気バルブやこれを開閉するカムシャフトなどの動弁系は必要ない。
4ストロークレシプロエンジンと同様にオットーサイクルやディーゼルサイクルでの熱力学的動作が可能だが、実用化されたのはオットーサイクルのガソリン燃料火花点火機関であり、ガソリンに代えて水素燃料を使える物も試作されている。ロータリーエンジンの性能基準となる「エンジン回転数」は、ローターではなくエキセントリックシャフトの回転数であり、これが4サイクルレシプロエンジンのクランクシャフト回転数に相当する。ロータリーエンジンは1ローター当たり、エンジン回転数1回転に1回単室容積分の空気を吸入するため、1気筒当たり、エンジン2回転に1回単気筒容積分の空気を吸入する4サイクルレシプロエンジンの2倍の吸気回数を持つ。すなわち、ロータリーエンジンの実質吸気量は「単室容積xローター数x2」となる。ロータリーエンジンデビュー期のモータースポーツにおいては、この考え方により、ロータリーエンジンの排気量に係数を掛け、その値をレシプロエンジンの排気量区分に当てはめていた。しかし実際問題としてロータリーエンジンの出力は「単室容積xローター数x1.5」程度の換算吸気量のレシプロエンジンと同等でしか無いため、日本においては自動車税課税時の排気量区分は「単室容積×ローター数×1.5」として換算される[2][注釈 3]。レシプロエンジンの2倍の空気（と燃料）を吸入しながら出力は1.5倍しか得られないため「燃料消費率が3割悪い」という素性を持ち、特にモータースポーツ分野においては燃料タンク容量や燃料消費に伴う車重変化まで考慮するとレシプロエンジンとの平等な排気量換算は不可能である。そのため競技の性格（スプリントか耐久か）によって異なる換算係数が用いられたり、またF1などのように使用を認めない競技がある。
ロータリーエンジンとして「ヴァンケルエンジン」のみを指す場合も多く、また「回転ピストン型エンジン」、時には「ピストンレスエンジン」と呼ばれることもある。自動車用としては、日本ではヴァンケルエンジンを指して「ロータリーエンジン」(「RE」と略記される)と呼ぶことが一般的であるが、それ以外では「Rotary engine」とも、あるいはより限定的に「Wankel engine」とも呼ばれる。航空機用として「ロータリーエンジン」と呼ぶときは、星型エンジン本体（シリンダー側）がプロペラとともに回転し、クランクシャフトは固定されている構造の回転式レシプロエンジンを意味する場合と、本項のヴァンケルエンジンを意味する場合とがある。
なお、ガスタービンエンジンも本項のロータリーエンジンと同様に回転運動により出力を得ているが、これは速度型の内燃機関であり、容積型内燃機関であるロータリーエンジンとは別に分類される。
構造
構成
ロータリーエンジン本体の構成部品の概略。燃料供給系・吸排気系・潤滑系・冷却系・電気系などは、一部構造は異なりながらもレシプロエンジンと同様に別途設けられるが、上述のとおりローター自体が弁機能を呈するので動弁系は不要である。なお相当部品名は、レシプロエンジンに対するものである。
ローター
ピストンとコネクティングロッドに相当するもので、ローターハウジングのトロコイド曲線に内接する3葉の内包絡線で構成された、三角形（ルーローの三角形）をしたもの。中心にはローターベアリングを介してエキセントリックシャフトがはめられる丸い穴部があり、その縁にはサイドハウジングのギヤ部とかみ合う内歯の歯型（インターナルギヤ）が設けられている。
シール
ピストンリングに相当し、ローターに取り付けられている。ピストンリングは通常2-3本で円筒面に対し気密を保つが、ロータリーエンジンのシール類は数も多く、平面に対して長い範囲で気密を保ちながら摺動しなければならない。
アペックスシール
ローターの各頂点に取り付けられ、隣接する作動室との気密を保つ。ペリフェラルポートの場合は、吸排気バルブにも相当する。
サイドシール
ローターの側面とサイドハウジングとの間の気密を保つ。
コーナーシール
アペックスシールとサイドシールとのつなぎ目で気密を保つ。
オイルシール
ピストンリングではオイルリングに相当し、作動室への潤滑油の余分な流入を防ぐ。
エキセントリックシャフト
クランクシャフトに相当するもので、それと同様にエンジンからの出力軸となる。ローターの取り付く位置のみ芯がずれて太くなっている偏心軸である。右下の動作図ではローター中央の白い部分がこの偏心部で、サイドハウジングに通される回転軸は図中のBの位置となる。
ハウジング
シリンダーやシリンダーヘッドに相当し、点火プラグの取り付け部や吸排気ポートが設けられている。
ローターハウジング
内側面が2ノードのペリトロコイド曲線というまゆ型であり、この内部でローターやエキセントリックシャフトの偏心部が回転する。ローターおよびサイドハウジングとともに燃焼室を構成する。吸排気ポート側と向かい合うくびれ部分（右下図では右側中央）に点火プラグが取り付けられるが、縦長の燃焼室となるために多くはツインプラグとされ、市販以外では3プラグの採用例もある。
サイドハウジング
ローターハウジングの側面（右下図の手前および奥の面）をふさぐものである。エキセントリックシャフトの回転軸が通る部分があり、ローターに接する面のその部分の周囲には、外歯のステーショナリギヤ（右下図の茶色のもの）が突起状に固定され、これがローターの内歯とかみ合う。ローターのギヤとステーショナリギヤとの歯数比は3：2である。
動作
エキセントリックシャフトの偏心部がローターの穴に通されていて、エキセントリックシャフトの回転によりその軸心のまわりをローターが公転するが、この両者間では自由に回転できるようになっている。ローターが自転1回転の間に3回公転、すなわちエキセントリックシャフトが３回転するように、またローターの各頂点がローターハウジングのトロコイド面をなぞるように、シャフトとローターの偏心量やローター中心からアペックスまでの距離が設計されている。また、ローターとシャフトの位相がずれて回転不能にならないようにサイドハウジングとのギヤのかみ合いによって制御されている。
ローターとローターハウジングの間の作動室容積は、ローターの1回の自転の間に拡大と縮小を2回ずつ生じるが、この間に4ストロークエンジンがクランクシャフト2回転で行うのと同様の工程（オットーサイクル）を1サイクル実行する。このサイクルがローターの3辺の上で位相をずらしてそれぞれ進行しているので、ローターの自転1回、すなわち公転３回の間に3回の燃焼・膨張行程がある。ローターの自転運動ではなく公転運動がエキセントリックシャフトを回転させて出力となる。
4ストロークレシプロエンジンと比較すると、
1回の燃焼・膨張行程に要する出力軸の回転数は、ロータリーエンジンでは1ローターあたり1回転であり、対して4ストロークレシプロエンジンでは1気筒あたり2回転である。
1つのオットーサイクルに要する出力軸の回転数は、ロータリーエンジンでは3回転（1080°）であり、対して4ストロークレシプロエンジンでは2回転（720°）である。
ロータリーエンジンの「吸気」「圧縮」「膨張」「排気」の各行程は270°（1080÷4=270）あり、対して4ストロークレシプロエンジンでは180°（720÷4=180）である。
ロータリーエンジンの各行程は270°と長いため、複数ローター間の膨張行程の重なりが4ストロークレシプロエンジンより多い。これによりロータリーエンジンのトルク変動（慣性トルク）は4ストロークレシプロエンジンより少なくなり、2ローター（4ストロークエンジンの4気筒に相当）でも6気筒並み、3ローター（4ストロークエンジンの6気筒に相当）で8 - 12気筒並みの滑らかさとなる。
吸排気ポート
ハウジングに設けられる吸排気ポートは、その位置・形状により分類される。
基本となるポート
サイドポート
サイドハウジングに設置されたポート。ローターが回転しガスを吸排気する方向とポート口の方向が90度曲がっているため、抵抗が増えて効率に難があり、また排気ポートに採用した場合は、曲がり角となる排気ポート周辺に熱だまりが起こりすすも発生しやすい。その一方でポート位置・形状の自由度は高く、オーバーラップ（ひとつの作動室に吸気・排気の両ポートが同時に開いている時間）を小さく抑えることが可能なため、低回転での安定回転やトルクを確保しやすい。ただし外周寄りの位置でローター回転方向にポートを拡大（レシプロエンジンでのバルブカム作用角の拡大に相当）した場合には、ローターの頂点がポート上を通過するようになって隣接する作動室同士がつながってしまうこともある。吸気ポートとしては、マツダの大多数の市販車用エンジンに採用されている。「RENESIS」13B-MSPエンジンでは排気もサイドポートとして、ゼロオーバーラップを実現している。
ペリフェラルポート
ローターハウジングのトロコイド面に設置されたポート（右上図の通りの位置）。高回転での吸排気効率に優れた形式であるが、ローターの頂点がポートを通過するときに隣接する作動室とつながり、また吸排気ポートのオーバーラップを小さくできず、吸排気間の吹き抜けを起こしやすい。結果として排出ガス値や燃費の悪化を招く。上記13B-MSPを除くほとんどのエンジンで排気ポートに採用され、吸気ポートでは主に競技用エンジンに採用されるほか、NSUのエンジンなどにも採用例があった。
応用的なポート
クロスポート／コンビネーションポート
低回転用のプライマリー（サイドポート）と高回転用のセカンダリー（ペリフェラルポートの場合もある）の2つの吸気ポートを組み合わせたもの。高回転時に吸気系内の制御でセカンダリーポートを機能させることで、ポートタイミングの最適化とともにポート面積が拡大される。
ブリッジポート
吸気サイドポートの一種であり、競技用エンジンやチューニングなどで出力向上のためにサイドポートをハウジング外側へ拡大（レシプロエンジンでのバルブ径やバルブリフトの増加に相当）した場合に、アペックスシールやサイドシールの破損や脱落を防ぐ目的でシールの通過位置のみにサイドハウジング内壁を残したものである。残された内壁部分がポートにかかる橋のように見えるので、ブリッジポートと呼ばれる。
オギジュアリーポート
Auxiliary port、すなわち補助ポート。13B-MSP（6PI仕様）が採用した3番目の吸気サイドポートや、上記ブリッジポートで分割されたポートの一方などの呼称で、主に高回転域での吸気量増大に寄与し、さらなる出力向上を目的として追加されたポートである。ブリッジポートの一方をローターハウジングのトロコイド面にまで広げ、なかばペリフェラルポートとした競技用エンジンも存在し、このようなポートをオギジュアリーポートとしている場合もある。
長所・短所
4ストロークレシプロエンジンとの比較で、長所・短所がある。
長所
同程度の出力で比較すると、冷却装備を考慮しても軽量且つコンパクトである。エンジン搭載位置の自由度が高くなり、ミッドシップレイアウトに頼らずとも均等な前後重量配分で低慣性モーメントのスポーツカーを、軽量・コンパクトに仕上げることが可能である。また、搭載自由度の高さは電気自動車のレンジエクステンダーなどにも向く。
出力軸1回転あたりの燃焼回数が2倍となるため、同じ総排気量でも出力が高い。
ローターの公転運動をともなってはいるが偏心量は小さく、低振動・低騒音（機械騒音）である。
同回転数で1サイクルの時間が1.5倍となり、上記燃焼回数の増加と合わせてトルク変動が小さく、エンジンの回転が滑らかである。
動弁系がないためエンジン本体の部品点数が少なく、またバルブ駆動に伴う摩擦損失がない。
燃焼温度が低いためノッキングしにくく、燃料のオクタン価の影響を受けにくく、ある程度粗悪な燃料にも耐える。
燃焼温度が低いため、排気ガス中の窒素酸化物(NOx)濃度が低い。
短所
燃焼室が扁平で表面積が大きく、また、ローターの回転に伴って燃焼室が移動するため、冷却損失が大きい。同程度のエンジン外形寸法や出力で比較すると、大掛かりな冷却装置が必要となる。
上記により低回転域の燃焼安定性が悪く、熱効率も低く、その域でのトルクとレスポンスは同出力のレシプロエンジンと比べて劣る傾向にある。街乗りなど主に低回転域で走る際には、燃費および運転性（ドライバビリティ）で不利である。
排気バルブがなく排気ポートが急激に開くため、排気騒音が大きく排気温度も高い。
燃焼室が扁平かつ縦長で、トレーリング側（吸気ポート寄り）の隅部が完全燃焼しづらく、排気ガス中に未燃焼燃料の炭化水素(CnHm)濃度が高い。
シールの総延長が長いため、摩擦損失が大きい。
各シールにかかる負荷方向・摺動速度が常に変動していること、角になっている部分も摺動シールでの密閉を要求されることからシーリングの確実性・耐久性の確保が困難である。
トロコイド面の潤滑のために作動室内へのオイル供給が必要で、オイル消費量が多くなる。
ローターの製造公差に合わせて寸法違いのシールを多数用意する必要があり、その選択と組付けにも熟練工の技を要する（手作りとなる）ため、ライン生産に向かない。
特に長所のうちの「低振動、低騒音」は、往復運動を回転運動に変換するのではなく、もともとが回転運動である本エンジンの構造に由来するものであり、当初は性能でもレシプロエンジンを大きく引き離して未来のエンジンともてはやされ、世界中の自動車メーカーが開発を行う大きな理由となった。
