有了观点和材料，还要把论点和论据合乎逻辑地联结起来、统一起来，才能构成一篇有理有据有说服力的议论文。这种体现论点和论据之间逻辑关系的方法或过程，就是论证。论点和论据是“外现”的，论证则是“内隐”的。一篇议论文，只有当论点被充分、可靠的论据合乎逻辑地证明了，才能算是合格的议论文。论证解决的是“怎样进行证明”，它和论点、论据构成议论文的三要素。
通过不同的途径来证明自己观点、主张的正确性，就形成了议论文的不同类型。一类是运用事实或事理直接证明自己论点的正确，称为立论，它侧重的是“立”，采用的方法是“证明”。一类是运用事实或事理反驳别人的观点，从而间接证明自己论点的正确，称为驳论，它侧重在“破”，采用的方法是“反驳”。还有的议论文，证明和反驳交织使用，就形成“立”、“驳”结合型的议论文。无论是“证明”还是“反驳”，都应揭示出论点和论据之间的逻辑关系。
论证合乎逻辑，就要合理安排论证结构，也就是要对议论文的全文进行总体设计。论证的结构没有固定不变的模式。常见的论证结构主要有四种：(1)层进式(又称纵贯式)。这是议论文全文结构中常见的，也被称作“三段式结构”。它按着“提出问题、分析问题、解决问题”的逻辑顺序，将文章分为“引论(导论或绪论)”、“本论(正文)”、“结论”三部分。在部分中，立论文是提出观点，驳论文是亮出“靶子”；第二部分中展开论证，或进行反驳：后是作结。另外一种情况，是在具体的论证部分，逐步递进，层层深人。(2)并列式。写作时，根据需要，大体有两种情况。一种是为了论述方便，说理清楚透彻，把文章的论点进行分解，这几个分论点之间是并列关系，如《义理、考据和辞章》。一种是论证过程中，几个论据之间是并列的，如《反对自由主义》中，对“自由主义的各种表现”列举了并列的十一种。