第六章、应用层

Application Layer

编程
在不同的端系统上运行
通过网络基础设施提供的服务，应用进程彼此通信
如Web: Web 服务器软件与浏览器软件通信

网络核心中没有应用层软件
网络核心没有应用层功能
网络应用只在端系统上存在，快速网络应用开发和部署

5.1 Principles of network applications应用层协议原理

网络应用的体系结构

  • 客户-服务器模式（C/S:client/server）

    • 服务器:

      • 一直运行的主机

      • 固定（permanent）的IP地址和周知的端口号（约定）

      • 扩展性：服务器场（server farms for scaling）

        • 数据中心进行
        • 扩展性差

    • 客户端:

      • 主动与服务器通信
      • 与互联网有间歇性的连接
      • 可能是动态IP 地址
      • 不直接与其它客户端通信

  • 对等模式(P2P:Peer To Peer)

    • （几乎）没有一直运行的服务器

    • 任意（arbitrary）端系统之间可以进行通信

    • 参与的主机间歇性连接且可以改变IP 地址

    • 每一个节点既是客户端又是服务器

      • 自扩展性-新peer节点带来新的服务能力，当然也带来新的服务请求（高度可扩展，但难以管理）

  • 混合体：客户-服务器和对等体系结构/
    Hybrid of client-server and P2P/
    C/S和P2P体系结构的混合体

    • Napster

      • 文件搜索：集中

        • 主机在中心服务器上注册其资源
        • 主机向中心服务器查询资源位置

      • 文件传输：P2P

        • 任意Peer节点之间

    • 即时通信

      • 在线检测：集中Presence detection/location centralized

        • 当用户上线时，向中心服务器注册其IP地址
        • 用户与中心服务器联系，以找到其在线好友的位置

      • 两个用户之间聊天：P2P

进程通信(Processes communicating)

  • 进程：在主机上运行的应用程序

  • 在同一个主机内，使用进程间通信机制通信（操作系统定义）

  • 不同主机，通过交换报文（Message）来通信

    • 使用OS提供的通信服务

    • 按照应用协议交换报文

      • 借助传输层提供的服务

Sockets套接字

  • 进程向套接字发送报文或从套接字接收报文

  • 套接字 <（类比analogous）-> 门户

    • 发送进程将报文推出门户，发送进程依赖于传输层设施在另外一侧的门将报文交付给接受进程
    • 接收进程从另外一端的门户收到报文（依赖于传输层设施）

  • API：（1）传输协议的选择;（2）修复一些参数的能力（稍后会详细介绍）

寻址流程Addressing processes

  • 对于要接收消息的进程，它必须具有标识符（identifier）

  • 主机具有唯一的 32 位 IP 地址

  • 问：运行进程的主机的 IP 地址是否足以识别进程？

  • 答：不可以，许多进程可以在同一主机上运行

  • 标识符包括与主机上的进程关联的 IP 地址和端口号。

  • 端口号示例：

    • 网络版服务器： 80
      邮件服务器： 25

应用层协议定义运行在不同端系统上

的应用进程如何相互交换报文

  • 交换的报文类型：如请求和应答报文

  • 各种报文类型的语法（syntax）：报文中的各个字段及其描述（delineate）

  • 字段的语义（semantics）：即字段取值的含义

  • 进程何时、如何发送报文及对报文进行响应的规则

  • 公开协议（Public-domain protocols）：

    • 由RFC文档定义

    • 允许互操作

      • 如HTTP, SMTP

  • 专用（私有）协议（Proprietary protocols）：协议不公开

    • 如：Skype

应用需要传输层提供什么样的服务？

  • 数据丢失率Data loss

    • 有些应用则要求100%的可靠数据传输（如文件）
    • 有些应用（如音频）能容忍一定比例以下的数据丢失

  • 吞吐Bandwidth

    • 一些应用（如多媒体）必须需要最小限度的吞吐，从而使得应用能够有效运转
    • 一些应用能充分利用可供使用的吞吐(弹性应用)

  • 延迟Timing

    • 一些应用出于有效性考虑，对数据传输有严格的时间限制

      • Internet 电话、交互式游戏
      • 延迟、延迟差

  • 安全性（扩展B）

    • 机密性
    • 完整性
    • 可认证性（鉴别）

  • 常见应用对传输服务的要求

Internet 传输层提供的服务

  • TCP 服务：

    • 面向连接connection-oriented：要求在客户端进程和服务器进程之间建立连接
    • 流量控制flow control：发送方不会淹没(overwhelm)接受方
    • 拥塞控制congestion control：当网络出现拥塞时，能抑制发送方
    • 不能提供的服务：时间保证、最小吞吐保证和安全
    • 可靠的传输服务reliable transport

  • UDP 服务：不可靠数据传输

    • 不提供的服务：可靠，流量控制、拥塞控制、时间、带宽保证、建立连接

    • UDP存在的必要性

      能够区分不同的进程，而IP服务不能
      在IP提供的主机到主机端到端功能的基础上，区分了主机的应用进程
      无需建立连接，省去了建立连接时间，适合事务性的应用
      不做可靠性的工作，例如检错重发，适合那些对实时性要求比较高而对正确性要求不高的应用
      因为为了实现可靠性（准确性、保序等），必须付出时间代 价（检错重发）
      没有拥塞控制和流量控制，应用能够按照设定的速度发送数据
      而在TCP上面的应用，应用发送数据的速度和主机向网络发送的实际速度是不一致的，因为有流量控制和拥塞控制

  • Internet应用及其应用层协议和传输协议

5.2 Web and HTTP

一些术语

  • Web页（Web page）：由一些对象组成

    • 对象可以是HTML文件、JPEG图像、Java小程序、声音剪辑文件等
    • Web页含有一个基本的HTML文件，该基本HTML文件又包含若干对象的引用（链接）

  • 通过URL对每个对象进行引用（addressable）

    • 访问协议，用户名，口令字，端口等；

  • URL格式:

HTTP概况

  • HTTP: 超文本传输协议（hypertext transfer protocol）

    • Web的应用层协议
    • 客户/服务器模式 （client/server model）
    • 客户端: 请求、接收和显示Web对象的浏览器（browser）
    • 服务器: 对请求进行响应，发送对象的Web服务器
    • HTTP 1.0: RFC 1945
      HTTP 1.1: RFC 2068

  • 使用TCP:

    • 客户发起一个与服务器的TCP连接 (建立套接字) ，端口号为 80
    • 服务器接受客户端的TCP连接
    • 在浏览器(HTTP客户端)与 Web服务器(HTTP服务器 server)交换HTTP报文 (应用层协议报文)
    • TCP连接关闭

  • HTTP是无状态（stateless）的

    • 服务器并不维护关于客户的任何信息

    • 注：维护状态的协议很复杂！

      必须维护历史信息(状态)
      如果服务器/客户端死机（crashes），它们的状态信息可能不一致（inconsistent），二者的信息必须进行协调（reconciled）
      无状态的服务器能够支持更多的客户端

两种类型的HTTP报文：请求request、响应response

  • HTTP请求报文

    • HTTP请求报文：ASCII (人能阅读)

  • HTTP响应报文

用户-服务器状态User-server state: cookies

  • 大多数主要的门户网站（web sites）使用 cookies

  • 4个组成部分：

      1. 在HTTP响应报文中有一个cookie的首部行
    • 2)在HTTP请求报文含有一个cookie的首部行
      1. 在用户端系统中保留有一个cookie文件，由用户的浏览器(browser)管理
      1. 在Web站点(Sites)有一个后端(back-edn)数据库

  • 一个栗子

    Susan总是用同一个PC使用Internet Explore上网
    她第一次访问了一个使用了Cookie的电子商务网站
    当最初的HTTP请求到达服务器时，该Web站点产生一个唯一ID，并以此作为索引在它的后 端数据库中产生一个项

Web缓存caches (代理服务器proxy server)

  • 目标：不访问原始服务器，就满足客户的请求

  • 用户设置浏览器： 通过缓存(cache)访问Web

  • 浏览器将所有的HTTP请求发给缓存

    • 在缓存中的对象：缓存直接返回对象
    • 如对象不在缓存，缓存请求原始服务器，然后再将对象返回给客户端

5.3 FTP 文件传输协议(file transfer protocol)

向远程主机上传输文件或从远程主机接收文件

客户/服务器模式

  • 客户端：发起传输的一方
  • 服务器：远程主机

ftp: RFC 959

ftp服务器：端口号为21

FTP: 控制连接与数据连接分开

  • FTP客户端与FTP服务器通过端口21联系，并指定（specifying）TCP为传输协议
  • 客户端通过控制连接获得身份确认（authorization）
  • 客户端通过控制连接发送命令浏览远程目录（remote directory）
  • 收到一个文件传输命令时，服务器打开一个到客户端的数据连接
  • 一个文件传输完成后，服务器关闭连接
  • 服务器打开第二个TCP数据连接用来传输另一个文件
  • 控制连接： 带外（ “out of band”）传送
  • FTP服务器维护用户的状态信息：当前路径、用户帐户与控制连接对应
  • 有状态

FTP命令、响应

  • 命令commands样例：

    • 在控制连接上以ASCII文本方式传送
      sent as ASCII text over control channel
    • USER username
    • PASS password
    • LIST：请服务器返回远程主机当前目录的文件列表
    • RETR filename：从远程主机的当前目录检索文件(gets)
    • STOR filename：向远程主机的当前目录存放文件(puts)

  • 返回码return codes样例：

    • 状态码和状态信息（status code and phrase） (同HTTP)
    • 331 Username OK, password required
    • 125 data connection already open; transfer starting
    • 425 Can’t open data connection
    • 452 Error writing file

5.4 Electronic Mail

（SMTP, POP3, IMAP）

Electronic Mail3个主要组成部分：

  • 用户代理user agents

    • 又名 “邮件阅读器mail reader”
    • 撰写、编辑和阅读邮件（composing, editing, reading mail messages）
    • 如., Eudora, Outlook, elm, Netscape Messenger、Foxmail
    • 输出和输入（outgoing, incoming）邮件保存在服务器上

  • 邮件服务器mail servers

    • 邮箱(mailbox)中管理和维护发送给用户的邮件

    • 输出(outgoing)报文队列(message queue)保持待发送邮件报文

    • 邮件服务器之间的SMTP协议：发送email报文

      • 客户：发送方邮件服务器
      • 服务器：接收端邮件服务器

  • 简单邮件传输协议：SMTP[RFC 2821]

    • 使用TCP在客户端和服务器之间可靠传送报文，端口号为25

    • 直接传输：从发送方服务器到接收方服务器

    • 传输的3个阶段

      • 握手handshaking (greeting)
      • 传输报文transfer of messages
      • 关闭closure

    • 命令/响应交互

      • 命令commands：ASCII文本
      • 响应response：状态码和状态信息

    • 报文必须为7位ASCII码

    • 一个栗子

      1. Alice使用用户代理撰写邮件并发送给 bob@someschool.edu 2) Alice的用户代理将邮件发送到她的邮件服务器；邮件放在报文队列中
      2. SMTP的客户端打开到Bob邮件服务器的TCP连接
      3. SMTP客户端通过TCP连接发送Alice的邮件
      4. Bob的邮件服务器将邮件放到 Bob的邮箱
      5. Bob调用他的用户代理阅读邮件

      • 简单的SMTP交互

        S: 220 hamburger.edu
        C: HELO crepes.fr
        S: 250 Hello crepes.fr, pleased to meet you
        C: MAIL FROM:
        S: 250 alice@crepes.fr… Sender ok
        C: RCPT TO: S: 250 bob@hamburger.edu … Recipient ok
        C: DATA
        S: 354 Enter mail, end with “.” on a line by itself
        C: Do you like ketchup?
        C: How about pickles?
        C: .
        S: 250 Message accepted for delivery
        C: QUIT
        S: 221 hamburger.edu closing connection

      • 尝试SMTP交互

        • telnet servername 25
        • see 220 reply from server
        • enter HELO, MAIL FROM, RCPT TO, DATA, QUIT commands
        • 上面允许您在不使用电子邮件客户端（阅读器）的情况下发送电子邮件

    • 总结：

      • SMTP使用持久连接
        SMTP要求报文（首部和主体）为7位ASCII编码
        SMTP服务器使用CRLF.CRLF决定报文的尾部

      • HTTP比较：

        • HTTP：拉（pull）
          SMTP：推（push）
          二者都是ASCII形式的命令/响应交互、状态码
          HTTP：每个对象封装在各自的响应报文中
          SMTP：多个对象包含在一个报文中

邮件报文格式Mail message format

报文格式：多媒体扩展 multimedia extensions

  • MIME：多媒体邮件扩展（multimedia mail extension）, RFC 2045, 2056
  • 在报文首部用额外的行申明MIME内容类型

邮件访问协议Mail access protocols

  • SMTP: 传送到接收方的邮件服务器

  • 邮件访问协议：从服务器检索（retrieval）邮件

    • POP：邮局访问协议（Post Office Protocol）[RFC 1939]

      • 授权authorization (代理<–>服务器) 并下载

  • IMAP：Internet邮件访问协议（Internet Mail Access Protocol）[RFC 1730] （更多特性 (更复杂)）

    • 在服务器上处理存储的报文（远程管理文件夹）

    • IMAP服务器将每个报文与一个文件夹联系起来

    • 允许用户用目录来组织报文

    • 允许用户读取报文组件

    • IMAP在会话过程中保留用户状态：

      • 目录名、报文ID与目录名之间映射

  • HTTP：Hotmail , Yahoo! Mail等

    • 方便

POP3协议

  • （本地管理文件夹）
  • 先前的例子使用 “下载并删除”模式。
    （如果改变客户机，Bob不能阅读邮件）
  • “下载并保留”：不同客户机上为报文的拷贝
  • POP3在会话中是无状态的

5.5 DNS（Domain Name System）域名系统

互联网主机、路由器：

  • IP 地址（32 位） - 用于寻址数据报
  • “名称”，例如，ww.yahoo.com - 由人类使用

DNS域名系统：

  • 分布式数据库distributed database ：在多个名称服务器的层次结构中实现

  • 应用层协议application-layer protocol：主机、路由器、名称服务器，用于通信以解析（resolve）名称（地址/名称转换）

    • 注：核心互联网功能，作为应用层协议实现
    • 网络“边缘”的复杂性

DNS的服务

  • 主机名到 IP 地址的转换

  • 主机别名Host aliasing

    • 规范名称和别名Canonical and alias names

  • 邮件服务器别名（aliasing）

  • 负载分布Load distribution

    • 复制的(Replicated)Web 服务器：一个规范名称的 IP 地址集

  • 为什么不集中化 DNS？

    • 单点故障single point of failure
    • 流量traffic volume
    • 远程集中式数据库distant centralized database
    • 维护maintenance

分布式分层数据库

Distributed, Hierarchical Database

DNS: Root name servers

  • 无法解析名称的本地名称服务器联系

  • 根名称服务器：

    • 如果名称映射未知，则联系权威名称服务器(authoritative name serve)
    • 获取映射mapping
    • 返回到本地名称服务器的映射

TLD and Authoritative Servers(TLD服务器和权威服务器)

  • 顶级域服务器（Top-level domain ，TLD servers）：负责顶级域名（如com,org, net,edu和gov）和所有国家级的顶级名（如cn, uk, fr, ca,jp ）

    • Network solutions 公司维护com TLD服务器
    • Educause公司维护edu TLD服务器

  • Authoritative DNS servers组织的 DNS 服务器，为组织的服务器（例如 Web 和邮件）提供 IP 映射的权威主机名。

    • 可由组织或服务提供商维护

本地名字服务器（Local Name Server）

  • 并不严格属于层次结构
  • 每个ISP (居民区的ISP、公司、大学）都有一个本地DNS服务器
  • 也称为“默认名字服务器”
  • 当一个主机发起一个DNS查询时，查询被送到其本地DNS服务器
  • 起着代理的作用，将查询转发到层次结构中

一个栗子：cis.poly.edu 的主机需要 gaia.cs.umass.edu 的 IP 地址

递归查询recursive query（根服务器的负担太重）

  • 名字解析负担都放在当前联络的名字服务器上

迭代查询iterated query

  • 已联系的服务器回复要联系的服务器的名称
  • “我不知道这个名字，但问这个服务器”

5.6 P2P file sharing（P2P应用）

5.7 Socket programming with TCP（TCP套接字编程）

5.8 Socket programming with UDP（UDP套接字编程）

5.9 Building a Web server

​ 因为知识点很多，这部分的笔记最开始是用思维导图记的，但是图片都不能导出，xmind格式的到百度网盘自行下载或者联系我私发叭，笔记效果如下（也不是那么好看，建议还是看PPT或者自己整理效率较高，我的笔记整理效果稍稍欠缺）：