com.aliyun.odps.tunnel.io

Class TunnelBufferedWriter

java.lang.Object

com.aliyun.odps.tunnel.io.TunnelBufferedWriter

All Implemented Interfaces:

RecordWriter, Closeable, AutoCloseable

public class TunnelBufferedWriter
extends Object
implements RecordWriter

TunnelBufferedWriter 是一个使用缓冲区的、容错的 Tunnel 上传接口。

通过调用 write 接口将 record 写入缓冲区，当缓冲区大小超过 bufferSize 时将触发上传动作。 上传过程中如果发生错误将自动进行重试。

TunnelBufferedWriter 和 TunnelRecordWriter 有什么区别？

和 TunnelRecordWriter 的不同之处在于，在使用 TunnelRecordWriter 时用户 需要先划分数据块，然后对每一个数据块分别：

1. 打开一个 TunnelRecordWriter
写入记录
3. 关闭 TunnelRecordWriter
4. 提交这个数据块

这个过程中用户需要自己来容错(例如记录下上传失败的 block，以便重新上传)。而 TunnelBufferedWriter 隐藏了数据块 的细节，并将记录持久化在内存中，用户在会话中打开以后，就可以往里面写记录，TunnelBufferedWriter 会尽最大可能容错， 保证数据上传上去。降低了使用的门槛。不过由于隐藏了数据块的细节，TunnelBufferedWriter 并不适合断点续传的场景。

代码示例

 class UploadThread extends Thread {
   private UploadSession session;
   private static int RECORD_COUNT = 1200;

   public UploadThread(UploadSession session) {
     this.session = session;
   }

Constructor Summary

Constructors

Constructor and Description
TunnelBufferedWriter(TableTunnel.UploadSession session, CompressOption option) 构造此类对象，使用默认缓冲区大小为 10 MiB，和默认的回退策略：4s、8s、16s、32s、64s、128s

Method Summary

Modifier and Type	Method and Description
void	close() 关闭这个 writer，并上传缓存中没有上传过的记录。
void	flush()
long	getTotalBytes() 获得总共写的字节数（记录序列化）
void	setBufferSize(long bufferSize) 设置缓冲区大小
void	setRetryStrategy(com.aliyun.odps.commons.util.RetryStrategy strategy) 设置重试策略
void	write(Record r) 将 record 写入缓冲区，当其大小超过 bufferSize 时，上传缓冲区中的记录过程中如果发生错误将 进行自动重试，这个过程中 write 调用将一直阻塞，直到所有记录上传成功为止。

Methods inherited from class java.lang.Object

equals, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

TunnelBufferedWriter

public TunnelBufferedWriter(TableTunnel.UploadSession session,
                            CompressOption option)
                     throws IOException

构造此类对象，使用默认缓冲区大小为 10 MiB，和默认的回退策略：4s、8s、16s、32s、64s、128s

Parameters:

session - TableTunnel.UploadSession

option - CompressOption

Throws:

IOException - Signals that an I/O exception has occurred.

Method Detail

setBufferSize

public void setBufferSize(long bufferSize)

设置缓冲区大小

Parameters:

bufferSize - 缓冲区大小字节，可以设置的最小值 1 MiB，最大值为 1000 MiB

setRetryStrategy

public void setRetryStrategy(com.aliyun.odps.commons.util.RetryStrategy strategy)

设置重试策略

Parameters:

strategy - RetryStrategy

write

public void write(Record r)
           throws IOException

将 record 写入缓冲区，当其大小超过 bufferSize 时，上传缓冲区中的记录过程中如果发生错误将 进行自动重试，这个过程中 write 调用将一直阻塞，直到所有记录上传成功为止。

Specified by:

write in interface RecordWriter

Parameters:

r - Record对象

Throws:

IOException - Signals that an I/O exception has occurred.

close

public void close()
           throws IOException

关闭这个 writer，并上传缓存中没有上传过的记录。

Specified by:

close in interface Closeable

Specified by:

close in interface AutoCloseable

Throws:

IOException - Signals that an I/O exception has occurred.

getTotalBytes

public long getTotalBytes()
                   throws IOException

获得总共写的字节数（记录序列化）

Returns:

Throws:

IOException

flush

public void flush()
           throws IOException

Throws:

IOException