Tomoblog

Claude Shannon và sự ra đời của kỷ nguyên thông tin - I

Thông tin là thứ mà người ta phỏng đoán nhiều hơn là nói về, là thứ gì đó ngụ ý theo hàng tá cách trước khi nó được thiết lập. Thông tin là một sự hiện hữu ẩn giấu. Nó đã xuất hiện trong các nghiên cứu của nhà sinh lý học Hermann von Helmholtz, người điện hóa các cơ của ếch, tính toán thời gian tốc độ truyền tin của thần kinh động vật, cũng như Thomson đã tính toán tốc độ truyền tin trong dây dẫn. Nó đã xuất hiện trong công trình của các nhà vật lý như Rudolf Clausius và Ludwig Boltzmann, những người tiên phong trong việc tìm cách lượng hóa sự mất trật tự - entropy - ít ai ngờ rằng một ngày nào đó thông tin cũng có thể được lượng hóa theo cùng một cách ấy. Trên tất cả, thông tin nằm trong mạng lưới bắt nguồn một phần từ những nỗ lực đầu tiên bắc những đường dây cáp ngang biển Đại Tây Dương. Trong nỗ lực tấn công những vấn đề kỹ thuật mang tính thực tiễn như nối hai điểm A và B - số lượng dây nhỏ nhất chúng ta cần treo để xử lý lượng thông điệp hàng ngày là bao nhiêu? Chúng ta làm thế nào để mã hóa những cuộc điện đàm bí mật nhất? - nói chung, các tính chất của chính bản thân thông tin, dần được hé lộ.

Claude Shannon và sự ra đời của kỷ nguyên thông tin - I

Nguyên bản How information theory got reinvented, đăng trên tạp chí Nautilus, quyển 2, số 51. Bản dịch thuộc bản quyền của sachtrentay. Xin vui lòng dẫn nguồn sachtrentay trước khi sử dụng.


Screenshot 2018-06-24 11.47.12

Với việc chấm dứt cuộc hôn nhân với Norma Levor, Claude Shannon lại trở thành người độc thân, không tài sản, một căn hộ nhỏ ở Greenwich Village, và một công việc như ý muốn. Các buổi tối giờ đây là của riêng anh, và nếu có thời điểm nào trong đời của Shannon khi anh không phải suy xét gì về luật lệ hay hậu quả cho những hành động của mình, thì chính là thời điểm ấy. Anh thức khuya, mở nhạc ầm ĩ, và tận hưởng không khí jazz của New York. Mãi khuya anh mới ra ngoài ăn tối và ghé vào các câu lạc bộ cờ vua ở Công viên Quảng trường Washington. Anh đi tàu điện tới Harlem để nhảy jitterbug, và nhận các sô ở Apollo. Anh đi bơi ở một cái bể trong khu, và chơi quần vợt dọc bờ sông Hudson. Một lần anh bước hụt qua lưới, ngã rất đau và phải khâu.

Nhà anh, trên tầng 3 của số 51, đường West Eleventh, là một studio New York nhỏ. "Có một phòng ngủ trên đường tới phòng tắm. Nó đã cũ, như một nhà trọ... khá lãng mạn," Maria Moulton, cô hàng xóm ở tầng dưới, kể lại. Có lẽ đoán được rằng, không gian của Shannon là một đống hỗn độn: bụi bặm, bừa bãi, với bộ máy của một đầu phát nhạc anh đã tháo rời nằm rải rác trên bàn giữa nhà. "Mùa đông, căn phòng rất lạnh, vì vậy anh ấy đã đập nát một chiếc piano cũ của mình và tống nó vào lò sưởi để kiếm chút hơi ấm". Tủ lạnh thì hầu như trống không, đầu thu và chiếc clarinet giữa những thứ sở hữu đáng tiền khác nằm rải rác trong phòng. Căn hộ của Claude nằm đối diện với đường phố. Claude Levi-Strauss, nhà nhân loại học vĩ đại, cũng ở cùng khu nhà với anh. Sau này, Levi-Strauss đã nhận thấy rằng người hàng xóm cũ đã có ảnh hưởng lên công trình nghiên cứu của mình, dù hai người hiếm khi tương tác trong khi sống cùng dưới một mái nhà.

Mặc dù Freddy, người quản lý và giúp việc của khu nhà, nghĩ rằng Shannon ủ ê và khá cô độc, nhưng Shannon có kết bạn và hẹn hò với cô hàng xóm Maria. Họ gặp nhau khi tiếng ồn trong âm nhạc của anh đã buộc cô phải gõ cửa phòng; một tình bạn, một mối quan hệ lãng mạn đã đơm hoa từ những lời than phiền của cô.

12918_52c031e023c8a03f30f57246f9c3d4f9

Maria đã động viên anh mặc đồ và xuống phố. "Tuyệt quá," Shannon đã la lên khi tiếng một đài quen thuộc vang lên trên xe. Anh đọc cho cô nghe từ James Joyce tới T. S. Eliot, tác gia ưa thích của anh. Anh ấy liên tục suy tư về các vấn đề toán học đã nghiên cứu trong suốt buổi tối, và thường viết các phương trình rời rạc trên khăn ăn ở nhà hàng ngay giữa bữa ăn, cô nhớ lại. Anh có vài quan điểm rất vững vàng về chiến tranh hay chính trị, nhưng rất nhiều ý kiến là về nhạc công jazz này hay kia. "Anh ấy tìm được mẫu số chung giữa các nhạc sĩ anh thích cũng như tôi thích", Maria kể. Anh dần quan tâm tới các lý thuyết của William Sheldon về các dạng cơ thể cũng như tính cách đi kèm, và anh nhìn vào Sheldon để hiểu khung người gày gò của mình (theo thuật ngữ của Sheldon là ectomorphic, tức các chi dài, người ít cơ và ít mỡ).

Một vài đồng nghiệp ở phòng thí nghiệm Bell (Bell Labs) trở thành những người bạn thân nhất của Shannon. Một trong số đó là Barney Oliver. Cao, với một nụ cười và cách cư xử dễ chịu, anh rất thích rượu scotch và kể chuyện. Bản tính dễ gần của Oliver đã ẩn đi trí tuệ xuất chúng của anh: "Barney là một trí thức ở tầm cỡ thiên tài, với một IQ được dự đoán vào khoảng 180," một đồng nghiệp của anh nhắc lại. Mối quan tâm của anh trải từ thiên đường tới trái đất, - theo đúng nghĩa đen. Chẳng bao lâu, anh đã trở thành một trong những người đi đầu trong công cuộc tìm kiếm sự sống ngoài trái đất. Oliver cũng được biệt đãi như một trong số ít những người được nghe các ý tưởng của Shannon trước khi chúng bước ra ánh sáng. Như anh đã tự hào kể lại sau này, "Chúng tôi trở thành bạn, và tôi là bà đỡ cho rất nhiều lý thuyết của anh ấy. Anh ấy hỏi ý kiến tôi về chúng, và bạn biết đấy, tôi đã hiểu lý thuyết thông tin trước khi nó được công bố." Oliver có thể hơi hãnh diện đôi chút, nhưng với việc có rất ít người được Shannon kể dù chỉ ở rìa lĩnh vực nghiên cứu của ông, thật đáng chú ý khi Shannon đã nói với anh về nghiên cứu của mình.

John Pierce là một người bạn khác ở Bell Labs mà Shannon chia sẻ thời gian rảnh rỗi. Ở phòng thí nghiệm, Pierce "đã phát triển một mạng lưới rộng những người ngưỡng mộ tình nguyện, mà sự hóm hỉnh và trí tuệ sắc sảo của ông lôi cuốn. Ông là ảnh qua gương của Shannon, với khuôn người cao, gầy - và với cả xu hướng nhanh chán trước bất kỳ thứ gì không giữ được sự chú ý của ông một cách mạnh mẽ. Điều này xảy ra với cả với con người nữa. "Người ta thường thấy Pierce bất chợt tham gia hay rời bỏ một cuộc đối thoại hay bữa ăn giữa chừng," Jon Gertner viết.

Shannon và Pierce là hai người bạn tranh luận theo cái cách mà chỉ hai trí thức tầm cỡ của họ mới có thể là. Họ trao đổi các ý tưởng, viết báo cùng nhau, và chia sẻ vô số những cuốn sách trong thời gian làm việc ở Bell Labs. Pierce nói với Shannon về rất nhiều dịp mà "anh nên viết về ý tưởng này, hay kia." Câu trả lời của Shannon cho những gì được hỏi, với đặc trưng vô tâm vốn có, là "Nên có nghĩa là gì vậy?"

Oliver, Pierce, và Shannon - một nhóm thiên tài, mỗi người đều đủ thông minh để cảm thấy thoải mái khi ở cùng bạn bè. Họ chia sẻ cùng một niềm phấn khích với sự xuất hiện của ngành viễn thông điện tử, và cùng viết một bài báo giải thích lợi thế về độ chính xác và tin cậy của nó. Một đồng nghiệp cùng thời đã nhớ về ba thần đồng ở Bell Labs thế này:

Hóa ra, ở cùng một thời điểm, có ba thiên tài đã được chứng nhận ở BTL [Phòng thí nghiệm viễn thông Bell], Claude Shannon nổi tiếng nhờ lý thuyết thông tin, John Pierce với vệ tinh viễn thông và máy phát sóng khuếch đại, và Barney. Có vẻ như ba người này thông minh không thể chịu được. Họ quá sáng dạ, có năng lực cao, và họ quá nổi bật trong cộng đồng kỹ sư này, và chỉ một phòng thí nghiệm danh giá như vậy mới có thể chứa chấp cả ba người cùng một lúc.

Một số câu chuyện khác thì cho thấy rằng Shannon có lẽ chẳng thông minh đến mức "không thể chịu được" cũng như ông thiếu kiên nhẫn. Đồng nghiệp của ông nhớ về ông như một người thân thiện nhưng xa cách. Với Maria ông thú nhận một sự vỡ mộng với những yếu tố đời thường hơn của cuộc sống tại phòng thí nghiệm. "Tôi nghĩ rằng, chúng khiến anh ấy phát ốm," bà kể. "Tôi thực sự tin như vậy. Rằng anh ấy phải làm tất cả các công việc trong khi anh ấy lại quá hứng thú với việc nghiên cứu của riêng mình."

Có vẻ như, một phần khoảng cách giữa Shannon và đồng nghiệp hoàn toàn là vấn đề tốc độ xử lý. Theo lời của Brockway MacMillan, người ở cạnh văn phòng của Shannon, "anh ấy có một kiểu thiếu kiên nhẫn đặc trưng với lối lập luận toán học thường thấy. Anh đặt vấn đề khác hẳn với cách hầu hết mọi người hay các đồng nghiệp thường làm. ... Rõ ràng, rất nhiều lập luận của anh ấy, nhanh hơn mức các đồng nghiệp có thể theo dõi. Những gì mà người khác thấy là tính trầm lặng, MacMillan coi là một kiểu thất vọng về xung quanh: "Anh ấy không có đủ kiên nhẫn với những người không thông minh như mình."

Điều đó khiến anh ấy thấy mình như một người đàn ông vội vã, có lẽ quá vội để thành người của tập thể. Shannon "là một người đàn ông kỳ dị theo rất nhiều nghĩa. ... Anh ấy không phải là một người không thân thiện," David Slepian, một đồng nghiệp khác ở Bell Labs nhận xét. Phản ứng của Shannon với đồng nghiệp, những người không thể giữ được tốc độ tư duy, đơn giản là quên họ đi. "Anh ấy không bao giờ tranh luận về những ý tưởng của mình. Nếu người ta không tin chúng, thì anh ấy lờ phắt họ đi," MacMillan kể với Gertner.

George Henry Lewes có lần đã lưu ý rằng "thiên tài hiếm khi có thể giải thích được quá trình tư duy của mình." Điều này có lẽ đúng với Shannon, người vừa không thể giải thích bản thân mình với người khác, vừa không quan tâm tới chuyện ấy. Trong công việc, ông ưa thích sự cô đơn và giữ những mối liên hệ đồng nghiệp ở mức nhỏ nhất. "Anh ấy bí ẩn kinh khủng", Moulton nhớ lại. Robert Fano, một người cộng tác với Shannon sau này, nói "ông ấy không phải người sẽ lắng nghe ai đó nói xem sẽ nghiên cứu cái gì." Một số người đã nhận thấy bằng chứng cho đặc điểm này là số rất ít bài báo mà Shannon là đồng tác giả.

Shannon không phải thiên tài đầu tiên với tính cách hướng nội, nhưng ngay cả giữa những trí tuệ của Bell Labs, ông vẫn là một người xa lạ. "Anh ấy sẽ không thể hòa nhập thành công ở bất kỳ nơi nào khác. ... Bạn sẽ gõ cửa phòng và anh ấy sẽ nói chuyện với bạn, nhưng nếu không thì anh ấy giữ cho riêng mình," MacMillan nói.

Còn có cả những điểm khác nữa, những điều đã giữ ông xa cách với cả những đồng nghiệp thân thiết: Shannon làm việc cả vào ban đêm. Vào buổi tối, khi đã ở nhà, Shannon vẫn tiếp tục nghiên cứu một chủ đề của riêng mình. Nó đã kết tinh trong não ông kể từ thời học sau đại học. Mỗi lúc khác nhau ông lại kể về thời điểm lai lịch vấn đề khác nhau. Nhưng bất kể bản thân vấn đề đã cấy trong não ông từ bao giờ, mọi thứ không được viết ra một cách nghiêm túc cho tới New York và 1941. Bây giờ đầu óc ông vừa phải dành cho công việc được chào mời nhưng gây phân tán ở Bell Labs và một lối đi vào công trình sâu sắc về mặt lý thuyết mà ông cực kỳ coi trọng, mà chiến tranh đe dọa phải giải quyết trước. Công trình này không hề đơn giản; các ý tưởng chỉ đến khi chúng đến. "Những thứ này đôi khi ... một đêm tôi nhớ rằng mình đã dậy lúc nửa đêm và nhận ra một ý tưởng, sau đó làm việc cả đêm với nó."

Một hình ảnh về Shannon vào khoảng thời gian ấy là một người đàn ông khẽ đập cây bút chì lên gối trong suốt khoảng thời gian dài vô nghĩa. Đây không phải người đàn ông với một hạn chót; nó giống như một người đàn ông ám ảnh với một vấn đề riêng, một vấn đề cần nhiều năm để giải quyết. "Anh ấy sẽ đi trong im lặng, vô cùng im lặng. Nhưng anh không ngừng làm việc trên những tấm khăn ăn của mình," Maria kể. "Hai ba ngày liên tiếp. Và rồi anh ấy sẽ nhìn lên và nói, 'Sao em im lặng thế?' "

Khăn ăn trang trí bàn, các dải tư duy và các nhóm phương trình rải rác chồng chất quanh ông. Ông viết chi chít trên giấy có dòng kẻ, nhưng những dòng nháp thì ở khắp mọi nơi. Tám năm như vậy - nguệch ngoạc, trau chuốt lại, gạch đi, nhìn chằm chằm vào một nhóm đầy ắp các phương trình, dù biết sau tất cả những nỗ lực ấy, chúng có thể chẳng hé lộ gì hết. Có những khoảng thời gian nghỉ cho thuốc lá và âm nhạc, và người đàn ông mắt mũi còn lơ mơ đi bộ tới chỗ làm, nhưng hầu như đó là quá trình nghiên cứu không ngừng nghỉ. Có lẽ, ông đã cảm nhận rằng mình đang nghiên cứu là thứ gì đó ấn tượng, còn căn bản hơn cả luận văn thạc sĩ đã làm nên tên tuổi của ông - nhưng đó là cái gì?

Thông tin là thứ mà người ta phỏng đoán nhiều hơn là nói về, là thứ gì đó ngụ ý theo hàng tá cách trước khi nó được thiết lập. Thông tin là một sự hiện hữu ẩn giấu. Nó đã xuất hiện trong các nghiên cứu của nhà sinh lý học Hermann von Helmholtz, người điện hóa các cơ của ếch, tính toán thời gian tốc độ truyền tin của thần kinh động vật, cũng như Thomson đã tính toán tốc độ truyền tin trong dây dẫn. Nó đã xuất hiện trong công trình của các nhà vật lý như Rudolf Clausius và Ludwig Boltzmann, những người tiên phong trong việc tìm cách lượng hóa sự mất trật tự - entropy - ít ai ngờ rằng một ngày nào đó thông tin cũng có thể được lượng hóa theo cùng một cách ấy. Trên tất cả, thông tin nằm trong mạng lưới bắt nguồn một phần từ những nỗ lực đầu tiên bắc những đường dây cáp ngang biển Đại Tây Dương. Trong nỗ lực tấn công những vấn đề kỹ thuật mang tính thực tiễn như nối hai điểm A và B - số lượng dây nhỏ nhất chúng ta cần treo để xử lý lượng thông điệp hàng ngày là bao nhiêu? Chúng ta làm thế nào để mã hóa những cuộc điện đàm bí mật nhất? - nói chung, các tính chất của chính bản thân thông tin, dần được hé lộ.

Vào thời niên thiếu của Claude Shannon, mạng lưới truyền thông của thế giới không còn là những dây dẫn bị động, hoạt động như ống bảo vệ dây điện, một dạng ống hàn điện. Chúng là những cỗ máy trải khắp lục địa, có thể coi là những cỗ máy phức tạp nhất từng tồn tại. Ống chân không khuếch đại dây dẫn dọc theo đường điện thoại cung cấp thêm năng lượng cho tín hiệu âm thanh mà có lẽ đã suy giảm và tắt trên hành trình hàng nghìn dặm của chúng. Thực tế, một năm trước khi Shannon ra đời, Bell và Watson đã mở màn cho đường dây điện thoại xuyên lục địa bằng cách lặp lại cuộc điện đàm đầu tiên của họ, với Bell ở New York và Watson ở San Francisco. Cho đến khi Shannon học tiểu học, hệ thống phản hồi đã tự động quản lý những cỗ máy khuếch đại mạng lưới điện thoại, giữ các tín hiệu âm thanh ổn định và tắt các tiếng ồn kiểu "huýt" vốn đã quấy rầy những cuộc điện thoại đầu tiên, ngay cả khi trời chuyển mùa và thời tiết thay đổi quanh những dây dẫn nhạy cảm vốn truyền chúng đi. Mỗi năm Shannon gọi một cuộc điện thoại, ông gần như không nói chuyện với tổng đài viên là người nữa mà chuyển cuộc gọi bằng máy, nhờ một bảng chuyển mạch tự động mà Bell Labs đã trân trọng gọi là "một bộ não cơ học." Trong quá trình lắp ráp và tối ưu những cỗ máy ngổn ngang này, các nhà khoa học ở thế hệ của Shannon bắt đầu hiểu thông tin theo chính các mà những nhà khoa học thế hệ trước bắt đầu hiểu về nhiệt trong quá trình chế tạo máy hơi nước.

Chính Shannon đã tạo ra sự tổng hợp cuối cùng, người đã định nghĩa khái niệm thông tin và giải quyết hiệu quả vấn đề nhiễu. Chính Shannon đã tổng hợp các chủ đề thành một ngành khoa học mới. Nhưng ông có các tiền bối quan trọng ở Bell Labs, hai kỹ sư đã định hình tư duy của ông kể từ khi ông phát hiện ra nghiên cứu của họ khi còn là sinh viên ở Đại học Michigan, những người đầu tiên xem xét việc thông tin có thể có một địa vị khoa học vững chắc như thế nào, và là những người duy nhất mà bài báo mang tính bước ngoặt của Shannon coi là tiên phong.

Một trong hai người là Harry Nyquist. Trước Nyquist, các kỹ sư vốn đã hiểu rằng các tín hiệu điện mang thông điệp qua các mạng lưới - dù là điện tín, điện thoại, hay ảnh - dao động lên xuống đầy bất ổn. Khi biểu diễn trên giấy, các tín hiệu trông sẽ như sóng: không phải những sóng êm đềm hình sin nhấp nhô, mà là một đường hỗn độn kiểu gió giật, dường như không theo quy luật nào cả. Nhưng thực ra vẫn một quy luật. Ngay cả những thăng giáng hỗn loạn nhất cũng có thể được phân tích thành tổng của vô số các sóng thường, bình lặng, đâm vào nhau ở đỉnh với tần số riêng biệt cho tới khi thành hỗn độn.

Theo cách này, các mạng lưới truyền thông có thể mang một khoảng, hay một "dải" tần số. Và có vẻ như cần có một dải các tần số lớn hơn chồng chất lên nhau, một "băng thông" lớn hơn để sinh ra các sóng thú vị và phức tạp hơn, có thể mang theo thông tin phong phú hơn. Để có thể truyền một cuộc điện thoại, mạng Bell cần các tần số từ 200 tới 3200 Hertz, hay một băng thông 3000 Hertz. Điện báo cần ít hơn, truyền hình thì cần gấp 2000 lần.

Nyquist đã chỉ ra làm thế nào mà băng thông của bất kỳ kênh truyền thông nào cung cấp một ngưỡng cho lượng "tin tức" có thể đi qua nó ở một tốc độ nhất định. Nhưng giới hạn về tin tức này có nghĩa rằng sự khác biệt giữa các tín hiệu liên tục (giống như thông điệp trên đường truyền điện thoại) và tín hiệu rời rạc (như các chấm hay gạch chéo hay ta có thể thêm vào, các số 0 và 1) là thiếu rõ ràng hơn như vẻ ngoài của nó. Một tín hiệu liên tục có biên độ biến thiên trơn tru, nhưng bạn cũng có thể biểu diễn tín hiệu này như một chuỗi các tín hiệu mẫu, hay các lát cắt theo thời gian, rời rạc - và bên trong giới hạn của một băng thông cho trước, không ai có thể nói được sự khác biệt. Về mặt thực tiễn, kết quả này cho Bell Labs thấy làm thế nào để gửi tín hiệu điện tín và điện thoại trên cùng một đường truyền mà không ảnh hưởng lẫn nhau. Căn bản hơn, như một giáo sư kỹ thuật điện đã viết, nó chỉ ra rằng "thế giới truyền thông kỹ thuật về căn bản là rời rạc, hoặc 'số.' "

Theo lời của Nyquist, "tốc độ truyền của tin tức bằng với số lượng các ký tự, biểu diễn các chữ cái, hình vẽ, ... khác nhau, mà có thể được truyền đi trong một khoảng thời gian cho trước." Câu nói này có vẻ không rõ ràng như nó vốn dĩ - nhưng lần đầu tiên, có ai đó đã dò dẫm về một hướng có ý nghĩa trong việc xử lý các thông điệp một cách có khoa học. Và dưới dây, là công thức cho tốc độ mà điện tín có thể truyền tin tức đi

W=k log(m)

W là tốc độ của tin tức. m là số "các giá trị dòng" mà hệ có thể truyền đi. Một giá trị dòng là một tín hiệu rời rạc mà hệ điện tín được trang bị để gửi: số các giá trị dòng là cái gì đó giống như số các chữ cái khả dĩ trong một bảng chữ cái. Nếu hệ thống chỉ có thể truyền tin "bật" hoặc "tắt", nó có giá trị dòng là hai; nếu nó có thể truyền tin "dòng âm", "tắt'', và ''dòng dương'', nó có giá trị dòng là ba; và nếu nó có thể truyền tin "âm mạnh", "âm", "tăt", "dương", "dương mạnh", nó có giá trị dòng là 5. Cuối cùng, k là số các giá trị dòng mà hệ có thể gửi đi mỗi giây.

Nói cách khác, Nyquist đã chỉ ra tốc độ mà một bức điện tín có thể truyền tin tức, phụ thuộc vào hai yếu tố: tốc độ mà nó có thể gửi tín hiệu và số lượng các "chữ cái" trong hệ từ vựng của nó. Càng có nhiều "chữ cái" hay "giá trị dòng" khả dĩ, số lượng điện tín thực sự được truyền đi trên đường truyền càng ít.

Sự lạc đề đôi chút của Nyquist về các giá trị dòng cung cấp gợi ý đầu tiên về một kết nối giữa tin tức và lựa chọn. Nhưng nó vẫn chỉ như thế mà thôi. Ông có hứng thú với việc thiết kế các hệ hiệu quả hơn hơn là ức đoán về bản chất của tin tức; và quan trọng hơn, ông vẫn được trông đợi sẽ tạo ra thước đo nào đó cho kết quả thực tiễn. Do đó, sau khi gợi ý các đồng nghiệp của mình đưa thêm các giá trị dòng vào mạng điện tín của họ, ông chuyển qua công việc khác. Sau khi bỏ lại gợi ý như trêu ngươi rằng tất cả các hệ thống truyền thông đều giống điện báo về mặt bản chất số, ông cũng không tiếp tục nghiên cứu để tổng quát hóa về chính truyền thông. Ở cùng thời điểm đó, các định nghĩa tin tức của ông - "các chữ cái, hình vẽ khác nhau, v.v" - vẫn mơ hồ một cách đáng buồn. Chính xác thì, đằng sau các con chữ và hình vẽ - là gì?

Việc đọc công trình của Ralph Hartley, Shannon nói, "đã có ảnh hưởng lớn đến cuộc đời tôi". Không chỉ về nghiên cứu hay học tập cúa ông: Shannon dành phần lớn thời gian của đời mình làm việc với các công cụ mang tính khái niệm mà Hartley xây dựng, và với phần quan trọng hơn của cuộc đời, hầu hết danh tiếng của ông - "Claude Shannon, cha đẻ của lý thuyết thông tin" – được gắn với việc trở thành người đã mở rộng các ý tưởng của Hartley rất xa khỏi những gì Hartley hay bất cứ ai, có thể tưởng tượng được. Trong lá thư năm 1939 mà Shannon lần đầu tiên trình bày nghiên cứu về truyền thông mà ông sẽ hoàn thiện trong chín năm sau đó, ông đã sử dụng khái niệm "tin tức" của Nyquist. Cho đến khi công trình hoàn thiện, ông sử dụng thuật ngữ "thông tin" của Hartley. Trong khi một kỹ sư như Shannon có vẻ không cần tới lời nhắc nhở, chính Hartley là người đã khiến sự không tương thích của ý nghĩa với thông tin rõ ràng hơn bao giờ hết.

Ngay từ ban đầu, các mối bận tâm của Hartley về mạng lưới truyền thông đều lộn xộn hơn của Nyquist: Ông tìm kiếm một cơ cấu đơn lẻ mà có thể bao hàm cả khả năng truyền thông tin qua bất cứ môi trường nào – một cách so sánh điện tín với vô tuyến và truyền hình trên cùng một thang kích thước. Và bài báo năm 1928 của ông, thứ đã đưa công trình của Nyquist lên một tầng trừu tượng cao hơn, đã đến gần mục tiêu hơn bất cứ công trình nào khác. Phù hợp với mức trừu tượng ấy, bài báo của Hartley trình bày trong một hội thảo khoa học ở Lake Como, Ý, được gọi đơn giản là “Việc truyền dẫn thông tin”.

Đó là một nhóm trí thức đã tập hợp nhau lại dưới chân dãy Alps để tổ chức hội nghị. Trong số những người tham gia có Niels Bohr và Werner Heisenberg, hai người thiết lập ra cơ học lượng tử, và Enrico Fermi, người đã tiếp tục nghiên cứu và xây dựng thành công lò phản ứng hạt nhân đầu tiên trên thế giới, bên dưới khán đài không có mái che ở sân vận động của Đại học Chicago – và Hartley đã cố gắng chỉ ra rằng việc nghiên cứu thông tin cũng liên quan đến họ. Ông bắt đầu bằng cách kêu gọi các thính giả của mình thực hiện một thí nghiệm tưởng tượng. Tưởng tượng một hệ điện tín với ba giá trị dòng: âm, tắt, và dương. Thay vì cho phép một tổng đài viên đã được rèn luyện chọn giá trị cùng với mã điện tín của anh ta, chúng ta kết nối mã này với một dụng cụ ngẫu nhiên, chẳng hạn như “một quả bóng lăn vào một trong ba cái túi.” Chúng ta lăn quả bóng xuống khỏi mặt phẳng nghiêng, gửi một tín hiệu ngẫu nhiên, và nhắc lại nhiều lần tùy ý. Chúng ta vừa gửi một thông điệp. Nó có ý nghĩa hay không?

Shannon cho rằng mặc định ta có thể lờ ý nghĩa đi.

Còn tùy, Hartley trả lời, nó tùy thuộc vào việc chúng ta quy định thế nào là ý nghĩa. Nếu bức điện báo là âm thanh và tín hiệu không bị vặn xoắn, chúng ta đã gửi một tập hợp các ký hiệu rõ ràng và có thể đọc được tới người nhận – thực tế, rõ ràng hơn rất nhiều, một thông điệp do con người tạo ra gửi đi trên một đường truyền lỗi. Tuy nhiên, rõ ràng nó đi qua, và thông điệp có thể cũng bị sai ngữ pháp: “Nguyên nhân của việc này là chỉ có một số lượng giới hạn các dãy khả dĩ được gán ý nghĩa,” và một dãy được lựa chọn ngẫu nhiên thì còn xa mới nằm ngoài giới hạn ấy. Chỉ có ý nghĩa khi có sự đồng thuận trước đó của chúng ta cho các ký hiệu. Và tất cả kiểu truyền thông đều như vậy, từ các sóng gửi trên dây dẫn điện, tới những chữ cái được đồng thuận để biểu tượng hóa từ ngữ, tới các từ ngữ được đồng thuận để biểu tượng hóa mọi thứ.

Với Hartley, những sự đồng thuận này về ý nghĩa của tập hợp các biểu tượng tất cả phụ thuộc vào “các nhân tố tâm lý” – và có hai từ bẩn. Một vài ký hiệu là tương đối cố định (chẳng hạn như mã Morse), nhưng ý nghĩa của rất nhiều từ khác thay đổi theo ngôn ngữ, cá tính, tâm trạng, ngữ điệu, thời gian của ngày, và rất nhiều điều khác nữa. Sự chính xác không tồn tại ở đây. Nếu, theo Nyquist, đại lượng thông tin có gì đó liên quan đến sự lựa chọn số các ký hiệu, thì yêu cầu đầu tiên là đạt đến sự rõ ràng trong số lượng các ký hiệu, thoát khỏi sự ảnh hưởng của các nhân tố đột ngột về mặt tâm lý. Một khoa học của thông tin phải tạo nghĩa cho các thông điệp mà chúng ta cho là sai ngữ pháp, cũng như các thông điệp có ý nghĩa. Do vậy, trong một đoạn quan trọng, Hartley đã giải thích được làm thế nào chúng ta có thể bắt đầu nghĩ về thông tin không phải về mặt tâm lý mà về mặt vật lý: “Trong việc đánh giá thông lượng của hệ vật lý để truyền thông tin chúng ta nên lờ đi vấn đề phiên dịch, lựa chọn tùy ý một cách hoàn hảo, và đặt nền tảng cho các kết quả của chúng ta trên xác suất người nhận phân biệt kết quả của việc chọn bất kỳ ký hiệu nào thay vì lựa chọn ký hiệu khác.

Thước đo thực sự của thông tin không nằm trong những ký hiệu mà chúng ta gửi – nó nằm trong những ký hiệu mà chúng ta có thể gửi, nhưng đã không.

Gửi một thông điệp là đưa ra một lựa chọn từ một nhóm các ký hiệu khả dĩ, và "ở mỗi lựa chọn có sự loại trừ tất cả những ký hiệu khác mà lẽ ra có thể cũng được chọn.” Chọn tức là loại bỏ những khả năng. Các ký hiệu từ một tập hợp lớn mang nhiều thông tin hơn các ký hiệu từ những tập hợp nhỏ. Thông tin đo mức tự do của lựa chọn.

Theo cách này, tư tưởng của Hartley về lựa chọn là một tiếng vọng rất vang từ cái nhìn sâu sắc của Nyquist vào các giá trị dòng. Nhưng những gì Nyquist mô tả cho điện tín, Hartley đã chứng minh là đúng cho bất kỳ dạng truyền thông nào; các ý tưởng của Nyquist hóa ra lại là tập con của các ý tưởng của Hartley. Trong một bức tranh rộng hơn, với những thông điệp rời rạc, mà ở đó các ký hiệu được gửi từng cái một theo thời gian, chỉ có ba biến kiểm soát đại lượng thông tin: số k các ký hiệu gửi đi trên giây, kích thước s của tập các ký hiệu khả dĩ, và độ dài n của thông điệp. Với các đại lượng này, và gọi lượng thông tin cần truyền đi là H, ta có

H=k log sn

Nếu chúng ta chọn ngẫu nhiên từ một tập hợp ký hiệu, số các thông điệp khả dĩ tăng theo hàm số mũ khi độ dài thông điệp tăng. Ví dụ, với bảng chữ cái 26 ký tự, có 676 dãy hai chữ cái khả dĩ, (hay 262) nhưng có tới 17576 dãy ba chữ cái (hay 263). Hartley, cũng như Nyquist trước đây, thấy đặc điểm này thật bất tiện. Một thước đo cho thông tin sẽ dễ hoạt động hơn nếu nó tăng tuyến tính thay vì việc mỗi ký tự thêm vào sẽ làm nó bùng nổ theo hàm số mũ. Theo cách này, một bức điện báo dài 20 chữ cái có thể sẽ chứa nhiều thông tin gấp đôi bức gồm 10 chữ cái, nếu hai bức cùng dùng một bảng chữ cái. Điều này giải thích tại sao lại có sự xuất hiện của lôgarít trong công thức của Hartley (và của Nyquist): Nó chuyển đổi tính chất hàm mũ thành tuyến tính. Với Hartley, đây chỉ là một vấn đề “giá trị kỹ thuật mang tính thực tiễn.”